0
高通一改往年習慣，在2020年12月2日發布了驍龍888。作為2021年旗艦標配的移動平臺，驍龍888最新的X1構架帶來了25%的CPU性能提升，Adreno 660也給出高通GPU史上最大的35%性能提升。
不過近幾年來，高通旗艦平臺提升幅度最大的，一直都是它的AI性能。高通產品管理副總裁Ziad Asghar曾經表示，AI性能大幅提升的主要來自客戶的需求，他們期待看到AI在新領域實現應用，比如視頻、游戲、安全等。
但終端用戶依舊不太了解AI的實際用途和影響，AI硬件的發展與大眾觀念的普及之間有明顯的脫節。這次我們以首批搭載驍龍888的小米11和iQOO 7為例，看看移動AI能干什么，以及2021年旗艦的AI新玩法。
移動AI的核心，是各種用到神經網絡/深度學習等AI算法。它們在圖像、音頻等領域有遠超傳統算法的效果，但需要專門的AI硬件加速器才能高效地工作。
而高通是首個將終端側AI SDK商用化的公司，如今全球有超過5億臺安卓終端，在使用高通神經網絡處理SDK提供AI功能。而高通的AI性能，從驍龍835時代就開始倍數增長，驍龍845是3TOPS，驍龍855是7TOPS，驍龍865是15TOPS。AI算力達到這個量級，本以為增長會明顯放緩，結果驍龍888又把算力記錄提升到26TOPS。
驍龍888上的是高通第六代AIE，其最核心的Hexagon 780 DSP，把以前Hexagon 600系列中的標量，張量（Hexagon Tensor Accelerator）和向量（Hexagon Vector eXtensions）模塊，融合成整體式IP，共享內存增加整整16倍。在每瓦性能提升3倍的基礎上，Hexagon 780 DSP標量執行能力提高50％，張量執行吞吐量翻倍，核心切換時間比以前快1000倍。
驍龍888在機器學習基準測試MLPerf中，最高提升4倍，暴漲后的內存池可以讓神經網絡在Hexagon 780內部運行，無需占用額外內存，也能運行更大的機器學習推理模型。
類似ARM平臺“大小核搭配”的傳統藝能，高通為了平衡性能和功耗，在驍龍888的第二代傳感器中樞里，增加了專用的低功耗AI處理器。在功耗不到1mA的情況下，讓AI性能提升5倍。
傳感器中樞集成的AI處理器，負責低功耗、無需喚起的全天候語音響應、環境感知等場景的AI待命，宣稱能分擔Hexagon 780 80%的工作負載。需要AI的人眼識別亮屏、語音助手應答、汽笛聲/嬰兒哭聲等語音事件檢測功能的功耗也更低。
另外，它可以從不同的核心收集和解密5G、WiFi、藍牙、位置流的連接數據，并創建全天候和帶上下文感知的用例，例如手機識別周圍聲音自動調整鈴聲音量、在沒信號停車場實時構建地圖并追蹤停車位置等情境感知功能。
在驍龍888這一代，高通推出更加開放的AI Engine Direct，開發者現在可以用統一的API直接訪問Hexagon 780、Kryo CPU和Adreno GPU等的硬件，并有更多的框架的支持。軟硬件的提升，可以更好地支撐不同廠商，讓廠商能根據各自對AI理解，做出不同的AI應用。
在首批搭載驍龍888的小米11和iQOO 7上，因為有更加強大的AI性能支撐，一大批下滲到日常場景，很接地氣的AI應用，就是教科書式的“我很平凡，凡爾賽的凡”。
在小米手機上，運動健康領域MACE Micro AI引擎，使用深度學習算法提高數據準確精度并降低能耗，一整天的耗電量小于1%（24小時耗電量 9.6mAh）。
而DNN-HMM框架深度學習算法，被小米用在相機AI聲控上，在拍照場景的音頻流中，進行多指令詞實時檢測。而小愛同學語音助手的ASR語音識別、NLP自然語言處理、TTS語音合成，以及一系列的端側AI功能，因為有驍龍888的支持，在小米11上的響應速度更快，但功耗卻更低。
GVoice & VOIP雜音比例對比
而iQOO的AI應用，自然是和游戲相關的。在iQOO聯合騰訊開發的游戲Gvoice語音功能中，使用驍龍888的AI引擎和傳感器中樞作為新的硬件載體，GVoice算法負責AI的回聲消除和噪音抑制（ECNS），廠商與游戲端定制通信協議，適配客制化音頻通路。
在提供更好的聲音還原度和噪聲抑制效果時，運行在Hexagon DSP的GVoice語音，可以讓整機耗電下降20mA/s，其所占的CPU資源在原有基礎上減少約30%。
另外，高通與NLP自然語言處理方案的頭部廠商Hugging Face合作，為第六代高通AI引擎提供強大的NLP庫。打字時的本地自動補全建議、AI語音助手對用戶提問的理解、終端側的實時AI翻譯等功能，都將直接受益。
把單攝玩出花的Google，之前就用預訓練的神經網絡做到背景虛化、全景、Motion動圖（類似iOS平臺的Live Photo）、AR實時追蹤貼圖、超分辨率放大、超級夜景等多種功能。Snapchat通過AIMET量化其AI鏡頭模型，提高實時濾鏡流暢度并增加濾鏡多樣化。
而增加對循環神經網絡（RNN）和長短時記憶神經網絡（LSTM）支持的AI模型增效工具包，被開發者做成了“手機拍照就能掃描皮膚健康”的應用。德國的trinamiX公司則是用紅外光譜分析材料反光，以此做皮膚檢測，甚至是垃圾分類。
影像是AI最重要的用途之一，而最能看出不同廠商對AI的不同看法的，也是影像部分。小米11的夜景模式新增的夜景拍攝視頻，利用AI大幅提升夜景視頻的畫面亮度和降噪表現。夜景視頻可理解為每秒拍攝超過24張超級夜景照片，是ISP和AI算力暴力提升的直接效果。
小米11在相冊自帶了證件照功能，自拍之后，交給AI一鍵摳圖，選定規格和背景就能搞定，不需要跑照相館，也不需要動用電腦。類似的還有AI智能去線、智能去人等功能。
之前的AI魔法換天功能，在小米11直接被玩出花來了。其提供了晴空、雨云、彩虹、夕陽、晚霞、星空、月亮、閃電、銀河等幾十種可選內容，現在天空上的云朵能像現實一樣隨機變化。小米甚至還搞出“焰火版魔法換天”，煙火能實時“炸出”自定義的騷氣祝福語。
而對AI算力要求最高的，是多人物共存的魔法分身視頻功能。其用法雖然很簡單，而且無需三腳架，但背后結合了AI視頻目標檢測、實時SLAM場景建模、AI 視頻實時人像分割三大算法，而且還要對視頻實時逐幀對齊拼接。
相比小米11的趣味性，iQOO 7對AI拍攝的著眼點，要加實用化一些。iQOO 7使用自研RAW域AI空域降噪模型，對單幀RAW圖進行空域降噪，用AI學習識別畫面高中低頻區域，再0.01lux分段處理的噪聲模型標定，分別使用不同程度的降噪，有效提升畫面純凈度，并保留畫面中不同的明暗細節。
而iQOO的黑光夜視2.0是更加極限的AI算法，其做到了3倍ISO、遠超人眼極限的“夜視儀”效果。針對拍照時的翻車操作，iQOO 7的相冊有純凈度改善和處理人像模糊問題的后期修復能力。
老照片修復上色
褪色照/黑白照AI上色，是以前就有云端方案，但因為隱私、收費和處理時長問題，一直鋪不開。在驍龍888的AI算力支持下，iQOO 7也引入情懷向的AI舊照修復、黑白照上色功能，同樣是在相冊里的一鍵操作。
AI 希區柯克變焦
視頻方面，iQOO7做出了一鍵Vlog模板。里面最騷氣的希區柯克變焦模板，使用AI進行目標檢測、背景拉伸，縮放，完成以前需要多攝像頭/變焦協同和人力移動的效果。
AI濾鏡風格遷移
常規的圖片濾鏡只能在給出的濾鏡風格里選擇，但AI已經能做到濾鏡風格遷移，用AI識別和抽象化提取指定照片（甚至電影截圖）的風格，自動生成全新的模板。
虹軟“傻瓜相機”
驍龍888上，高通首次將AI引入自動對焦、自動曝光和自動白平衡的3A算法。基于顯著性特征分析的自動對焦和自動曝光的神經網絡，提供前所未有的準確度之余，還有實物運動跟蹤能力。
虹軟 “傻瓜相機”功能，在全自動的3A之外，還能自動跟蹤目標和自動縮放，連取景和構圖都“傻瓜化”了。
視頻實時分隔與融合
4K 30FPS的實時背景摳圖
在高通AI Engine的支持下，CV-ISP硬件計算視覺加速器也能提供60fps實時景深識別的人像、背景分割、替換、人體追蹤、物體識別/追蹤的效果。
高通AI引擎運行和加速的Tetras.AI超級電影應用里，驍龍888可以做到4K 30FPS的視頻實時背景摳圖、分割和融合，然后還能用不同的形象代替視頻中的角色，與里面的其他人物/角色進行互動，而且取景框上就能實時預覽最終效果。
數年間，高通的AI引擎已經發展到第六代，異構化和第二代傳感器中樞，已經能讓人眼識別亮屏、語音助手應答、語音事件檢測、情景上下文感知等AI功能可以低功耗地全天候工作。
而小米11和iQOO 7，在相機上的超級夜景視頻、摳圖、魔法換天、舊照恢復、希區柯克變焦模板、自由濾鏡等更加重度的AI新玩法，也在刷新我們對AI拍照的理解。一邊是下沉滲入到日常使用的傳統功能AI化，一邊是新發掘的非線性、散點出現的AI新玩法。
但 “真正的科技就是讓你感覺不到它的存在”，大眾對移動AI實際用途的感知割裂，或許正是AI已經深入生活的注腳。當被新旗艦玩出花的AI功能，從點連成線、連成面之后，就是真的“我很平凡，凡爾賽的凡”了。
雷鋒網文章，轉載雷鋒網文章請聯系雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
