“AI將無處不在”的預(yù)言正在成為現(xiàn)實。從智能手機到智能家居，再到工作、出行，我們的生活正在被AI全面滲透。

但是，今天的智能手機真的足夠“智能”了嗎？

一部普通的智能手機，已經(jīng)可以識別你的表情、聲音甚至是手勢，但卻很難真正成為實時陪伴你、為你“主動”提供很多個性化服務(wù)的得力助手。

這背后，越豐富、復(fù)雜的功能，就需要越強大的AI算力和算法做支撐，而移動端的AI性能仍然有很大提升空間。

僅僅在智能手機領(lǐng)域，AI技術(shù)已經(jīng)深入移動游戲、視覺識別、音頻交互、通信優(yōu)化、智能充電等各個角落。為了滿足日益增長的AI算力需求，高通、蘋果、三星、聯(lián)發(fā)科等主流廠商都在SoC中集成了專門的AI模塊，提升芯片的AI性能。

前不久，高通旗艦驍龍8移動平臺搭載的第7代AI引擎，其4倍的AI性能提升，以及1.7倍的能效比提升，無疑再次拓展了智能手機AI體驗的想象邊界。

芯片AI能力的提升到底能給我們的生活帶來怎樣的實際改變，手機AI性能提升背后又有哪些值得挖掘的硬核技術(shù)？移動領(lǐng)域AI的應(yīng)用和體驗或?qū)⒈惶列碌碾A段。

01.“軟硬協(xié)同”實現(xiàn)4倍性能提升，通用平臺兼顧更多場景

越來越復(fù)雜的功能，意味著AI算法模型也對算力提出了更高的要求，算力是實現(xiàn)AI能力的基礎(chǔ)。這次從硬件規(guī)格上來看，驍龍8的第7代AI引擎可以說是“堆料豪華”。

如今，在AI模型運行要進行大量的張量運算，在驍龍8第7代AI引擎中，計算主力Hexagon處理器中的Tensor模塊性能提升了2倍，張量加速器計算性能得以翻倍。

于此同時，Hexagon處理器中的共享內(nèi)存容量也進行了翻倍，以應(yīng)對當下日益提高的AI模型深度和規(guī)模?；诖?，Hexagon處理器能夠完整載入一個深度神經(jīng)網(wǎng)絡(luò)，而無需將神經(jīng)網(wǎng)絡(luò)分塊運行并來回傳輸數(shù)據(jù)。這不僅提升了性能，同時也節(jié)省了功耗。

根據(jù)實際表現(xiàn)來看，驍龍8在運行在業(yè)內(nèi)常見VDSR、Resnet50、Inceptionv3等AI模型時，相比上代驍龍888提升比較明顯，最高性能提升幅度達到了4倍左右。

當然，想烹飪好一道佳肴，有了硬件高質(zhì)量“炊具”還不夠，軟件層面的“烹飪技巧”也必不可少，軟件部分的優(yōu)化對于芯片AI能力的提升至關(guān)重要。

據(jù)高通官方數(shù)據(jù)顯示，驍龍8單從軟件升級中獲得的AI性能提升就達到了2倍左右，結(jié)合Hexagon處理器的硬件提升，才有前文提到的綜合4倍AI性能提升。

值得一提的是，在AI性能提升的同時，驍龍8還兼顧了AI能效比，相比上代驍龍888，提升幅度達到了1.7倍。

在移動領(lǐng)域，目前算力和能效比的提升其實是制約智能手機AI能力發(fā)展的主要瓶頸，而為了提升手機芯片的AI算力，業(yè)內(nèi)也有不少廠商在積極探索新的方法和思路。

甚至近來有的廠商還采用了獨立外掛NPU芯片的方式提升AI算力，但是這樣做也是一把雙刃劍，對于功耗的挑戰(zhàn)、對于異構(gòu)計算的挑戰(zhàn)以及外置NPU如何與SoC良好協(xié)同，都是需要解決的問題。

高通作為移動SoC頭部玩家，也洞察了手機對于AI算力的高需求。正如前文我們看到的，高通選擇內(nèi)置AI計算模塊的方式來提升SoC的AI算力，同時可以更好地兼顧功耗。

由于這是一種通用性解決方案，其實用性也更廣，能夠滿足更多安卓生態(tài)廠商的需求，同時兼容性更好。這種通用AI模塊相比專用AI芯片，也可以應(yīng)對更多實際應(yīng)用場景。

02.影像、游戲、通信、交互，AI已經(jīng)融入手機的方方面面

曾經(jīng)，智能手機的“智能”更多來自于用戶可以借助手機拓展信息交互的渠道，手機變得“什么都可以知道”。

但今天，手機的智能更多是AI的深度介入，AI已經(jīng)在移動影像、游戲、通信、健康監(jiān)測、交互連接等各個領(lǐng)域發(fā)揮著關(guān)鍵作用。

在影像領(lǐng)域，相比上代Spectra ISP采用預(yù)先訓練的神經(jīng)網(wǎng)絡(luò)實現(xiàn)自動曝光和自動對焦，驍龍8直接利用AI實現(xiàn)了實時的人臉識別，這就意味著，即使我們的臉被部分遮擋、甚至是帶著面具，驍龍8也可以更準確地進行識別。

同時，得益于更好的自動曝光、自動對焦和自動白平衡，在暗光環(huán)境下，驍龍8也可以實現(xiàn)更好的拍照對比度表現(xiàn)和膚色表現(xiàn)。

這次驍龍8的人臉特征引擎可以檢測300個左右的面部特征點，是上代驍龍888的2.6倍，檢測速度也提升300%，并且所用到的神經(jīng)網(wǎng)絡(luò)可以針對更多人臉特征進行訓練，從而判斷用戶眼睛的睜開狀態(tài)以及是否在微笑，實現(xiàn)更準確的情緒理解。

當下，各家手機廠商都越來越重視超廣角的拍照效果，而驍龍8可以很好地解決超廣角人像拍攝中人臉尺寸變小的問題，因為驍龍8實現(xiàn)準確人臉檢測所需要的最小人臉尺寸相比上代要小很多。

同時驍龍8對于用戶肢體動作的檢測也更加準確，支持手勢檢測拍照等便捷功能，提升用戶日常的使用體驗。

在變焦拍照方面，通過“視頻超級分辨率”AI技術(shù)，驍龍8能讓數(shù)字變焦更清晰并保留更多細節(jié)。根據(jù)實際拍照對比，在變焦高2倍的情況下，驍龍8呈現(xiàn)的細節(jié)仍然多12%。

在全球新冠疫情沒有得到徹底緩解的當下，視頻會議需求仍然高漲，驍龍8在ISP中內(nèi)置了支持實時視頻背景虛化的專用AI引擎，實現(xiàn)實時的會議背景虛化，要注意的是，這是在移動端實現(xiàn)這樣的實時AI視頻處理技術(shù)。

值得一提的是，此次高通還與徠卡合作，將拍照時所用到的圖像處理算法寫入了驍龍8的AI引擎中，比如有代表性的徠卡風格濾鏡算法。

高通一邊聯(lián)合索尼提升ISP能力，一邊聯(lián)合徠卡提升拍照AI算法，這樣的產(chǎn)業(yè)鏈整合能力，也成為了高通的核心優(yōu)勢之一。

▲徠卡風格算法成片

可以看到，僅僅是在影像領(lǐng)域，AI能力的提升已經(jīng)可以給用戶體驗帶來許多改善，AI讓手機拍照能夠擺脫硬件的束縛，拍的更快、更準，也更真實。

與影像類似，其實移動游戲應(yīng)用面對的主要任務(wù)也是進行大量的圖像處理，在該領(lǐng)域，驍龍8的AI能力能夠提升手機的渲染效率，同時進行更加有效的防作弊檢測。

第7代AI引擎中的Hexagon處理器，利用多個神經(jīng)網(wǎng)絡(luò)實現(xiàn)圖形更高的保真度，同時適應(yīng)游戲操作的實時變化，讓游戲保持更高幀率運行。

在通信方面，高通將自家首個AI天線調(diào)諧技術(shù)融入驍龍8移動平臺，能夠通過算法檢測用戶握持終端時手部的位置，增強天線調(diào)諧能力，從而優(yōu)化手機信號狀況，也側(cè)面對手機續(xù)航起到了一定提升作用。

可以說，AI能力對于智能手機使用體驗的提升并非單點突破，而是全方位的賦能。

目前AI技術(shù)的落地不斷加速，而作為與每個人生活密切相關(guān)的智能手機品類，其也成為了AI技術(shù)在消費端應(yīng)用落地的橋頭堡，手機芯片AI能力的提升，勢必會進一步催化AI技術(shù)的應(yīng)用成熟。

03.增加專用低功耗AI模塊，“常伴式”AI成為可能

除了對于峰值A(chǔ)I算力和能效比的需求，其實日常生活中還有很多應(yīng)用場景，需要的是更加節(jié)能、但又時刻保持工作的AI能力。

比如一些待機狀態(tài)下的識別功能、傳感器功能。這也是目前在移動AI領(lǐng)域“魚和熊掌不可兼得”的現(xiàn)象最為凸顯的一部分。

手機需要收集更多數(shù)據(jù)并進行分析才會更加智能，但這又會增加功耗導(dǎo)致續(xù)航體驗的下降。

在現(xiàn)有工藝制程和芯片架構(gòu)之下，如何能夠兼顧？始終是廠商們面對的一道難題。

高通這次提供了一種新思路，他們在原有AI引擎之外，給驍龍8的第3代傳感器中樞里增加了一個全新的低功耗AI子系統(tǒng)，也可以簡單理解成一顆特殊的低功耗AI處理器。

該AI子系統(tǒng)為多核架構(gòu)，由專用AI處理器、DSP以及自有內(nèi)存組成，用于處理情境數(shù)據(jù)流，包括語音、音頻、傳感器數(shù)據(jù)等等。

既然是“低功耗”系統(tǒng)，功耗優(yōu)化自然是重點，該AI處理器與前代相比，AI性能提升75 %，功耗降低50%。得益于這樣的能效比提升，它可以幫助手機支持更多需要“長時間運行”的功能，比如語音助手、活動檢測以及環(huán)境理解。

當我們平時鍛煉的時候，手機能夠自動追蹤我們的鍛煉活動，通過一系列傳感器，AI能夠“理解”我們在進行哪種運動，比如在慢跑還是騎車？在得知運動狀態(tài)后，AI會自動開始追蹤和統(tǒng)計你的各項數(shù)據(jù)，甚至還能為你播放你喜愛的歌曲。

還有一個典型應(yīng)用場景就是日常通勤，比如AI檢測到用戶在開車時，它就會自動打開導(dǎo)航APP并開啟語音控制模式，用戶并不需要冒著交通安全風險手動開啟各類駕駛模式，當然，它也能在你駕車時為你挑選合適的歌曲進行播放。

此外，用戶現(xiàn)在可以用自己的聲音來搜索視頻和錄音文件，通過與三方APP廠商進行合作，APP可以利用高通傳感器中樞的AI能力對視頻中的聲音進行“標記”，用戶則可以基于自己的笑聲、歌聲等語音特征來搜索這些對應(yīng)的視頻或音頻。

值得一提的是，高通第一次將視覺能力加入到了這類長時間運行的AI功能中，讓手機的前置攝像頭變得更加“智能”。比如當手機前置攝像頭檢測到有除了你之外人窺探屏幕時，就會自動將屏幕上的通知信息進行隱藏，從而更好地保護隱私。

當然，上面這些便捷的AI功能背后，所獲取和使用的全部數(shù)據(jù)都獨立保存在高通傳感器中樞內(nèi)存中，實現(xiàn)了本地化處理，進一步保證了數(shù)據(jù)的安全性。

能夠看到，得益于這種低功耗AI模塊的加入，AI能力在用戶體驗中的交融，開始從“偶爾體驗”變?yōu)椤俺０樽笥摇?。而這種伴隨式的AI交互體驗其實一直是AI產(chǎn)業(yè)落地所追求的方向之一。

04.開發(fā)者生態(tài)建設(shè)助力AI技術(shù)落地

AI軟硬件技術(shù)的提升讓AI落地具有可能性，而應(yīng)用生態(tài)的建設(shè)則需要開發(fā)者們的助力才能真正實現(xiàn)。

今年從各大科技巨頭舉辦的開發(fā)者大會上我們可以清楚的看到一種趨勢：AI技術(shù)已經(jīng)成為“硬核技術(shù)”中的代表，所有頭部玩家都在加碼自研AI技術(shù)的探索。

并且各家廠商都在向開發(fā)者門開放各類AI服務(wù)平臺，力求讓開發(fā)者們更快捷地將AI能力部署在應(yīng)用中。

高通的神經(jīng)網(wǎng)絡(luò)處理SDK據(jù)稱是目前業(yè)內(nèi)最受歡迎的AI SDK之一。這次的驍龍8更新了算子支持和最新的訓練框架，讓AI加速器更易用、更可靠、更快，并且這些更新兼容Android NN和最新的TensorFlow Lite。

雖然這些軟件升級不如硬件那樣“觸手可及”，但對于提升用戶體驗而言卻至關(guān)重要。

通過與Hugging Face合作，高通在第7代AI引擎中支持了Transformer網(wǎng)絡(luò)，情感分析、分類這樣的基于自然語言處理的技術(shù)帶到了驍龍8上。據(jù)稱在Hexagon上運行情感分析模型，與在CPU上運行相比，性能提升接近30倍。

借助這些基于自然語言處理的解決方案，用戶能夠得到經(jīng)過分級處理的新聞、推送和郵件通知，這樣用戶就可以專注于更重要的事項。

在生態(tài)建設(shè)方面，高通與谷歌進行合作，將神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）引入，并將其集成進第7代高通AI引擎。

目前AI能夠自動化設(shè)計神經(jīng)網(wǎng)絡(luò)模型，針對用戶特定的硬件或性能目標創(chuàng)建最佳神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)。得益于NAS的引入，開發(fā)者和工程師們可以更高效地開發(fā)AI解決方案，推動應(yīng)用的落地。

05.結(jié)語：移動AI能力的邊界被不斷拓寬

智能手機對于AI算力的需求日益增長，以驍龍8為代表的移動SoC，在AI算力、AI能效比提升以及AI應(yīng)用場景落地、開發(fā)者生態(tài)建設(shè)等方面不斷發(fā)力，讓智能手機側(cè)的AI體驗邊界不斷拓展。

當下，以各類智能硬件產(chǎn)品、服務(wù)為代表的邊緣及端側(cè)AI市場正在快速增長并惠及越來越多的人，AI對于終端體驗的改變，逐漸從量變積累走向質(zhì)變。

正如高通CEO安蒙所說，高通在移動領(lǐng)域一直在布局底層技術(shù)，而這些也是面向未來“元宇宙”時代的關(guān)鍵技術(shù)。元宇宙需要AI學習和適應(yīng)不斷變化的環(huán)境并執(zhí)行各種任務(wù)，AI將會無處不在，這也讓我們對高通未來AI技術(shù)的發(fā)展，抱有更多期待。

本文來自微信公眾號“智東西”（ID：zhidxcom），作者：云鵬，36氪經(jīng)授權(quán)發(fā)布。