原文來源：極客公園
作者：靖宇
圖片來源：由無界AI生成
打開相機介面，示範人員拍攝了一張眼前風景的圖片。在相簿中，找到這張圖片，選擇「擴充」功能，結果原本照片沒有拍到的外圍部分，被神奇地「擴充」到了外圍。
另一邊，一台手機彷彿是用來給參觀者自拍的，進入到它的前置鏡頭區域，你會發現，畫面中人物影像的背景被即時替換了，即便自拍者不斷動作，虛擬背景也沒有穿幫，幾乎感受不到延遲。
即時修改自拍背景示範｜極客公園
而如果稍微仔細一些，你會發現這些用來展示的手機全部開啟了飛航模式——也就是說，上述這些複雜功能，全部跑在手機本地晶片上。
這是2023 高通驍龍峰會的Demo 體驗館，而上述手機演示的AI 功能，全部仰仗於機器內部、剛剛在會上曝光的驍龍8 Gen 3（第三代驍龍8）處理器晶片的算力。
在AI 大模型火爆的當下，高通在今年的發布會上發布的兩款新品，驍龍X Elite 和驍龍8 Gen 3 晶片，分別在PC 和智慧型手機代表的行動裝置上，實現了百億參數大模型的本地運行，讓生成式AI 的神奇能力，成為行動裝置的「內建功能」。
在「雲端AI」之外，借助晶片的高速發展，「終端AI」已經實現，而二者協同的「混合AI」的時代，可能已經到來。
01 AI，從資料中心到手機和PC
「我們剛剛見證了下一個轉型的開始，而它的深遠意義。」
高通總裁兼CEO，克里斯蒂亞諾·安蒙Cristiano Amon 在描述了手機從功能機到智慧型機，再到未來時，對終端和雲端結合的「混合式AI」，做出了這樣的預言。
安蒙在高通驍龍峰會上闡述「終端AI」時代已經到來｜極客公園
在雲端的AI，例如現在許多的生成式AI 對話應用可能已經不陌生，但是終端AI 的實現，對於硬體的要求很高，這也是為什麼當天高通發布會上的兩款全新晶片——驍龍X Elite 和驍龍8 Gen 3 格外引人注意。
也許當天最刺激的，是驍龍X Elite 所搭載的Oryon CPU 在單線程上的性能不僅秒殺蘋果公司自傲的M2 MAX 晶片，和英特爾的i9-13980HX，而且在同等性能上的能耗比後者降低了70%。
更重要的是，強勁的Oryon CPU、Hexagon NPU，以及Adreno GPU，在X Elite 異構的AI 引擎加持下，三塊處理器單元能夠實現整體75 TOPs 的算力。
超強的算力，讓之前只能在雲端獲得的生成式AI 對話體驗，可以成功在搭載了驍龍X Elite 晶片的電腦本地環境中——最高可以在PC 端運行高達130 億參數的大語言模型，Token 生成速度達到每秒30 個，快到超過使用者的閱讀速度；同時，使用Stable Diffusion 產生圖片速度達到驚人的少於1 秒。
新推出的Oryon CPU 速度與能耗吊打友商｜極客公園
在現場，當你用手指點擊生成按鈕，圖片可以在瞬間完成時，體驗令人驚奇，因為人們早已習慣了等待生成式對話產生圖片，從模糊到清晰那漫長的時間。
作為智慧型手機晶片旗艦產品，驍龍8 Gen 3 的實力與X Elite 相比也不遑多讓，在AI 方面，不僅本地能跑起百億參數大模型，同時生成圖片速度同樣達到了短短0.6 秒。
光是今年第一季，高通的展示僅能在本地跑的動10 億參數大模型，產生圖片速度控制在15 秒。高通使用了什麼「魔法」，能讓「終端AI」取得大跨越發展？
以驍龍8 Gen 3 為例，首先高通將像Llama 2 這樣的大模型量化，使用AI 軟體堆疊進行壓縮，將量化模型載入到超高速DDR 記憶體之中，後者可以用超快吞吐量將模型輸入到Hexagon NPU 進行工作。
高通的AI 引擎專門針對AI 進行了優化｜極客公園
高通對微架構進行了重大改進。除升級微切片推理硬體外，團隊還為張量加速器增加了獨立的電源傳輸軌道，以實現最佳性能和能源效率。同時，高通也提高了標量和向量加速器的時脈速度，並將大型共享記憶體的頻寬增加了一倍。 Hexagon NPU 的這些改進，使其成為大模型推理的領先加速器。
在語音式生成對話中，高通還使用了一種「推測性解碼」技術，後者也是首次在終端上使用。該技術使用幾乎只有原始模型一半大小的「草稿模型」演算法，首先在CPU 上進行大量推理後，快速產生3 個推測性代幣。
主模型一次處理所有3 個標記，並決定接受哪一個。一個好的草稿模型能以較高的接受率預測下一個代幣，使代幣生成速度翻倍，同時保持準確性。最後，AI 助理產生的語音要經過CPU 上運行的文字到語音AI 模型而產生。
這是高通AI 引擎，也就是NPU，再加上CPU、GPU、高通感測器中樞和超快記憶體共同協作完成了一次終端側AI 使用案例的過程。
但是，在複雜但高效的生成式AI 應用案例背後，是高通在終端側AI 方向上漫長的增持和探索。
02 終端AI 進化史
如果說以資料中心為場景的雲端AI 硬體進化，標誌是英偉達的圖形顯示卡；那麼終端側AI 的發展，具有標誌意義的則是高通AI 引擎，當然其中硬體層面最關鍵的部分就是不斷進化的驍龍Hexagon NPU 處理器。
早在2007 年，高通便在驍龍平台上推出了首個Hexagon 處理器。
2015 年，高通已經將AI 技術整合到其處理器之中，用AI 來增強影像、音訊和感測器的運算。
2017 年，高通在驍龍845 晶片中引入了Hexagon 685 DSP，它使智慧型手機更快速地執行複雜的AI 任務，如影像辨識和語音處理。
接下來的2018 年，驍龍855 升級了第四代AI 引擎，為Hexagon 處理器增加了張量加速器，在AI 處理方面有了3 倍的效能提升。
在驍龍865 中，引入了Hexagon 698 DSP，提供了更多的AI 性能和效率。這個版本強調了AI 加速，並優化了AI 模型的執行，從而在智慧型手機中更快速地運行AI 應用。 2020 年底的驍龍888 中的Hexagon 780 DSP，提供了高達26TOPS 的AI 性能。
經過十多年進化，驍龍運算平台的AI 能力已經成長100 倍｜極客公園
直到現在驍龍X Elite 和8 Gen 3 晶片，已經能提供75 TOPs 的算力——如果將這七年來高通晶片在AI 處理能力做成一張曲線圖，可以看到那條「AI 曲線」呈現一個陡峭上揚的趨勢，並且仍然沒有停下來的趨勢。
在硬體之外，高通在AI 軟體層面的努力，對於提升終端AI 的能力同樣不可或缺。高通AI 軟體堆疊將其所有的AI 軟體產品整合在統一的解決方案中。 OEM 廠商和開發者可基於高通產品創建、優化和部署AI 應用，充分利用高通AI 引擎性能，讓AI 開發者創建一次AI 模型，即可跨不同產品部署。
在驍龍峰會上，高通也發布了AI 軟體堆疊模型——一套能夠滿足開發人員需求的模型，這些模型經過高通公司的全面優化、測試和驗證，可支援第三代驍龍8 和驍龍X Elite 平台。
高通神經網路處理SDK 和高通AI 引擎Direct 是高通AI 軟體堆疊的核心，連接晶片與所有主流AI 框架。利用託管模型TF Lite 和ONNX RT，使用者還可以直接使用Tensorflow 和ONNX，讓開發人員自由選擇自己喜歡的工作環境。
高通正在和眾多巨頭、大模型公司建立終端AI 生態｜高通
高通已經和多家巨頭和大模型新創公司合作，在高通AI 軟體棧模型發佈時，已經有30 多個大模型支持，數量還在不斷增加，而軟體棧模型也會在大熱的模型託管平台Hugging Face 現身。
由多個軟硬體組件構成的高通AI 引擎如今已發展到第八代，能在驍龍和高通平台上實現終端側AI 加速。
可以看出，以晶片底層硬體為基礎，高通正在聯合為數眾多的合作夥伴，建立起一個「終端 AI」生態。
「終端AI」為什麼這麼重要，高通，及其合作夥伴，要不遺餘力地進行投入？
03 「混合式AI」的未來
在瀏覽器中，在手機端的App 裡，很多人都在使用生成式AI 應用，看起來這種「雲端AI」似乎已經能滿足人們的需求。相對於雲端AI，終端側AI 有什麼優勢？
首先就是即刻響應。之前曾經有開發者嘗試將Stable Diffusion 模型壓縮，在Mac 筆記本上產生圖片，結果產生速度以小時計。而如果在終端機進行本地運算，高通展示的Demo 中，Fast Stable Diffusion 產生圖片的速度已經降到了1 秒以下。
尤其是像虛擬人、即時虛擬背景這樣對於延遲要求較高的場景，終端AI 本地運算的即時性就凸顯出來。
另外，在網路不良的情況下，本地設備的AI 能力就成了用戶的唯一選擇。
第三代驍龍8 晶片可以在手機本地實現照片擴充能力｜高通
同時，當資料跑在終端的本地時，安全性也要比在雲端更安全。例如，驍龍X Elite 支援最新端到端安全，從晶片到雲端保護企業的全部終端。專用的高通安全處理單元支援微軟Pluton 安全架構，旨在儲存敏感資料。
最後，就是終端AI 能力的提升，能真正有機會讓人工智慧助手，擺脫「人工智障」的罵名，真正成為合格的高度個人化的私人智慧助手。就像現場演示的那樣，借助記錄和存儲在終端側的個人資訊、使用習慣等數據，智能助理在接收到語音指令後，即可直接預訂酒店和機票，而不用在手機各個App 中跳來跳去。這些都是雲端AI 所無法比擬的。
大概十年前，a16z 創辦人馬克安德森曾經做出「軟體吞噬世界」的預言，可惜現實證偽；在大模型引發的AI 浪潮下，「AI 吞噬App」卻正逐步變成現實。
終端AI+ 雲端AI，會改變智慧型手機以App 為中心的範式｜極客公園
「AI 的預測能力，加上終端是專門為你打造的，這就讓終端和作業系統，以及應用程式和雲端變得智慧。」
安蒙如此描繪終端AI+ 雲端AI 組成的「混合式AI”，將會如何改變人們使用終端的習慣。
截至目前，使用驍龍平台的終端機已達30 億之巨。
就像Oryon CPU 會在接下來進入到高通各個產品線，終端AI 的能力，將很快從PC 、手機轉移到XR 和智慧車機端——一個「混合式AI」無處不在的未來。
AI 將會進入各式各樣的終端之中｜高通
驍龍峰會開場，毛伊島本地民族的特殊儀式，來自海外的陌生人，透過獨特的海螺樂器和叫聲，表明自己無惡意；島上的本地族人，則以獨有的「咒語」回話對方，確認對方無惡意，值得信任。
這令人動容的儀式，很像「終端AI」與「雲端AI」的融合，攜手為世人帶來「混合式AI」的未來。
資訊來源：由0x資訊編譯自8BTC。版權所有，未經許可，不得轉載