OPPO Find X7 系列手機首搭70 億參數AndesGPT 端側大模型,小布助手全新升級

根據IT 之家12 月27 日消息,在今日下午的OPPO Find X7 系列產品技術溝通會上,OPPO 公佈了安第斯大模型AndesGPT 的全新升級。安地斯大模型將分成1800 億參數、700 億參數、70 億參數三種體量,支援端雲協同部署,根據不同場景的使用者需求實現智慧調度。 OPPO 表示,AndesGPT 大模型透過強大的知識、記憶和工具能力,為小布助手帶來廣闊的知識面,以及個性專屬的智慧服務能力。透過獨創的SwappedAttention 技術,AndesGPT 也解決了長期記憶帶來首字推理延遲的問題。此外,透過4 bit 量化的模型壓縮,OPPO 的Al Boost 推理引擎優化,以及與晶片廠家聯合深度優化等多項舉措,OPPO 在Find X7 系列上首次實際端側應用70 億參數的大模型,具備超快的首字回應速度,在文字內容摘要的場景下,200 字的首字產生僅需0.2s,領先友商20 倍;2000 字首字產生僅需2.9s,領先友商2.5 倍;摘要字數上限可達14,000 字,可輕鬆輸入常見期刊論文,領先友商模型能力3.5 倍。

Total
0
Shares
Related Posts