來源：量子位
好傢伙，華為HarmonyOS接入大模型，智慧助手可以這麼玩了嗎？
只需一句中文指令，華為小藝就寫出一封英文郵件：
可以把自己的照片用AI做成不同風格：
還能說一長串指令，讓它自己創建複雜場景，大白話就能聽得懂：
這就是華為HarmonyOS 4中的全新小藝。
它是在華為盤古L0基座大模型的基礎上，融入大量場景數據，對模型進行精調，最後煉成的一個L1層對話模型。
能搞定文本生成、知識查找、資料總結、智能編排、模糊/複雜意圖理解等任務。
而且也可以調用各種APP服務，實現系統級的智能化體驗。
所以，全新華為小藝，到底能做哪些事？
更聰明、更能幹、更貼心
基於大模型能力，華為小藝這一次主要在三方面做了升級：
智慧交互高效生產力個性化服務
具體能力提升包括更自然語言對話、玩機知識問答、查找生活服務、對話識別屏幕內容、生成摘要文案圖片等。
首先，智慧交互升級讓對話、交互更自然流暢了。
華為小藝可以聽懂大白話，理解模糊意圖和復雜命令。
找不到最新的壁紙設置功能、也不知道功能名稱，可以直接問：
那個可以根據天氣實時變化的壁紙怎麼換？
或者是一個複雜的命令，包含多個要求的那種：
找一家松山湖附近，評分高的海鮮餐廳，最好有適合四個人的優惠套餐。
小藝也能調用服務找到滿足要求的餐廳。
同時小藝也具備多模態能力，能理解圖像內容。這樣原本需要用戶自己看完再手動操作的步驟，也能交給小藝了。
比如讓它看一張邀請函，然後說：
導航去圖上的地址。
它能夠提取出圖上地址信息，並調用地圖服務導航。
或者是把邀請函中的聯繫信息保存，可以看到它能夠很好理解圖像中的文本信息。
更進一步，現在還能通過小藝進行複雜任務編排，不用咱們自己手動反復設置了。
比如可以讓它設置一個晨跑場景：
幫我創建晨跑場景。每週一到週五早上6點半為我播報當天天氣。當我戴上藍牙耳機的時候，就播放收藏的歌曲，並把手機設為靜音模式。
小藝能夠聽懂這一長串要求，再去調用不同功能。並且可以基於手機狀態（是否連接藍牙耳機），來自行判斷是否要執行某些操作。
其次，得益於大模型等能力加持，現在小藝可提供更高效的生產力工具。
幫你看、讀、寫都沒問題。
比如給它看一篇英文文章，然後提問這篇文章中講了什麼？
小藝就能用中文做出通俗簡潔的解釋。
如果用戶過去讓它記住過一些信息，也能調用出來生成相應內容。
過幾天就要約David見面聊項目了，結合上次會議記的信息，寫一份英文會議預約郵件。
包括開頭提到的，小藝也能利用AI視覺能力，將照片創作成多種風格。
最後，作為智慧助手，小藝現在支持更加個性化服務，也能更懂你。
可以當記事本、備忘錄使用，一些小事都能通過口頭完成記錄。
華為表示，所有記憶內容都是在用戶授權下完成，會充分保護用戶隱私。
此外小藝建議如今也可以感知到更多用戶的高頻場景，能主動提供一站式的智慧組合建議，省去很多自己手動查找的過程。
比如在出境旅遊的場景下，出發前小藝能實時提醒最新匯率、兌換外幣、幫助用戶即時獲取目的地遊玩攻略；到達目的地後，還能提醒行李轉盤信息、一鍵開啟境外流量、快速獲取實時翻譯工具等。
據介紹，全新小藝智慧場景增加3倍，POI數量提升了7倍，能夠覆蓋核心餐飲購物門店、商圈、機場高鐵站等場景。
總結來看，全新小藝不僅獲得了最新的AIGC能力，還改善了手機語音助手過去經常被詬病的一些短板。
如沒有記憶力、對話呆板、聽不懂大白話等……
這一切當然得益於大模型的加持，不過小藝具體是怎麼做的？
小藝擁抱大模型
小藝依託的底層模型是華為盤古系列。
今年7月，華為正式發布盤古大模型3.0，並提出3層模型架構。
L0：基礎大模型，包括自然語言、視覺、多模態、預測、科學計算； L1：N個行業大模型，比如政務、金融、製造、礦山、氣象等； L2：更細化場景的模型，提供“開箱即用”的模型服務
其中L0層基礎大模型最大版本包含1000億參數，預訓練使用了超3萬億tokens。
小藝正是在華為盤古L0基座大模型的基礎上，針對終端消費者場景構建了大量的場景數據，並對模型進行精調，最後煉成的L1層對話模型。
在精調中，小藝加入了覆蓋終端消費者的主流數據類型，如對話、旅遊攻略、設備操控、吃穿住行等。
這能很好覆蓋普通用戶日常對話的知識範圍，並且可以增強模型對話過程中的事實性、實時性以及安全合規等。
不過眾所周知，大模型因為規模大的特性，在部署和快速響應上都很有挑戰。
部署方面，華為正在不斷增強大模型端雲協同的能力，端側大模型可以先對用戶請求和上下文信息做一層預處理，再將預處理後的request請求到雲側。
這樣做的好處是，既能發揮端側模型響應快的優勢，又能通過雲端模型來提升問答和響應質量，同時也能更進一步保護用戶隱私數據。
而在降低推理時延上，華為小藝做了系統性工程優化，包含從底層芯片、推理框架、模型算子、輸入輸出長度等全鏈路。
通過對各個模塊時延進行拆解，研發團隊明確了各部分優化目標，利用算子融合、顯存優化、pipeline優化等方式降低時延。
同時prompt長度和輸出長度也會影響大模型推理速度。
在這方面，華為針對不同場景的prompt和輸出格式做了逐字分析和壓縮，最終實現推理時延減半。
從整體技術架構來看，華為小藝和大模型的融合，不是簡單對聊天、AIGC、回復等任務進行增強，而是以大模型為核心，進行了系統級增強。
換言之，就是讓大模型成為系統的“大腦”。
其底層邏輯是：將用戶的任務分配給合適的系統，各個系統各司其職，同時在復雜場景上增強體驗。
具體來看小藝的典型對話流程，一共可分為三步：
第一步，接收用戶問題，基於上下文理解/小藝記憶的能力，分析問題該如何處理。
第二步，根據請求類型調用不同能力，包括元服務檢索、創意生成、知識檢索。
如果用戶發起的請求涉及到元服務，比如他詢問附近有哪些可以聚會的餐廳，這就涉及到了美食APP服務的調用，系統需要API生成，最後由服務方基於推薦機制給出響應。
如果用戶詢問的是知識問題，比如問盤古大模型有多少參數。這時系統會調用搜索引擎、對應領域知識、向量知識進行查詢，然後融合生成答案。
如果用戶的請求是生成式任務，那麼大模型自身能力即可給出回复。
最後一步，所有生成的回答會經過風控評估，再返還給用戶。
除此之外，小藝在細節上也做了更進一步的把控，進行了一系列底層開發，以確保問答、執行任務的效果。
可以來看數據方面。
小藝從2017年起在HarmonyOS上線後，對普通用戶的對話習慣已經有了一定增持。在此之上，華為又構建了大量不同類型表達的語料庫，盡可能覆蓋更多文字和口語表達，讓大模型在預訓練階段中就能精通各種表達。
為了能更好評估提升小藝能力，華為構建了一個完整測試數據集。
這不僅能評測現有開放大模型能力，也能基於評測結果指導小藝在數據和能力上的構建。
想讓小藝掌握工具調用，挑戰性也很高。
設備控制需要大模型生成長達數百個token的複雜格式文本，其中不能出現任何格式錯誤，否則中控系統將無法解析和對接。
為了讓大模型能達到如此生成標準，華為一方面用prompt摸清楚大模型的“脾氣”，同時加強大模型的代碼能力，進而增強模型的格式遵從能力，最終實現了格式幾乎百分百遵從。
而針對複雜場景，小藝的方式是先利用大模型能力充分學習和理解工具場景，再進行推理。
據了解，團隊優化模型設備控制效果從完全不可用，提升為可用度超8成。
加之原生HarmonyOS也使得優化現有API成為可能，通過這種反向適配，也能更好發揮大模型特長。
面向全場景、不局限於手機端
所以，為什麼是華為能如此迅速將大模型能力部署到智慧助手上？
在底層基礎研發的增持和攻關必不可少，不過還有一點值得關注——
華為選擇了從實際場景做切入，來確定該如何讓大模型和智慧助手乃至整個操作系統做結合。
用華為自己的話來說就是：
Talk is cheap. Show me the Demo.
而以上展示的諸多體驗，也都來自於華為研發團隊成員日常感知到的場景。
比如有人習慣上下班開車路上獲取新聞，對於太長資訊只能看不方便聽，所以在華為小藝中出現了資訊總結的功能。
還有人發現自己在寫購物評測、生日祝福的時候總是詞窮，所以華為小藝提供了文案生成功能。
而這種對場景體驗的關注，是HarmonyOS的天生優勢。
從誕生起，HarmonyOS便沒有局限於手機端，而是面向多種終端、全場景。
如今已經打造出“1+8+N”全場景生態。
華為小藝現在也已部署在了1+8設備上，未來將結合全場景設備的業務形態，逐步把擁有大模型能力的小藝部署到消費者全場景體驗之上。
而小藝作為一個AI驅動的智慧助手，從誕生起也在不斷集成各種AI能力，如AI字幕、小藝朗讀等。其背後研發團隊，也始終關注AI與智慧助手的更多可能。
據透露，去年團隊便留意到百億規模的預訓練模型結合prompt提示技術，已經可以帶來非常不錯的文本理解和生成能力了，並能在閒聊、問答、任務式對話上有應用。
隨著最新一輪AI趨勢爆發，RLHF給大模型帶來顯著提升，產業落地的大門正式開啟。
今年生成式AI趨勢發生以來，諸多應用都選擇接入大模型能力、內置智慧助手。
但華為作為全球最懂操作系統的廠商之一，選擇從更底層切入，用大模型來重塑OS。
更底層，意味著更徹底、更全面。
但對於研發來說，挑戰也更大。
這不僅需要足夠堅實的模型底座，還需要進行系統級的融合優化，同時也對場景理解、用戶需求感知提出要求。
對應來看：華為是最早具有大模型能力的國內廠商之一；構建全棧AI開發能力；HarmonyOS覆蓋7億+設備……
由此，也就不難理解為什麼華為小藝會快速接入大模型能力，讓HarmonyOS 4成為如今首個全面接入大模型的操作系統。
而作為全球最受關注的操作系統之一，HarmonyOS率先擁抱大模型，或許也會開啟一種新範式，讓人人打開手機就能體驗大模型能力，不再局限於想像之中。
目前，華為已公佈小藝測試計劃：
全新小藝將在今年8月底開放邀請測試，並於晚些時候在搭載HarmonyOS 4.0及以上的部分機型通過OTA升級體驗，具體升級計劃稍晚公佈。
感興趣的童鞋，可以來蹲蹲看~
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載