米哈遊、復旦發布,具備感知、大腦、行動的大語言模型“智能體”


原文來源:AIGC開放社區

圖片來源:由無界AI生成

ChatGPT等大語言模型展現了前所未有的創造能力,但距離AGI(通用人工智慧)還有很大的距離,缺乏自主決策、記憶儲存、規劃等擬人化能力。

為了探討大語言模型向AGI演變,進化成超越人類的超級人工智慧,米哈遊與復旦NLP研究團隊共同發布了一篇基於大語言模型的「智能體」論文。將具備感知、大腦和行動三大功能的智能體,投放在文字、沙盒遊戲等實驗環境中讓其自行活動。

結果顯示,這些智能體具備自主感知、計畫、決策和交易所等擬人化能力,例如,當周圍環境變得困難、艱苦時,智能體會自動調整策略和行動力;在社會模擬環境中,智能體會展現同情等擬人化情感;當兩個陌生智能體通過簡單交易所後,會記得彼此。

該技術框架與先前史丹佛大學、清華大學發布的AI代理遊戲模擬實驗類似,都是在大語言模型的基礎之上構建功能更強大的AI機器人,這為行業的發展起到了推動作用。

論文網址:https://arxiv.org/abs/2309.07864

Github:https://github.com/WooooDyy/-Agent-Paper-List

根據論文介紹,智能體主要由感知、決策與控制以及執行三大模組組成,透過感知環境、做出智慧決策然後執行具體的行動。

感知模組

感知模組用於從環境中獲取各種資訊,相當於人的感官。可以包含多種感測器,獲取不同類型的數據,例如,攝影機獲取影像資訊,麥克風獲取語音資訊等。

感知模組預處理這些原始數據,轉化為智能體可以理解的數字表示,以供後續模組使用。常用的感知感測器包括:

影像感測器:攝影機、RGB-D 攝影機等,用來獲取視覺資訊。

聲音感應器:麥克風,取得語音、環境聲音等音訊資訊。

位置感測器:GPS、INS(慣性導航系統)等,獲知智能體自身位置。

觸覺感測器:觸覺ARRAY、觸覺手套等,獲取物體接觸時的觸覺回饋。

溫度、濕度、氣壓等環境感測器,取得環境參數資訊。

感知模組需要對原始資料進行預處理,例如,影像去噪、聲音降噪、格式轉換等,以產生可供後續模組使用的規範化資料。同時,感知模組還可以進行特徵提取,如從圖像中提取邊緣、紋理、目標區域等視覺特徵。

決策與控制模組

本模組是智能體的「大腦」,對感知模組所獲取的數據進行處理、分析,並做出相應決策。可細分為以下子模組:

知識庫/記憶:儲存各類先驗知識、經驗,以及執行過程中的觀測、經驗等資訊。

推理/規劃:分析當前環境,根據目標任務制定行動方案。如路徑規劃、動作序列規劃等。

決策:根據當前環境狀態、知識和推理結果,做出最優決策。

控制:將決策結果轉換為控制指令,向執行模組下達執行命令。

決策與控制模組的設計是智慧體技術的關鍵。早期使用基於邏輯和規則的符號方法,近年來深度學習技術成為主流。模組的輸入是感知獲取的各類資料,輸出是對執行模組的控制指令。

執行模組

執行模組接收控制指令,並將之轉換為具體的環境互動行為,以實現對應任務。它相當於人的「四肢」。執行模組連接智能體的「效應器」,根據控制指令驅動效應器實施行動改變環境。主要效應器包括:

運動執行機構:機械手臂、機器人底盤等,改變智能體自身位置或進行物件操作。

語音/文字輸出:語音合成器、顯示器等,以語音或文字形式與環境互動。

工具/設備操作介面:控制各類設備、工具,擴充智能體的環境操作能力。

執行模組的具體設計與智能體的物理形式相關。例如,服務型智能體只需文字或語音介面,而機器人需要連接並精確控制運動機構。執行的準確性和彈性是影響任務成功的關鍵。

在測試實驗中,研究人員主要進行了任務、創新和生命週期管理三大類實驗,來觀察智能體在不同環境中的表現。

任務實驗

研究人員建構了文字遊戲和生活場景兩個模擬環境,來測試智能體完成日常任務的能力。文字遊戲環境使用自然語言描述虛擬世界,智能體需要透過閱讀文字描述來感知周圍環境並採取行動。

生活場景模擬則更加真實和複雜,智能體需要利用常識知識來更好地理解命令,例如,在房間黑暗時主動打開燈光。

實驗結果顯示,智能體可以利用其強大的文本理解生成能力,在這些模擬環境中有效地分解複雜任務,制定計劃,並與動態變化的環境互動,最終完成預定目標。

創新實驗

研究人員探索了智能體在專業領域如科學創新的潛力。由於這些領域存在數據稀缺性和專業領域知識理解難度等挑戰,研究人員測試了為智能體配備各類通用工具或專業工具的方案,來提升其對複雜領域知識的理解能力。

實驗顯示,智能體可以利用搜尋引擎、知識圖譜等工具進行線上研究,並與科學儀器設備介面,完成材料合成等實際操作。這使其成為頗具潛力的科學創新助手。

生命週期實驗

研究人員使用開放世界遊戲Minecraft來測試智能體的持續學習和生存能力。智能體從最基礎的活動如開採木材和製作工作台開始,逐步探索未知環境,獲得更複雜的生存技能。

實驗中,智能體使用進行高層次計畫制定,並且可以根據環境回饋不斷調整策略。結果顯示,智能體可以在完全自主的情況下發展技能,持續適應新的環境,展現出強大的生命週期管理能力。

此外,在社會模擬方面,研究人員探討了智能體是否會表現出人格和社交行為,並測試了不同的環境設定。結果顯示智能體可以展現出某些層次的認知能力、情緒和性格特質。在模擬社會中,智能體之間會出現自發性的社交活動和群體行為。

資訊來源:由0x資訊編譯自8BTC。版權所有,未經許可,不得轉載

Total
0
Shares
Related Posts