來源：新智元
今天，Meta重磅發布了Habitat 3.0，經過它訓練的AI智能體，學會了找人，還能幫人打掃房間。社交智慧機器人，進入下一個里程碑
今天開始，人類離幫忙做家事的機器人，又更近了一步
Meta宣布推出Habitat 3.0，目的是開發出社會化的AI智能體，這意味著社交智慧機器人已經進入新的里程碑階段。
這些具身智慧背後的關鍵，當然就是AI Agent。有了它們，機器人可以和人類合作，幫助人類完成日常任務。
論文網址：https://ai.meta.com/static-resource/habitat3
專案網址：https://github.com/facebookresearch/habitat-lab/tree/v0.3.0
其實，Meta在今天同時宣布了三項重大進展——
1. Habitat 3.0是第一個支援在多樣化、逼真的室內環境中，就人機互動任務進行大規模訓練的模擬器。
它能同時支援機器人和人形化身，讓人類和機器人在家庭環境中合作，例如幫忙打掃房間。
2. Habitat合成場景資料集（HSSD-200），是由藝術家創造的三維資料集，包含211個場景中466個語意類別的18,000多個物件。
HSSD-200在同類資料中心化品質最高，可以訓練導航智能體，對物理世界三維重建場景的泛化效果非常好，使用的場景數量也要少兩個數量級。
3. HomeRobot則是家用機器人助手硬體和軟體平台，非常經濟實惠，機器人可以在模擬和物理世界環境中，執行開放的詞彙任務。
在大規模學習上，Habitat 3.0在單一GPU上每秒可以完成超過1000步。
網友：能幹家務的機器人何時出來
網友表示：這是機器人技術的重大飛躍。
還有人感慨：這是非常進階的模擬市民遊戲。
已經有人期待在Meta Quest VR中體驗Habitat 3.0了。
Dream一下，家事輔助機器人應該不遠了。
Habitat 3.0
利用Habitat 3.0，Meta不僅在外觀和姿勢上對人類進行了真實的模擬。
而且，還支援從簡單（如行走和揮手）到複雜（如與物體互動）等各種類型的動作，並相容於動捕。
此外，虛擬化身還可以透過程式進行控制，並且不會出現效能下跌——人-機模擬速度跟機器人-機器人模擬速度類似。
人在迴路
Habitat 3.0的另一個關鍵特徵，就是「人在迴路」了。
透過滑鼠、鍵盤或VR，我們可以實現效果驚人的人機互動控制。
完成任務後，系統會收集機器人的策略和數據，並進行人機互動的評估。
社交任務
此外，Habitat 3.0還可以模擬多種真實的社交場景。
例如在被稱為社交導航的任務中，機器人需要在保持安全的同時找到並跟隨人類。
在另一項任務中，機器人需要和人類共同合作，完成諸如整理房間的任務。
這時人和機器人需要分別走到目標位置，其中，機器人需要想辦法盡可能有效率地和人類共同達成目標。
經過訓練的機器人，可以實現各種社會行為
除了能和人類保持安全距離外，機器人還會在必要時自己後退，為人類留出走路的空間。
讓AI智能體在真實世界和人類互動
以往，當我們想到AI助理時，想到的通常是基於網路的聊天機器人，或是智慧揚聲器。
而Meta的研究者們一直希望實現具備通用智能的具身AI Agent，讓它們可以感知環境，在數位和物理世界中和人類溝通、幫助人類。
其中一個願景，就是做出全天可穿戴的AR頭顯，供人類使用。
另外，研究者們也正在改進社交智慧機器人背後的技術，讓它們幫人類幹家務，也能適應人類對伴侶要求的個人化偏好。
工作主要中心化在深入研究嵌入式系統，讓下一代的AR和VR體驗更佳。
不過，在實體硬體（無論是機器人還是AR眼鏡）上與真人一起訓練和測試具身AI智能體，會有一些可擴展性限制，還可能存在安全問題。
這就需要建立標準化的基準程序。
因此，Meta的研究者們開發了一套新工具，用於跨模擬器、資料集的機器人研究。
他們還開發了一個包含軟硬體的技術堆疊，讓這方面的研究更容易，也更實惠。
為了快速提高機器人能力，研究者在模擬器中開發和測試新的演算法和模型，然後移植到實體機器人上。
幾年以來，Habitat模擬器取得了許多顯著的進步。
在Habitat 1.0訓練的虛擬機器人，能以每秒超過10,000步（SPS）的速度，在實體世界房屋的三維掃描中導航。
Habitat 2.0 引入了互動式環境（例如，可拿起的物品、可打開的抽屜），並訓練虛擬機器人透過重新排列物品來清理房屋。
Habitat 3.0在此基礎更進一步，能夠同時支援機器人和人形化身，實現人機協作完成日常任務，例如整理客廳、在廚房準備食譜。
這開啟了新途徑，研究人類與機器人在多樣化、逼真、視覺和語義豐富的任務中的協作。
另外，Habitat 3.0還支援具有逼真外觀、自然步態和動作的人形化身，可以模擬逼真的低階和高階互動。
這些人形化身既可由學習到的策略控制，也可由真人透過「human-in-the-loop」介面來控制。
這個介面支援鍵盤、滑鼠以及VR頭戴裝置。
人與機器人在模擬環境中的共存，使人類能夠首次在類似家庭的環境中，在有人形化身存在的情況下，學習機器人AI策略，完成日常任務，並對其進行評估。
這無疑具有重大意義——
1. 強化學習演算法通常需要數百萬次的迭代，才能學習到有意義的知識，因此在物理世界中進行這些實驗可能，需要數年時間。
而在模擬實驗中，幾天就能完成。
2. 在物理世界的不同房屋中收集資料是不切實際的，因為這需要將機器人移動到不同的地方，也要設定環境。
而在模擬中，可以在幾分之一秒內改變環境，然後立刻在新環境中開始實驗。
3. 如果模型沒有訓練好，機器人就有可能破壞環境，或是傷害物理世界中的人。
而模擬器能夠讓研究者在安全的環境中測試方法，然後再部署到物理世界中，這樣就保證了安全。
4. 當今最先進的AI模型，需要大量資料進行訓練，而模擬使研究者能夠輕鬆地擴大資料收集規模。
而在物理世界中，資料收集的成本可能相當高，速度也會很慢。
而且，研究者也提出了兩個高度相關的任務和一套基準，以建立社會化具身AI領域的基準。
第一個任務是「社交整理」，涉及機器人和人形化身協同工作，執行一系列拾放任務，例如清理房屋。
在這項任務中，機器人和人類必須協調行動，以實現共同目標。大規模的模擬訓練後，就會產生這種智慧行為。
第二項任務是「社交導航」，讓機器人在保持安全距離的情況下，定位並追蹤一個人。
Habitat合成場景資料集
三維場景資料集對於在模擬環境中訓練機器人至關重要。
目前，雖然已經有不少資料集可支援對訓練資料進行擴展，但我們並不了解資料集規模與真實性之間的權衡。
為此，Meta推出了一個全新的合成三維場景資料集－HSSD-200。
它由211個代表實際室內環境的高品質三維場景組成，包含了來自466個語義類別的18,656個物理世界物體模型。與先前的資料集相比，更加接近真實的物理場景。
具體來說，HSSD-200提供了更高品質，且完全由人工製作的3D室內場景，並包括了與WordNet本體相對應的細粒度語義分類。
此外，HSSD-200的資產壓縮功能，還可實現高效能的人工智慧模擬。
在場景方面，HSSD-200採用了Floorplanner室內設計介面進行製作，佈局主要是實際房屋的再現。
其中，單一物件由專業的3D藝術家創建，在大多數情況下與實際的家具和電器相匹配。
實驗表明，規模較小但品質較高的HSSD-200資料集，可以產生以物品為導航目標的（ObjectNav）智能體，其性能可與在規模更大的資料集上訓練的智能體相媲美。
而且，在HSSD-200上訓練智能體所需的場景數量，要少2個數量級—
與使用10,000個ProcTHOR場景訓練出的智能體相比，使用122個HSSD-200場景訓練出的智能體對HM3DSem物理世界場景的泛化效果更好。
HomeRobot
共用、共享平台是機器學習進步的重要組成部分，但在機器人領域，由於很難複製和擴展硬體成果，因此十分缺少類似的平台。
對此，Meta為可重現的機器人研究平台提出了三個目標：
– 一顆激勵人心的北極星：
平台需要提供具有指導性的北極星任務，以此激勵研究人員並幫助他們進行工作。其中，他們還可以在有趣的真實世界問題上對各種方法進行比較。
例如「開放詞彙移動操縱（OVMM）」－在任意未知的環境中拾取物體，並將其放到指定位置。這需要非常強大的長期感知能力和場景理解能力，而且對各類的任務都非常有用。
– 軟體能力：
平台需要提供一些抽象介面，使機器人更容易用於各種任務，包括導航和操作。
– 社區：
平台需要鼓勵開發者參與進去，並嘗試圍繞程式碼庫建立一個社群。
為了推動這一領域的研究，Meta推出了一個全新的HomeRobot函式庫，實現了Hello Robot Stretch的導航和操縱功能的支援。
專案網址：https://github.com/facebookresearch/home-robot
具體來說，HomeRobot有兩個組件：
1. 模擬組件：提在新的、高品質的多房間家庭環境中使用大量且多樣化的物件集；
2. 物理世界組件：為低成本的Hello Robot Stretch以及波士頓動力公司的產品提供軟體堆棧，以鼓勵在各實驗室之間複製物理世界實驗。
此外，HomeRobot還提供了一個非常友善的軟體棧，讓使用者能夠快速設定機器人，並立即進行測試。其特點包包括：
– 可移植性：
每項任務的模擬和物理世界設定之間都有統一的狀態和動作空間，為使用高層次的動作空間（如預設抓取策略）或低層次的連續關節控制來操作機器人，提供了簡單的方法。
– 模組化：
感知和行動組件支援高層次的狀態（如語意地圖、分割點雲）和高層次的行動（如前往目標位置、拾取目標物體）。
– 基準智能體：
使用這些功能為OVMM提供基本功能的策略，以及建立更複雜智能體的工具，其他團隊可以在此基礎上進行開發。
在HomeRobot OVMM基準中，智能體可在居家環境中抓取新奇物品，並將其放入或放在目標容器中。
其中，Meta採用強化學習和啟發式（基於模型）基線，展示了導航和放置技能可以從模擬到物理世界轉移。結果表明，基線可以在物理世界中實現20%的成功率。
參考資料：
https://ai.meta.com/blog/habitat-3-socially-intelligent-robots-siro/
資訊來源：由0x資訊編譯自8BTC。版權所有，未經許可，不得轉載