AR界安卓在中國,Rokid引爆空間計算狂潮


原文來源:光錐智能

作者:劉雨琦

圖片來源:由無界AI‌ 生成

你可能很難想像,在一個沒有顯示屏也沒有鼠標的空間,僅憑一副AR眼鏡和一台口袋主機,就能完成一篇5000字的文章。

沒錯,8月26日,在2023 Rokid Jungle 新品發布會現場,這樣的場景正在真實發生著。會上,Rokid 發布了消費級OST(光學透視)個人空間計算平台Rokid AR Studio,包括Rokid Max Pro(售價4999元)和Rokid Station Pro(售價3999元)兩大硬件產品。

Rokid創始人、CEO祝銘明在發布會上表示:“讓空間計算能更自然地融入日常生活和工作,讓Rokid AR Studio成為你的第一台空間計算機。”

這和以往人們對AR眼鏡的認知有很大不同。在此之前,AR眼鏡一直被“鎖死”在娛樂場景中,靠影視和遊戲兩大支柱產業生存,而Rokid AR Studio 真正成為了個人生產力工具,IM軟件、寫文章、寫代碼,搜索信息等等工作場景,都能通過最新的硬件完成。

使用場景的擴展,讓AR設備從邊緣化的場景中,轉向更為實際的使用價值。消費者願意買單,整個AR產業鏈才會進入消費級市場正循環。

說自己是個“社恐”的老闆祝銘明,是個十足的產品和技術控,他在內部曾斃掉兩版產品設計初稿,差點把產品部“逼瘋”。可當最後產品部偷偷拿出設計好的產品時,祝銘明立刻下令資源都傾斜到這個產品上。 “我只關心一個數據,就是用戶使用時長。目前,我們的真實用戶使用時長已經接近一個半小時,週留存率超過20%。做到這個,用戶會自然增長。”

用戶數增持達到百萬級別,也意味著,AR行業進入了軟件系統和生態建設的第二階段。近年來,已經有越來越多的系統廠商、應用軟件廠商、內容廠商加入到AR生態建設中來。

“一群瘋子,一個夢想,十年光陰。”

正如祝銘明所言,從娛樂場景到生產力工具,Rokid用了10年,這背後不只是思考的躍進,更是從硬件技術到軟件技術,乃至整個產業鏈向前邁的一大步。蘋果和Rokid開啟了AR競賽第二階段,行業比拼也正在加速。

單目SLAM,怎麼重新定義交互?

在整場發布會中,最令人意外的,不是Rokid Max Pro 76g的機身,而是只有一顆攝像頭,竟然能完成SLAM(空間定位技術)、微手勢交互、第一視角分享、視覺定位VPS能力等多種融合型的交互方式。

AR/VR設備在經歷了物理交互(手柄)、語音交互、手勢交互後,正在往眼球追踪和現在的多感知融合交互方案發展。

但多感知融合的交互,對於硬件的要求更高,除了要滿足基本的需求,更要全方位、多角度的捕捉到用戶動作、手勢,才能精準地完成交互。

而用單顆攝像頭完成SLAM交互有多難呢?

視覺SLAM方法包含兩個模塊,一個是Tracking,已知3D點位置,基礎定位;一個是Mapping,更新3D點的位置。而無論是哪個環節哪種方法,單目意味著只能選擇一種攝像頭,以及固定位置和固定角度,對於識別的範圍、追踪速度和精度都存在極大的挑戰。

“業界都認為單目SLAM不可置信、很難做到”,祝銘明戲稱,“這可能也是對Rokid的一種肯定吧”。

目前,市場上為數不多的具備空間交互的AR眼鏡至少會搭載三顆攝像頭,來承擔算法功能。視覺路線的不同,也形成了以蘋果為代表的VST(視頻透視)和以Rokid為代表的OST(光學透視)兩大陣營。

仍以蘋果Vision Pro為例,其用12顆攝像頭“堆”出了快速定位捕捉、高精度的全景感知以及精密追踪,並通過VST的方式,將外部的世界通過攝像頭顯示在終端屏幕上,通過攝像頭的實時拍攝來看到外部世界。

但為了交互而堆硬件的方法,成本提高的同時價格也在翻番上漲,同時導致了機體重以及難量產兩大落地難題。這也就是為什麼,蘋果Vision Pro定價3499美元,並要在2024年才能實現量產的根本原因。

而Rokid堅持的OST方案本身便存在著一定的技術壁壘,由於管路設計複雜,且顯示畫面視角有限,光學零部件成本造價較高,在價格不進行較大漲幅的情況下,Rokid只能通過技術突破的方式,來降低疊加成本。

而讓行業認為“不可置信”的單目SLAM是如何做到的?會後,光錐智能與祝銘明進行了深度的交易所,發現Rokid的“絕招”在於,用AI算法來突破硬件的壁壘。

祝銘明介紹到,單目SLAM技術雖然早就存在,但還從沒有被應用在AR眼鏡中,手機的前置攝像頭也同樣應用了此類技術,唯一不同的是:算法。

從AI到AR,這是一條看似跨越但實際上本質融通的道路,但也正是因為Rokid此前數年在AI領域的增持,通過多維度視覺算法模型,包括視覺定位與增強、數字人技術、2D/3D手勢識別、OCR識別等技術,讓AI在具體的場景中落地。

比如AR視覺定位與增強功能,就是在解決和突破單目的限制,通過構建厘米級的視覺地圖,將虛擬信息在真實物體世界進行精準疊加融合,實現物體和場景的高精度三維重建。

Rokid副總裁、XR中心負責人王俊傑介紹道:“空間定位基於SLAM技術,然後才能在空間中進行穩定的自然交互。1~2秒的時間通過算法快速初始化,建立映射空間。”

而市場上,大多數設備還是採用雙目的方案來解決,但雙目融合也存在很多問題,除了成本多增加了一個攝像頭之外,還需要不斷用算法來實時擬合兩個攝像頭的數據,從而帶來更多的複雜問題。

由此看來,如果單目方案能夠順利進行,Rokid就又率先踩准了一個技術趨勢。此前,Rokid也是行業首創Station 主機的廠商,眼鏡和主機分離的方案已經被證明是行業體驗的最優解。

另外,在手勢識別中,Rokid採用了微手勢的交互方式,手指一捏,即可進行點擊和選中;手勢左右撥動,還可對正在瀏覽的界面或內容進行切換。簡單的捏合和滑動手勢等邏輯定義比較自然,上手較快。

通過我們的現場測試結果來看,目前Rokid可以實現雙手的裸手空間交互,目前,Rokid手勢識別的算法支持水平/空間軸轉、明/暗光等複雜場景識別,同時可識別的手勢類型豐富、算法精準,整體識別率約90%以上,並擁有毫秒級識別的響應能力及99%的可靠性保障。

Rokid表示,基於深度學習算法和大量實驗數據,單目3D手勢算法能在移動端實時重建手部姿態參數,包括手部6DoF、手部關節點6DoF,以及Hand Mesh信息,為AR的手勢交互提供良好的算法基礎。

目前,Rokid的手勢識別在3D空間中可實現多種操作,包括點、捏、抓、握、拖、拉等等,完全可以滿足AR交互應用需求。例如,戴上Rokid Max Pro,伸出手,在眼前張開手掌即可呼出菜單。

畢竟想要支持如此復雜的算法結構,背後的功臣不只攝像頭,更與“大腦”也就是Rokid Station Pro的算力和性能息息相關。

口袋裡的空間計算機

一直以來,整個VR/AR行業都存在著“算力、舒適度、價格”的不可能三角。算力更高的設備往往更重,價格也更貴,舒適度高的輕量級設備又無法滿足使用需求。

從現實的情況來看,目前並沒有一種“完美”的解決方案,主流廠商們試圖在二者中找平衡,當下市場上存在著兩類主流的解決方案:一種是以蘋果為代表的顯示計算一體,電池外接的方案;另一種,則是以Rokid為代表的顯示計算分體設計。

蘋果一體化的設計,將兩塊micro-OLED屏幕、多個攝像頭和傳感器、揚聲器等元件集成在一起,在顯示效果、計算等方面效率更高,但同時也會增加機體本身重量,導致只能將電池外接。

而Rokid堅持的分體式設計,將佩戴性拉到了極致,對比Vision Pro 454g重量,76g的眼鏡重量,幾乎和普通眼鏡沒有差別;同時主機算力也可以不那麼受空間資源限制,同時一定程度上避免散熱帶來的不適問題。

總的來說,分體式的路線可以做到眼鏡的輕便和主機算力的雙向極致發展,同時也更加靈活,算力的迭代和眼鏡的技術路線可以異步進行。

Rokid Station Pro就是在分體式設計的基礎上,進行了更高的算力升級,打造集計算、成像、通信等功能為一體的All in One終端,也是真正可以被稱之為“生產力工具”的超級終端。

據光錐智能了解到,Rokid Station Pro 搭載了高通驍龍XR2+、12G RAM + 128G ROM, 支持WIFI6/6E和BT5.1,Station Pro續航能力將是手機方案的2倍以上,同時具有更佳的散熱和更高性能,可以達到厘米級6DoF跟踪精度和極低MTP(Motion to Photon)渲染延遲。

公開信息顯示,驍龍XR2+是高通推出最新旗艦的XR平台,能夠實現50%的續航能力和30%的散熱性能提升,從而支持更小更輕薄的設備外形中賦能更豐富和沈浸式的體驗。同時驍龍XR2 + 平台引入全新圖像處理管線,能夠實現低於10 毫秒的時延,開啟全彩視頻透視MR 體驗。

從光錐智能在現場的體驗來看,無論是觀影、遊戲過程中還是調用鍵盤進行工作生產流程,尤其是在遊戲的高頻交互和打鬥下,畫面的流暢度和反應速度,都十分絲滑。

值得一提的是,目前市場上核心算法還是3DoF(三自由度追踪),是指該設備能夠檢測到向上、前、下三個方向的轉動,但不能檢測到頭部的前後左右的空間位移。

而升級後的Station Pro採用的6DoF算法,除了能檢測到頭部的轉動帶來的視野角度變化外,還能夠檢測到由於身體移動帶來的“上下前後左右”6種位移的變化。

這個算法的升級,更重要的在於玩家的自由度。舉個例子,3DoF算法下的打殭屍,射程範圍在前方的一定角度,而升級後殭屍從360度出現,一回頭身後殭屍撲面的體感,是前者無法達到的。

也就是說,不只算力更高、體驗更絲滑、算力空間的拓展也帶來了體感上的巨大不同。

高通技術公司XR產品管理高級總監Said Bakadir表示:“第一代驍龍XR2+平台是賦能下一代XR體驗的不二之選。高通技術公司為Rokid Station Pro提供業界領先的平台,支持其打造了自身獨特的AR應用生態系統。”

做AR行業中的iOS

當然,蘋果手機之所以能在手機市場上常年稱王稱霸,成功的原因並不只於它的硬件,更在於它的系統和生態。通過軟件系統來培養用戶使用習慣所築下的壁壘,往往要比硬件本身更牢固。

這是Rokid自研AR空間操作系統——YodaOS-Master的部分原因,但卻不是全部的原因。

今年三月Rokid Open Day上,Rokid正式推出了YodaOS-Master,並發布了“AR空間創作平台靈境”,讓每個人都能在3D空間內創作AR內容,人人可參與,徹底打破AR創作的門檻,讓生態勢能爆發。

如果說單目SLAM、3D手勢識別、驍龍XR+、靈境平台都是一把把利刃,那YodaOS-Master,通過一套自研的系統,才能將這些絕招釋放。

簡單來說,Rokid 是在走一條沒有人走過的路,而Rokid的理念是“軟件定義一切”,所有的軟件都需要係統進行承載和提供,才能發揮出價值。

圍繞感知、理解、交互、展現、協同和數字創作五個方面,YodaOS-Master從芯片優化、硬件設計、軟件架構、AR算法還有創作工具等諸多方面都做了巨大升級,或是目前最為完整的一套面向AR時代的空間操作系統。

發布會現場,Rokid也展示了自研系統帶來的開放性和便捷性。舉幾個明顯的例子,基於自研系統和驍龍XR+平台,Rokid開發了多任務並行模式,打破了之前只能單任務的掣肘,實現一邊聊釘釘、一邊寫代碼、一邊看文檔的場景,能夠同時實現並充分的發揮了空間大屏的優勢,讓生產效率提升到最大。

另一個極為創新的案例是,Rokid基於自研系統,重新定義了空間搜索。祝銘明介紹道,這打破了此前搜索信息的陳列方式,搜索結果的呈現不再是二維的平面的效果,而是存在在三維空間中。 “與問題最相關的結果會離你最近,有點相關的結果在二級頁面,離的越遠越不相關,當然,你也可以劃掉前面的結果,動態挑選你想要的結果”。

如此,未來感瞬間拉滿,也展示出了與第一階段AR設備的本質不同。

可以看到, AR行業開放生態已經開始進入第二階段,蘋果和Rokid不僅在硬件方向上一個向左,一個向右,在行業系統軟件、生態發展上也是如此。通過硬件、算法、軟件生態、開發者和用戶與平台共創,AR在一個徹底開放的生態下,會更快速的邁向高速發展的第二階段。

Rokid系統研發總工程師石文峰表示,“YodaOS-Master操作系統通過服務化的方式,將Rokid語音識別、手勢識別、SLAM等在內的多項核心技術集成為系統服務,並提供多種client SDK供開發者高效開發,比如SDK for Unity,可以讓Unity開發者(開發者申請通道:開放平台網址(ar.rokid.com))能夠快速使用Rokid核心技術進行開發”。

從硬件到軟件,從系統到生態,Rokid的發展路徑,頗有點當年喬布斯時代蘋果的意味。

“AR 行業就在黎明前”,祝銘明說道。

資訊來源:由0x資訊編譯自8BTC。版權歸作者所有,未經許可,不得轉載

Total
0
Shares
Related Posts