扎克伯格也來挑戰「光劍變裝」了。
你以為是這樣的？ NoNoNo!
小扎沒有唐藝昕那樣的炫酷，倒是多了幾分滑稽。
右手背後藏劍，左手亮劍：一瓶BBQ蘸汁。
這是小扎在元宇宙中虛擬化身（Avatar），這一亮劍視頻讓許多人紛紛轉發。
自從Facebook更名為Meta，正式進軍元宇宙之後，「元宇宙」這個詞的熱度就一直未減。
而與元宇宙一起被頻繁提及的，就是化身（Avatar）這個詞。
「化身」，通俗意義上講，就是人們在虛擬世界裡的形象。
12月10號，「元宇宙」先鋒Meta開放了自家的虛擬世界平台Horizon Worlds。
當用戶進入Horizon Worlds後，就需要創建一個3D虛擬化身。
有了化身，用戶就可以在這個自定義的世界中暢快玩耍。
不過，略顯尷尬的是，這些avatar的表情都非常僵硬。
所以，雖然目前的3D虛擬化身也勉強能用，但離著科幻電影，比如「頭部玩家」裡那種逼真的化身形象，還有十萬八千里。
而Codec Avatars項目便代表了Meta在虛擬化身領域所做的努力。
元宇宙不是PPT，Meta真在做
小扎改名Facebook的決心也不是鬧著玩兒的。
若想在元宇宙中實現真正的交互，虛擬化身可是打開元宇宙這道門的任督二脈。
Codec Avatars這一項目旨在實現一個能夠捕獲和表示用於XR的逼真頭像的系統。
基於3D捕捉和AI技術，Codec Avatars可以讓人們快速能夠輕鬆地構建屬於自己的虛擬化身，並使虛擬空間中的交互像在現實世界一樣自然。
最初這個項目是以高質量的頭像演示開始，後來逐漸實現構建全身的虛擬化身。
除了簡單地掃描一個人的身體之外，一個主要的挑戰是讓它以現實的方式移動——更不用說讓整個系統能夠實時運行，以便化身可以在交互式環境中使用。
在Connect 2021大會上，研究人員Yaser Sheikh展示了該團隊最新的成果——全身視頻編解碼器（Full-body Codec Avatars）。
他表示現在Codec Avatars支持更複雜的眼部運動、面部表情、手部和身體姿勢。
此外，Meta還展示了虛擬化身在對不同的光照條件和環境下實現頭髮和皮膚的真實渲染。
那麼，衣服也可以在元宇宙中實現真實模擬。
扯一扯彈性不錯，抖動一下也會有褶皺。
身體細節、衣服都能做到現實還原，還有高保真的虛擬空間。
Meta就建造了一個虛擬公寓，公寓中所有物品都是現實世界的映射。
這樣用戶在虛擬空間中移動物體或者交互都能與物理空間實現同步。
目前，這似乎是為公司構建一個映射的真實世界環境的最佳案例場景來進行實驗。
進入元宇宙後，手動跟踪也同樣重要。如果在物理世界中大甩手臂實現交互，不僅累，而且也不雅觀。
為此，Meta一直在研究一種更加微妙自然的方法，即通過EMG腕帶進行XR輸入。
前段時間，Meta還推出了一款觸覺啟動手套，都是為了實現在元宇宙中的新交互所做的努力。
如何構建Codex Avatars？
Meta開始製作Codex Avatars的契機要追溯到7年前。
2014年，卡內基梅隆大學機器人研究所旗下的一家3D捕捉實驗室Panoptic Studio的負責人Yaser Sheikh遇到了Oculus首席科學家Michael Abrash，兩人聊得非常投機。
Michael Abrash
2015年，Yaser Sheikh加入了Facebook（現Meta），從那以後便一直領導著Codex Avatars研究團隊。
Yaser Sheikh
要想打造一個逼真的化身，基礎在於測量，Codex Avatars研究科學家托馬斯·西蒙說。
化身要以假亂真靠的是精確的數據，這需要良好的測量。因此，構建真實化身的關鍵是找到一種方法來測量人類表情中的物理細節，比如一個人瞇起眼睛或皺起鼻子的方式。
在匹茲堡實驗室的Codec Avatars團隊，使用了兩個主要的模塊來測量人類的表情：編碼器和解碼器。
首先，編碼器使用攝像頭來捕捉受試者正在做什麼，然後將捕獲的信息組裝成一個唯一的編碼，用來表示一個人的身體和環境狀態，這個編碼可以隨時發送到任何需要的地方。
然後，解碼器再將該編碼轉換為視頻信號。
普通的智能手機攝像頭也能拍攝生動的視頻。不過，Codec Avatars可是海量物理數據和復雜軟件的結合，比想像中要復雜得多。
Codec Avatars項目在捕捉人臉細節時，使用了數百個高分辨率相機，而每個相機又會以每秒1 GB的速度捕獲數據。
這是什麼概念呢？
打個比方，這些相機三秒鐘的記錄的數據就足以裝滿一個512GB的磁盤。
而Codec Avatars團隊持續記錄大約15分鐘，這已經到達了他們現有硬件條件的極限，但盡可能多的數據也為創建最逼真的虛擬頭像打下了基礎。
Codec Avatars團隊正在使用這些數據來訓練AI系統，從而讓AI可以從視頻中快速構建虛擬頭像。
Sheikh說：我們目前已經可以還原髮型誇張的人的3D頭像，甚至還原戴著腦電採集帽的人的頭像也不在話下。
這是世界上最先進的能夠自動生成人類的真實數字肖像的方法之一。它提供了一種虛擬的面對面交流的新方式，將來可以廣泛推廣。
而隨著Codec Avatars的出現，人們對元宇宙社交的接受度會不會越來越高呢？
