原文標題:《Virtual Beings – A New Internet-Native Medium for Shared Storytelling》
這是一種新的互聯網原生媒體共享故事,我們共享的社交體驗日益虛擬化的特性將在未來幾十年內增加Virtual beings(虛擬人)的數量。
虛擬人是完全存在於數字領域的實體或角色,通過社交媒體互動、遊戲和互聯網原生空間等共享媒體以及全息技術跨越來到我們的世界。它們不僅有人類使用動作捕捉技術操縱控制的虛擬化身,還有將一切感知完全虛擬化的AI。
因此,虛擬人包含了多種技術趨勢,如VR/AR、人工智能、高保真CGI 藝術、遊戲、社交媒體,也涵蓋了人類社會心理學如社會關係、對陪伴的渴望、文化泛靈論、擬人化設計等特性。
而Web3 有可能通過新的創作者收入模式、互聯網原生組織結構和支持加密的數字所有權進一步加速這些數字意識的出現。
TL;DR
1)定義並簡要討論不同類型虛擬人的歷史和特徵;
2)回顧這些虛擬人在創建過程中使用的一些現有技術堆棧;
3)確定加密經濟學和Web3 技術可以在那些領域改進虛擬人的創建、管理和分發;
4)突出顯示虛擬人領域現有的知名項目;
5)推測AI 和合成媒體時代Web3 社交體驗的未來,如「Generated media」(生成媒體)、AI 生成媒體、個性化媒體;
通過回顧虛擬人的多個方面,這篇文章希望闡明這個概念會作為一種趨勢,可以顯著受益於Web3 技術堆棧的使用。
虛擬人的類型
虛擬人有多種類型,複雜性也各不相同。
VTubers
據Virtualhumans 介紹,VTubers 通常是人類使用一系列面向消費者的動作捕捉技術和角色創建軟件創造的虛擬人物,在流行的視頻平台上直播他們生活,如YouTube、Twitch、Niconico 和Bilibili 等流媒體上傳播。
最早,VTubers 於2010 年代中期起源於日本,到2020 年代初期逐漸發展成為一種全球現象。通過使用實時動作捕捉技術來操縱虛擬化身,VTubers 在一系列平台發布視頻,以吸引被他們創建的角色所吸引的粉絲群。
追溯到2010 年2 月,當時視覺小說製造商Nitroplus 開始將內容上傳到他們的YouTube 頻道,並使用他們的吉祥物「Super Sonico」討論了即將發布的版本。然而,在2016 年底這個現象來到了一個臨界點:「Kizuna AI」在YouTube 開始了首次亮相。
Kizuna AI 首次創造了「Virtual YouTuber」(簡稱VTuber)這一稱呼,並憑藉著回答粉絲的問題和評論的親和力拉進了與他們之間的距離。在十個月內,Kizuna AI 就將她的粉絲群擴大到200 萬訂閱者。
Kizuna AI 大獲成功後,VTuber 的潮流在日本開始風靡,並通過對動漫和漫畫迷的吸引力在國際上逐步擴展。此外,2020 年COVID-19 大流行期間,Twitch 收視率的急劇增加則進一步提高了日本以外地區對VTuber 的熟悉度,並導致Twitch 上為其單獨創建了一個VTuber 標籤;而YouTube 也在其2020 年文化和趨勢報告中將其列為了主要趨勢,強調該概念在當年10 月已增長到每月15 億次觀看量。
如今,VTuber 正利用與粉絲互動、準社會關係、數字化身和講故事的能力,創造出比人類主播更有趣且充滿活力的角色,已有超過16,000 名VTuber 在社交媒體平台上擁有數百萬粉絲。其中廣受歡迎的包括Gawr Gura、犬神科隆、Nyanners、Ironmouse、Kiryu Coco、Code Miko 和Ai Angelica 等。
日本hololive production 旗下Gawr Gura 的VTuber 形象
而在Web3 中,NFT 同樣以創建狂熱的粉絲群、社區互動和歸屬感而著稱,因此它們與VTuber 有著非常高的契合度。同時,一些VTuber 已經開始試驗這項技術,Kizuna AI 宣布從2022 年2 月開始停更將會花更多的時間來進一步探索NFT 的用例。
此外,VTuber NFT 最明顯的用例是創建Token 來控制內容和Discords,以及創建數字收藏品。但另外兩種更突出的可能性或許是:「權限管理」和「頭像市場」。
因為完全可控操縱的角色模型可以由第三方創建並以NFT 的形式分發,這是對現有市場和委託系統的升級,創作者可以更好地跟踪其模型的使用,同時獲得二次銷售收入。 Anata 就是這樣一個實驗項目,它推出了1000 個男性和1000 個女性的Live2D VTuber 頭像NFT,這些NFT 在流媒體應用程序中具有完整的功能。
Virtual Influencers
Virtual Influencers(虛擬影響者)是在計算機圖形軟件中創建的數字角色,並賦予了它由第一人稱世界觀定義的個性,然後在媒體平台上訪問以獲得影響力。
Virtual Influencer Imma
Virtual Influencers 的生活方式被描繪在社交媒體上,通過多種媒體與粉絲進行互動,並經常被品牌用作其產品的代言人。然而,與普通名人不同,Virtual Influencers 是CGI(Computer-generated imagery,電腦三維動畫)生成的角色,因此可以是任何人,可以做任何事情,並在數字世界的任何地方走動。它們不受物理限制,可以同時出現在兩個地方,也永不疲倦,永不脫離劇本。
其中,最著名的Virtual Influencers 之一是Lil Miquela,一位19 歲自稱機器人的流行歌星,她住在洛杉磯,曾為Prada 做過模特,出演了Calvin Klein 廣告,在Coachella 接受采訪,並在Spotify 排行榜上名列前茅。 2020 年,Lil Miquela 為她的母公司Brud 賺了大約1200 萬美元。
像Lil Miquela 這樣的Virtual Influencers 贊助商與她們的合作率幾乎是其同行的三倍,因為她們能夠控制自己的身份。而很多名人讚助商曾為一些品牌犯下的錯誤付出過高昂的代價,但這對於整個生活都被腳本化控制的Virtual Influencers 來說則是永遠不會發生的。
除了便於控制之外,Virtual Influencers 還為品牌提供了跨多平台和形式講故事的能力,這種方式是人類同行還無法做到的,即所謂的跨媒體講故事,這種形式為故事或角色提供了不同的訪問點。要了解這種方式,可以參考曾在Fortnite 中舉行的Travis Scott 音樂會。
為了在該遊戲中表演,則必須為Travis Scott 創建一個化身,並且你知道這實際上不是他,只是他在遊戲中扮演一個化身。或者,Virtual Influencers 在所有平台上看起來都是一樣的,這創造了一種敘事咒語,而現實生活中名人的肉體到數字的轉錄是不可能的。
迄今為止,品牌與Virtual Influencers 互動最突出的地方是在時尚領域。 Virtual Influencers 在社交媒體上擺姿勢時,通常會穿著最新的服裝。她們的腳本化控制使其能夠為自己的品牌打造特定的生活方式元素和個性。如Lil Miquela 出席了在米蘭舉行的Prada FW18/19 秀場,Shudu Gram 則成為Balmain 模特的數字面孔,Noonoouri 成為了最初由娜塔莉波特曼主演的「胭脂」活動的一部分,而迪奧的廣告也增色不少。
目前,Balenciaga、Alexander McQueen、Valentino、H&M、Nike、Salvatore Ferragamo 等主要時裝公司都接受了Virtual Influencers 來展示他們的產品,而Prada,甚至考慮將創建自己的內部Virtual Influencers。
此外,音樂也是Virtual Influencers 一個廣泛應用的領域:
– Yameii Online 的曲目《Baby My Phone》激發了多個Tik-Tok 的合拍趨勢和混搭,在數十萬個視頻中達到數百萬次觀看量;
– Kai,一位16 歲的Roblox Virtual Influencers,以創建遊戲Splash(最近從投資者那裡籌集了超過2000 萬美元)而聞名,他在7 個不同的Roblox 場地同時向超過10 萬名粉絲表演了超過48 小時;
– Riot Games 為宣傳新遊戲角色而創建的虛擬K-Pop 女團K/DA 憑藉病毒式音樂視頻和歌曲「Pop/Stars」在Youtube 上獲得了5.08 億次觀看量;
– FN Meka 在社交媒體上說唱,同時展示了星巴克品牌的PS5 和AR 運動鞋等超稀有商品。
最近,Virtual Influencers 文化還開始與Web3 產生了進一步融合:Dapper Labs 收購了Lil Miquela 背後的工作室Brud,多個Virtual Influencers 推出了NFT,包括Lil Miquela、LV4、Rae、Shudu、FNMeka 和Yameii,以及主要的Web3 工作室,如RTFKT 與Virtual Influencers 合作推廣他們的NFT。
未來,Web3 和Virtual Influencers 的融合還將更加令人興奮,如在活動或廣告中進行使用,並且Virtual Influencers 將以去中心化的形式通過DAO 來策劃他們的故事,以及接收分配流向社區國庫的收入。
分佈式角色
分佈式角色是由開放且無需許可的社區管理的數字角色,粉絲們使用該角色創作音樂、動畫、視頻、傳說等內容。分佈式角色在某種形式上可能是自主的,如AI 藝術家,但最終還是由社區來管理。因此這與Virtual Influencers 不同,不是由擁有一個權威或專門的工作室進行管理。
目前,分佈式角色中最好的案例之一是「初音未來」,這是Crypton Future Media 於2007 年發布的日本Vocaloid 軟件語音庫,Vocaloid 允許用戶通過輸入歌詞和旋律來合成歌聲。因為每個Vocaloid 都有自己的特點,且實際上是獨立的「歌手」,所以他們通常以「Moe anthropomorphism」(萌擬人化)角色發行,而其中最成功的便是初音未來。
最初,初音未來是在「無混音」許可下發布的。出道以來,她出演了數十萬首由來自世界各地創作者和粉絲製作的歌曲和音樂視頻。並且免費軟件程序MikuMikuDance 催生了用戶生成動畫的熱潮,甚至包括在世界各地的粉絲參加現場的全息表演中,而初音未來的分佈式特性和她核心的混音文化促使Crypton 為該角色採用了非商業性的署名知識共享許可。
另一方面,初音未來是一個非常成功的分佈式軟件,它擁有一個去中心化的創作者社區,來為虛擬人創作新歌曲和動畫,並且僅在前五年通過音樂、商品、全息音樂會和可共享媒體獲得的總收入就超過了1.2 億美元。因此這種模式非常適合DAO——人類創作者發布新的音樂和舞蹈,對內容進行投票,並將收入收集到社區擁有的國庫中,而一些分佈式角色也已經開始嘗試這個想法。
例如,Botto 是由原生治理Token BOTTO 持有者控制的去中心化自治AI 藝術家。 Token 持有者通過質押$BOTTO 以獲得不可轉讓的投票權(VP),用於每週對350 件AI 生成的藝術作品進行投票。每個時期結束時,得票最多的作品將在SuperRare 上作為NFT 拍賣,所得收益用於回購和銷毀BOTTO。迄今為止,Botto 已是市場上收入最高的藝術家之一,總銷售額超過200 萬美元。
而由於創意AI 具有無限創造新作品的能力,人類策展或將在新經濟中發揮著重要作用。通過管理分佈式角色的策劃、分發、推廣和治理,同時從價值創造中受益的DAO 可能會催生AI 或人工生成的數字角色製作的新時代。
自治實體
自治實體是通過在機器中模擬AI,這些機器被編程為像人類一樣思考並模仿他們的行為,其也可以應用於任何表現出與人類思維相關的特徵的機器,如學習和解決問題。
而前面提到的三種類型虛擬人是以一種或另一種方式廣泛地由人類控制,然而,這不是虛擬人的最終類型。自治實體將使用人工智能和其他工具來模擬生活,包括聊天機器人、虛擬世界中的NPC、以及人工智能伴侶和數字輪迴等類型。
AI 伴侶
最簡單的自治實體形式之一是AI 伴侶,年輕一代對人工智能的信任和接受程度的提高似乎預示著人類與人工智能實體建立密切聯繫的未來。圍繞這個想法形成的整個商業模式,像Replika 這樣的公司提供友好的聊天機器人,全天與他們的人類互動;Hybri 則提供定制的3D 模型機器人來模擬浪漫的陪伴關係。
目前,AI 伴侶市場的增長已經很明顯:從微軟剝離出來的小冰最近估值為1 億美元,在孤獨症流行的背景下(61% 的受訪成年人認為孤獨感顯著上升),對話式人工智能市場預計到2024 年將增長到13.9 億美元。
圖源:畢馬威
而Web3 中一個專注於AI 伴侶的項目則是Petaverse Network,它藉鑑了從Tamagotchi 到Nintendogs 的虛擬寵物的悠久傳統。 Petaverse Network 尋求為虛擬寵物創建一個可互操作的數字標準,在鏈上發布它們的個性,使其永遠存在。這種個性代表了寵物的數據層,當用戶在遊戲、AR 和VR 中與之交互時,該數據層會隨著時間的推移而更新。並且其他項目也將能夠建立在這個數據層之上,為他們自己的虛擬世界和遊戲重新解釋寵物。
數字輪迴
進一步擴展AI 伴侶關係,人工智能可以在個人的數字足跡上進行訓練,以在他們死後復制他們的行為,即所謂的數字轉世。有了足夠多的短信、社交媒體帖子和視頻作為訓練數據,神經網絡就可以學習模擬死者的言語和舉止,同時以逼真的CGI 模型或聊天機器人的形式展示自己。
最近,有報導稱Joshua Barbeau 使用軟件創建了一個由GPT-3 支持的超現實聊天機器人,通過對已故未婚夫的短信進行訓練來重現與她交談的體驗。但由於數字輪迴的敏感性,因此權限管理至關重要,而需要質押才能訪問的加密NFT 可能是確保這些數字副本不會在互聯網上其他地方使用的最佳解決方案。
圖源:《舊金山紀事報》
不過,自治實體不僅限於AI 伴侶或數字輪迴,也可以是虛擬世界的代理。當今我們探索許多虛擬世界的一個明顯問題是仍會感到空虛,那麼用高度智能的NPC 來填充虛擬世界將是賦予這些環境生命的一種方法。可以想像以下情景:
– Decentral Games 的虛擬賭場配備了高度智能的聊天機器人;
– 瀏覽24/7 全天候銷售數字商品並擁有AI NPC 居住的Cryptovoxels 商店;
– 使用個性鮮明的擬人化交易機器人;
– 使用預言機數據反饋並適應外部變量的鏈上生物; 基於用戶在多個遊戲中的行為,
– 使用隨著時間的推移在道德上進化的遊戲角色。
因此具有人工智能的虛擬人在數字領域的可能性將是無窮無盡的。
虛擬人技術堆棧
虛擬人一般在以下各種技術和創意基礎設施上運行和操作。
AI
虛擬人的自主程度各不相同,從完全由人類控制(如Vtuber、大多數Virtual Influencers),到由自然語言處理(NLP)、計算機視覺和用於記憶存儲、情感、動機等。該領域中一些最常見的工具是OpenAI 的GPT-3,這是一種大型語言模型,在描述與實際實體的對話方面非常準確,又或者是機器學習算法,隨著交互的發生和時間的推移來更新基礎數據集。
儘管當今許多自主虛擬人都在集中式AI 基礎設施上運行,但Web3 中的兩個著名項目則採用了不同的方法在鏈上重建AI。
基於「iNFT 標準」的首個項目Alethea AI 去年在蘇富比以478,800 美元的價格售出了Alice。 iNFT 將GPT-3 個性提示散列到NFT 的元數據中,隨後在諾亞方舟平台上解密並用於生成對用戶輸入的GPT-3 響應。這些iNFT 可以通過與用戶的多次互動進行訓練,隨著時間的推移在不同級別的智能中取得進展。因此用戶可以通過將任何NFT 與個性pod 配對並結合用戶交互和$ALI 代幣質押來對其進行訓練,從而創建他們喜愛的數字資產的iNFT 版本。
Altered State Machine 則採用了不同的方法來實現類似的目標。 ASM 中的代理從一個表格(代理的圖像或模型)和一個大腦(一個帶有「基因組」矩陣的基礎NFT、一組隨機的基礎值和一個記錄狀態變化的記憶樹)開始。 GPU 雲計算提供商使用他們的硬件為特定的ASM 應用程序(例如流行的遊戲或DeFi 交易機器人)運行訓練算法,類似於挖礦與PoW 區塊鏈的工作方式。這些培訓課程的輸出稱為記憶,並以ONNX 格式記錄在記憶樹中,修改價值矩陣以提高該特定應用程序的技能集。
ASM 的第一個概念證明則是AIFA,這是一款AI 足球遊戲,它使用了Unity、IPFS 和示例Training Gym 的組合。然而,ASM 希望將其代理的應用擴展到之外,其提出了一些包括DeFi 交易代理、遊戲角色代理、聊天機器人和數字助理等概念化想法。
所以鏈上AI 代理創建的設計空間在很大程度上仍未被探索,看到該領域的發展將是令人興奮的。重要的是,從工作量證明到權益證明的轉變意味著大量GPU 將尋找替代用途,因此使用GPU 挖掘的去中心化AI 模型也可能是下一個前沿。
3D 建模和動畫
虛擬人所有迭代的核心是使用3D 建模、動畫或動作捕捉技術。雖然虛擬人具有多種圖形美學和形式,但都需要為動畫或運動而裝配基本的模型,這些模型的市場和存儲庫已經存在,而NFT 則可以為其金融化提供額外的途徑。
如今,在虛擬人和VTuber 的建模和動畫中最常用的應用程序包括Unity、Unreal Engine、Blender、iClone 和FaceRig 等。
雖然一些虛擬人不會試圖看起來像照片般逼真,但那些確實需要大量工作的虛擬人,設計師經常需要努力克服Uncanny valley(恐怖谷),這是人類在觀察不完美渲染的人臉時所感受到的與生俱來的不安和厭惡感。但隨著新一代人更習慣於與CGI 和人形機器人交互,恐怖谷效應的流行可能會隨著時間的推移而降低,不過就目前而言,人形角色的渲染還是必須考慮到這種物理厭惡。
逼真渲染的關鍵限制是由計算機處理能力所決定,如高保真面部的渲染需要具有足夠多的細節和變形控制,以及紋理圖像和高光貼圖的網格3D 模型,所有這些都是密集型的。
而服裝模型同樣也是密集型,主要由於次表面散射(如絲綢反射光的方式與棉花不同)導致CGI 和遊戲工作室以及時尚行業對計算機輔助服裝設計的強烈需求。專門從事NFT 模型和數字設計的Artisant,以及The Fabricant、The Dematerialized、DIGITALAX、Tribute Brand 和RTFKT 等數字時裝公司如果繼續採用Web3 技術,將會進一步佔領虛擬空間的市場份額。而隨著虛擬人物的不斷普及,數字時裝也可能會同步增長。
此外,頭像創作的難度將有助於為3D 模型創建充滿活力的市場,創作者將其模型的權利出售給那些希望在數字藝術、遊戲、電影等中使用它們的人。而Web3 在這裡則釋放了額外的機會:可以轉售的NFT 3D 模型,二次銷售費用回饋給原始創建者,超流暢的支付流可以在虛擬世界中使用的同時控制模型,通過加密文件進行權限控制,必須質押解鎖等。
在動畫方面,3D 網格則將被綁定到骨架上,然後可以通過代碼或用戶操作進行動畫處理。目前,將動畫和手勢與NFT 相結合的實驗已經開始,HEAT 代表了這一運動的前沿,希望為可應用於3D 模型的動畫打造市場。通過將.glb 和.gltf 文件重新定位到3D 模型的骨骼結構,HEAT 將能夠為虛擬世界中的任何標準化頭像文件創建可互操作的運動文件。
虛擬人工作室
構建虛擬人所需的團隊規模在很大程度上取決於其複雜性。任何人都可以使用VRoid Studio、FaceRig 和流媒體設置來創建一個簡單的VTuber 角色,但Virtual Influencers 或自治實體可能需要AI、動畫、語音合成、建模、內容創建等方面的專業知識。
虛擬人工作室通常擁有致力於CGI 藝術、攝影、動畫師、故事講述者、社交媒體策劃師、時尚戰略、業務發展、公關、財務管理、商品營銷等方面的團隊。這些工作室可以專注於單個角色的管理,也可以專注於創建大量角色。例如,Shudu Gram 背後的The Diigitals Agency 共管理著7 名Virtual Influencers;Lu of Magalu 則得到巴西最大的電子商務企業之一的支持,SuperPlastic 管理著Janky & Guggimon、Dayzee & Staxx、Kranky、ShuDog 等。
而DAO 作為一種組織內容、創造粉絲體驗的手段非常有效,隨著時間的推移,整個去中心化的虛擬人工作室將會形成,無論是管理個人和集體角色的DAO,還是為那些希望將虛擬人集成到他們的項目中的人作為服務DAO 運營。
值得一提的是,CULTUR DAO 是最著名的去中心化虛擬人工作室,自稱Web3 Pixar。通過用Token 來控制Discord 和內容,一群藝術家、技術人員和傳道者使用共享的經濟激勵措施來推動該領域的創新。同時,委員會圍繞化身、AI、語音合成、故事創作以及對現有AI NFT 基礎設施的實驗而成立。
最近,他們的黑客松也產生了許多有趣的項目,包括Decentraland AI Chatbots、虛擬人芭蕾舞、會說話的Cryptopunks、AI 字符記憶測試和一種類似電子寵物的虛擬貓Kittygotchi 等。
合成社交媒體
合成媒體是AI 生成的個性化媒體內容,且數量正在激增,而虛擬人是這一社交媒體層的進一步延伸。雖然現在虛擬人可能仍會感到陌生,但不難想像,在一兩代人之後,它們將會變得司空見慣並被社會所廣泛接受。
目前,Deepfake、社交媒體機器人和擬人化智能設備都已經使人類和虛擬人之間的界限越來越模糊,且隨著年輕一代更頻繁地與虛擬人互動,這種情況還將繼續發展。有數據顯示,幾乎15% 的Virtual Influencers 受眾是介於13 至17 歲之間的年輕人,這是是普通影響者平均水平的兩倍。
因此這種虛擬人合成社交媒體的初始階段已經到來,如人類與虛擬人結婚的新聞、Hybri 等約會應用程序、專用虛擬伴侶平台,以及擁有比人類更具影響力的Virtual Influencers、我們對人工智能日益信任等。
而Web3 技術將為這些合成社交媒體體驗的創建和管理提供了額外的訪問點。如NFT 支持的所有權層、互聯網上無數利益相關者的去中心化治理,以前的網絡迭代中不可能實現的收入模型、區塊鏈的持久性等都將為合成社交媒體開闢新的前沿。因此加密技術、分散的互聯網組織和虛擬世界是建立新的合成媒體現實社交層的基礎。