Meta 公佈audio2photoreal AI 框架，輸入配音檔即可產生人物對話場景

據品玩報道，Meta 近日公佈了一項名為audio2photoreal 的AI 框架，該框架能夠生成一系列逼真的NPC 人物模型，並藉助現有配音文件自動為人物模型“對口型”“擺動作”。官方研究報告指出，Audio2 photoreal 框架在接收到配音檔案後，首先會產生一系列NPC 模型，之後利用量化技術及擴散演算法產生模型用動作，其中量化技術為框架提供動作樣本參考、擴散演算法用於改善框架生成的人物動作效果。對照實驗中有43% 的評估者對框架生成的人物對話場景感到“強烈滿意”，因此研究人員認為Audio2 photoreal 框架相對於業界競品能夠產生“更具動態和表現力”的動作。據悉，研究團隊目前已經在GitHub 公開了相關程式碼和資料集。