編輯：杜偉、大盤雞
這麼看來，AI 配音真的可以「以假亂真、真假難辨」。
這兩天，美國女歌星黴黴（泰勒・Swift）一則說中文的短片在各社群平台火了起來。有的播放量已經達到了600 多萬。
在影片裡，黴黴操著一口流利、道地的中文，神情自若，幾乎沒有早期譯製片女主角的那種腔調，口型也能對得上。
圖源：微博@會火
還沒看過影片的朋友們，我們先來一睹為快。
點擊看原始影片；影片作者：johnhuu 教英語
感覺怎麼樣，是不是很神奇呢？
可以看到，不僅是黴黴，蕾切爾・布羅斯納安、川普、艾瑪・沃森、憨豆先生都掌握了一口正宗的中文。此外，小品演員蔡明在吐槽大會上「秀了一段流利的英文」。
作者表示，影片製作中有三個重要的因素：掌握道地的口語翻譯、語音複製和替換嘴型，每個步驟都要做好。不過，他沒有說明用到的具體模型是什麼。
影片火了之後，更多的人開始了新的嘗試，也讓我們了解到了影片背後使用到的AI 生成工具——HeyGen。
推特用戶@Gorden_Sun 同樣製作了一段黴黴說中文的視頻，這次口型完美，卡點和嘴型都對得上。有人評測到，「音色其實也很像了。」
作者表示，影片裡面的翻譯是HeyGen 自動完成的，品質可能不太好，他只需要上傳影片並選擇要翻譯的語言就行了。
視訊字幕是作者自己加的，HeyGen 沒有該功能。此外影片人物在情感還原度方面仍有不足。
不過，HeyGen 雖然可以免費試用，但需要等待很久。懂技術的夥伴也可以尋找開源替代方案，例如語音轉文字whisper、文字翻譯GPT、聲音克隆+ 生成音頻so-vits-svc、生成符合音頻的嘴型視頻GeneFace++。
除了中英互換之外，國外也有人嘗試將英語翻譯成日語，效果同樣很不錯。他表示，該影片同樣是使用HeyGen 做的。
還有更離譜的是，有人使用HeyGen 製作了說多達6 種不同語言的影片。對此有人評價稱，「HeyGen 將成為內容創造領域的攪局者。」
那麼，這個HeyGen 是什麼來頭呢？原來它在兩個多月前就生成過一段爆火影片。
HeyGen：做不輸Midjourney 的AI 視訊產生器
當時，HeyGen 產生了一個超逼真的數字人，還是創辦人Joshua Xu 親自上陣。人物的表情、動作、臉部微表情等等，都活靈活現地展現在你眼前。
HeyGen 的這段影片掀起了一陣熱潮，但因為還有一些效果缺陷，大家更加期待改善後的版本。
HeyGen 創辦人Joshua Xu 的AI 產生數字人，眨眼頻率過高
HeyGen 背後的公司名叫詩雲科技，成立於2020 年。他們最初致力於做AI 數位人生成，創辦人Joshua Xu 曾在Snapchat 擔任主要工程師，負責機器學習領域。
Joshua Xu 曾發部落格表示，自2022 年7 月產品發布以來，歷時178 天，該公司ARR （annual recurring revenue）已達100 萬美元。
HeyGen 為用戶提供更便宜、省時的影片製作方法。這打破了傳統影片製作中費用高昂、週期長、人員雜亂和設備需求高等問題。
參考連結：https://www.sohu.com/a/711139471_99985415
資訊來源：由0x資訊編譯自8BTC。版權所有，未經許可，不得轉載