文字生成超逼真語音,ElevenLabs獲8,000萬美元融資


原文來源:AIGC開放社區

圖片來源:由無界AI生成

1月23日,文字生成語音平台ElevenLabs在官網宣布,獲得8,000萬美元(約5.7億元)B輪融資。本次由Andreessen Horowitz、 Nat Friedman領投,紅杉資本、 SV Angel等跟投。

使用者透過文字和語音的方式在ElevenLabs平台,就能產生中文、英文、日文、韓文等29種語言以及1000多種聲音,同時可以對生成語音的清晰度、風格、穩定等參數進行自訂設定。

此外,ElevenLabs在宣布融資的同時發布了新的配音工作室、語音庫和行動應用三款預覽產品,以鞏固其在生成式AI語音領域的獨角獸地位。

文字生成超逼真語音,ElevenLabs獲8,000萬美元融資

資料顯示,ElevenLabs創立於2022年4月,總部位於美國紐約,最初員工不超過10人,目前已成長至40多人。

ElevenLabs曾在2023年1月獲得200萬美元種子輪融資,6月21日獲得1,900萬美元A輪融資。

ElevenLabs於2023年1月正式推出了測試產品,因簡單、易用、免費等優勢,其註冊用戶很快突破100萬,目前41%的財富500 強公司在使用其產品。

包括世界上最大的有聲書出版商之一的Storytel;全球著名內容創作者平台TheSoul Publishing;

知名遊戲開發商Paradox Interactive等。這些企業透過ElevenLabs平台製作有聲書、電影配音、遊戲NPC的聲音等。

文字生成超逼真語音,ElevenLabs獲8,000萬美元融資

Eleven Labs核心團隊

產品方面,ElevenLabs基於自研的Eleven Multilingual v2、Turbo v2等大模型,提供文字生成語音、語音生成語音、語音克隆、語音辨識等特色功能。

文字生成語音:使用者透過文字可直接產生中文、英文、韓文、日文等29種語言語音,同時支援跨文字語音生成。例如,上傳了一段英語文本,可直接產生義大利語音。

使用方法也非常簡單,先選擇語音生成的類型,然後選擇應用的模型、語音參數和模仿語音,再輸入文本,通常幾秒鐘就能生成語音。

文字生成超逼真語音,ElevenLabs獲8,000萬美元融資

雖然ElevenLabs支援中文語音,但根據「AIGC開放社群」的實際體驗,其語音、語調等方面還是有很強的機器人感覺,英語和其他語種表現卻很好。

語音轉語音:可協助使用者將語音自動轉換成別的語音,例如,上傳了一段男聲語音,可自動轉換成老年人的聲音。

傳統的語音轉換方法是,需要採集音訊樣本,然後提取基頻、共振峰、時域和頻域特徵等,再進行去雜訊、歸一化,整個流程非常繁瑣複雜。

而ElevenLabs可實現一鍵語音轉換,同時支援使用者對語音進行視覺化控制,例如,修改強度、音峰、情緒等參數。

文字生成超逼真語音,ElevenLabs獲8,000萬美元融資

語音克隆:用戶提供一段語音片段,上傳到ElevenLabs平台。就能透過新上傳的語音,創造全新的內容,整體模仿效果非常出色。

為了減少ElevenLabs平台產生一些非法語音,例如,模仿他人親戚用於電信詐騙,ElevenLabs推出了語音識別分類功能,用戶只需要上傳語音便能快速識別出是真人發音或AI自動生成的,這對於提升產品的安全性非常重要。

文字生成超逼真語音,ElevenLabs獲8,000萬美元融資

此外,為了進一步提升語音方面的功能,ElevenLabs在今天宣布推出了新的配音工作室、語音庫和行動應用三款全新的預覽產品。

新的配音工作室:可協助使用者為整部電影配音,並產生和編輯其轉錄、翻譯和時間碼,從而為內容製作提供更多控制。此功能主要針對長影片和影業的用戶。

語音庫:使用者可以將自建的語音範本在語音庫中分享,當有其他使用者使用時可以獲得報酬。這個功能與OpenAI的自訂ChatGPT商店類似,都是鼓勵開發者共同創造產品生態。

文字生成超逼真語音,ElevenLabs獲8,000萬美元融資

行動應用:可以讓使用者透過行動應用中,使用ElevenLabs的產品功能。前三個月將免費為用戶提供服務,目前處於申請預覽版狀態。

ElevenLabs技術長Piotr Dąbkowski表示,透過此次B 輪融資,ElevenLabs將鞏固其在生成式AI語音領域的領導者地位。

這筆資金將用於產品研究、擴大基礎設施、為特定垂直領域開發新產品,以及加強安全措施,確保以負責任和道德的方式開發生成式AI技術。

Total
0
Shares
Related Posts