來源：量子位
首個中英雙語的語音對話開源大模型來了
這幾天，一篇關於語音-文本多模態大模型的論文出現在arXiv上，署名公司中出現了李開復旗下大模型公司01.ai——零一萬物的名字。
這篇論文提出了一個中英雙語可商用對話模型LLaSM，同時支持錄音和文本輸入，“混合雙打”也沒有問題：
論文認為，“語音聊天”才是AI與人之間更方便自然的交互方式，而不僅僅是通過文本輸入。
用上大模型，有網友已經在想像“躺著說話就能寫代碼”的場景了。
這項研究來自LinkSoul.AI、北大和零一萬物，目前已經開源，也可以在抱抱臉中直接試玩。
一起來看看它的效果如何。
支持文本語音輸入，手機也可玩
據研究人員表示，LLaSM是第一個支持中英文雙語語音-文本多模態對話的開源可商用對話模型。
那麼，就來看看它的語音文本輸入和中英雙語能力如何。
首先來個中英文化碰撞，讓它用英文評價一下李白：
還可以，正確地說出了李白的朝代。如果看不懂英文，讓它直接翻譯成中文也沒問題：
接下來再試試中英混合提問，在中文裡面摻雜一個“fried food”，模型輸出也不錯：
再試探一下模型，讓它進行一些評價，看看李白和杜甫哪個更厲害。
可以看出，模型思考一會後給出了非常中立的評價，也具備大模型的基本“端水常識”（手動狗頭）
當然，不止是電腦，手機也能玩。
我們試著用語音輸入“給我推荐一個菜譜吧”：
可以看到模型準確地輸出了一個“茄子芝士”的菜譜，就是不知道好不好吃。
不過，我們在嘗試的時候也發現，這個模型有時候會出bug。
例如有時候它並不能很好地“聽懂人話”。
要求輸出中英混合的內容，它會假裝看不懂並輸出英文：
而當中英混合詢問想听“Taylor Swift的Red”時，模型更是直接出大bug，反反复复輸出一句話，甚至停不下來……
總體來看，當遇到中英混合的提問或要求時，模型輸出能力還是不太行。
不過分開的話，它的中英文表述能力還是不錯的。
那麼，這樣的模型究竟是怎麼實現的呢？
做了個什麼新模型？
從試玩來看，LLaSM主要有兩個特點：一個是支持中英輸入，另一個是語音文本雙輸入。
要做到這兩點，分別需要在架構和訓練數據上做一些調整。
架構上，LLaSM將當前的語音識別模型和大語言模型做了個整合。
LLaSM由三個部分構成，分別包括自動語音識別模型Whisper、模態適配器和大模型LLaMA。
其中，Whisper負責接收原始語音輸入，並輸出語音特徵的向量表示；模態適配器負責對齊語音和文本嵌入；LLaMA則負責理解語音和文本輸入的指令，並生成回复。
模型的訓練一共分為兩個階段，第一階段訓練模態適配器，凍結編碼器和大模型，也就是讓它來學習語音和文本對齊；第二階段凍結編碼器，訓練模態適配器和大模型，來學習多模態對話能力。
訓練數據上，研究人員整理出了一個包含19.9萬個對話和50.8萬個語音-文本樣本的數據集LLaSM-Audio-Instructions。
而在50.8萬個語音-文本樣本中，有8萬個中文語音樣本，42.8萬個英文語音樣本。
研究人員主要基於WizardLM、ShareGPT和GPT-4-LLM等數據集，通過文本轉語音技術，給這些數據集生成語音包，同時過濾掉無效對話。
這也是目前最大的中英文語音文本指令遵循數據集，不過目前還在整理中，據研究人員表示，整理完後會進行開源。
不過，論文暫時沒有對比它和其他語音模型或文本模型的輸出效果。
作者介紹
這篇論文來自LinkSoul.AI、北京大學和零一萬物。
共同一作Yu Shu和Siwei Dong均來自LinkSoul.AI，此前曾經在北京智源人工智能研究院工作。
LinkSoul.AI是一家AI初創公司，之前推出過首個開源Llama 2的中文語言大模型。
作為李開復旗下的大模型公司，零一萬物也在這次研究中有所貢獻。作者Wenhao Huang的Hugging Face主頁顯示，他畢業於復旦大學。
論文地址：
https://arxiv.org/abs/2308.15930
Demo地址：
https://huggingface.co/LinkSoul/LLaSM-Cllama2
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載