據IT 之家8 月22 日消息，清華大學電子工程係日前與字節跳動的火山語音團隊攜手合作，推出開源大語言模型SALMONN。目前SALMONN 能夠勝任英語語音識別、英語到中文的語音翻譯、情感識別、音頻字幕生成、音樂描述等重要的語音和音頻任務，同時又湧現出多種在模型訓練中沒有專門學習過的多語言和跨模態能力，涵蓋非英語語音識別、英語到（中文以外）其他語言的語音翻譯、對語音內容的摘要和關鍵詞提取、基於音頻的故事生成、音頻問答、語音和音頻聯合推理等任務。
巴比特訊
dark