Meta推出先進大型語言模型下一個ChatGPT不遠了?

ChatGPT的爆火引爆了AI行業,全球科技巨頭爭相殺入這一領域展開混戰。週五,Meta也宣布推出大型語言模型LLaMA,加入到由微軟、谷歌等科技巨頭主導的AI“軍備競賽”中。

當地時間2月24日,Meta宣布將推出針對研究社區的“Meta人工智能大型語言模型”系統(Large Language Model Meta AI),簡稱“LLaMA”。

同ChatGPT、New Bing不同,LLaMA並不是一個任何人都可以與之對話的產品,也並未接入任何Meta應用。更為確切地說,該產品將是一個開源的“研究工具”。

公司CEO扎克伯格在社交媒體上表示,LLaMA旨在幫助研究人員推進研究工作,LLM(大型語言模型)在文本生成、問題回答、書面材料總結,以及自動證明數學定理、預測蛋白質結構等更複雜的方面也有很大的發展前景。

開源的“研究工具”

Meta表示,LLaMA可以在非商業許可下提供給政府、社區和學術界的研究人員和實體工作者,正在接受研究人員的申請。

此外,LLaMA將提供底層代碼供用戶使用,因此用戶可以自行調整模型,並將其用於與研究相關的用例。與之截然不同的是,谷歌旗下的DeepMind和OpenAI並不公開訓練代碼。

該公司還表示,LLaMA作為一個基礎模型被設計成多功能的,可以應用於許多不同的用例,而不是為特定任務設計的微調模型。

比GPT3.5性能更強

根據Meta官網介紹,LLaMA包含4個基礎模型,參數分別為70億、130億、330億和650億。其中,LLaMA 65B 和LLaMA 33B 在1.4 萬億個tokens 上訓練,而最小的模型LLaMA 7B 也經過了1 萬億個tokens 的訓練。

Meta表示,在大多數基準測試中,參數小的多的LLaMA-13B的性能優於GPT3.5的前身GPT3-175B,而LLaMA-65B更可與業內最佳的Chinchilla-70B和PaLM-540B競爭。值得一提的是,近期大火的ChatGPT便是由GPT3.5提供支持。

Meta 還提及,LLaMA-13B對算力的要求“低得多”,可以在單個數據中心級GPU(Nvidia Tesla V100)上運行。

扎克伯格寫道:

“Meta 致力於這種開放的研究模式,我們將向AI 研究社區提供我們的新模型。”

值得一提的是,去年5月,Meta 也曾推出過大型語言模型OPT-175B。該項目同樣也是針對研究人員的,這構成了其聊天機器人blenterbot 新迭代的基礎。後來,該公司還推出了一款名為“卡拉狄加”(Galactica) 的模型,但因經常分享偏見和不准確的信息而遭到下架。

據媒體報導,扎克伯格已將人工智能作為公司內部的首要任務,其本人也經常在財報電話會議和採訪中談論它對改進Meta 產品的重要性。媒體分析稱,雖然現在LLaMA 沒有在Meta 產品中使用,但未來不排除使用的可能。

本文不構成個人投資建議,不代表平台觀點,市場有風險,投資需謹慎,請獨立判斷和決策。

Total
0
Shares
Related Posts