2 月27 日消息，Facebook 母公司Meta 近日發布全新人工智能大型語言模型LLaMA。 LLaMA 模型由Meta 的FAIR 團隊開發，旨在幫助研究人員和工程師探索人工智能應用和相關功能，在生成文本、對話、總結書面材料、證明數學定理或預測蛋白質結構等更複雜的任務方面“有很大的前景”。 LLaMA 模型接受了20 種語言訓練，包括拉丁語和西里爾字母語言，所需的計算能力遠低於之前推出的大模型。另根據Meta 官網發布的論文，LLaMA 目前包含70 億、130 億、330 億和650 億這4 種參數規模的模型。其中，參數規模最小的LLaMA 7 B 也經過了超1 萬億個tokens 的訓練。 Meta 表示，在大多數基準測試中，參數僅為十分之一的LLaMA-13 B 的性能優於OpenAI 推出的GPT3 (175 B)，也即支持ChatGPT 的GPT3.5 的前身。 LLaMA-65 B 也可與業內領先的Chinchilla-70 B 和PaLM-540 B 競爭。 Meta 發言人表示，LLaMA 目前尚未被應用在Meta 的任何產品之中。 Meta 計劃將這項技術優先開放給AI 研究人員。
dark