圖片來源：由無界AI 生成
據《華爾街日報》9月11 日報導，美國科技巨頭Meta 正在開發一種更加強大的大語言模型，比當前的Llama2 強大數倍，甚至比肩OpenAI 最強大的GPT-4。
2 個月前，Meta 推出了免費可商用且開源的大模型Llama2。 Llama2 在某些基準測試中表現優異，甚至領先於其他主流大模型，一時間在社區中被廣泛關注和採用，出現了大量基於Llama2 進行調教的新版本。然而，2 個月後，大模型的發展速度已經讓Llama2 幾乎跌出了第一梯隊。近日，來自阿聯酋的由3.5萬億token訓練而成的Falcon 180B，迅速了登頂Hugging Face排行榜，其性能直逼GPT-4。
Llama2 的光環已經消退，Meta 需要新的更先進的大模型來獲取聚光燈。
Meta 的目標是其新的AI 模型比兩個月前發布的Llama 2 模型強大數倍，希望明年推出。
這個計劃中的AI 系統（其細節仍可能發生變化）將幫助其他公司構建可生成複雜文本、分析和其他輸出的服務。這是Meta 首席執行官馬克·扎克伯格(Mark Zuckerberg) 今年年初成立的一個小組的工作成果，旨在加速所謂的生成式人工智能工具的開發，這些工具可以產生類似人類的表情。一些知情人士表示，Meta 預計於2024 年初開始訓練這個新模型。
這個新模型的計劃此前從未被報導過，這是紮克伯格在Meta 落後於競爭對手後將其確立為人工智能領域主要力量的努力的一部分。今年該領域的競爭急劇加劇，從最佳商業模式到如何監管技術等各個方面都產生了不同的看法。
該公司目前正在建設該工作所需的數據中心，併購買更多H100，這是最先進的Nvidia 芯片用於此類AI 訓練。一些知情人士表示，雖然Meta 與微軟合作，在微軟的雲計算平台Azure 上提供Llama 2，但它計劃在自己的基礎設施上訓練新模型。
扎克伯格正在推動新模型像Meta 早期的人工智能產品一樣開源，因此可以免費供公司構建AI 驅動的工具。
扎克伯格將與一群頂尖科技高管一起參加週三由參議院多數黨領袖查克·舒默（紐約州民主黨人）組織的峰會，討論如何處理人工智能。 OpenAI 首席執行官Sam Altman 和谷歌首席執行官Sundar Pichai 也將出席。
Meta 新模型能夠縮小與OpenAI 的差距？未必
Meta 希望它的功能與OpenAI 在3 月份推出的GPT-4 大致相同，但GPT-4 已經推出了數月。此外，據最近的報導，DeepMind 聯合創始人和Inflection AI CEO Mustafa Suleyman 在採訪時透露，OpenAI 正秘密訓練GPT-5。一旦GPT-5 率先推出，那麼Meta 與競爭對手的差距甚至可能擴大。
與Meta 執行的免費開源不同，OpenAI 正在努力實現更多營收，最近推出了ChatGPT 企業版，意圖未來一年營收超10 億美元，而且Meta 還在瘋狂砸錢。
Meta 的新模型甚至還面臨谷歌的大模型Gemini 的競爭。 Gemini 是谷歌正在構建的一種先進的大型語言模型。 《華爾街日報》表示，Meta新模型可能會晚於Gemini。
生成式AI 領域競爭激烈，其中兩個因素至關重要：人才和芯片。 Meta 在今年面臨著大量AI 人才流失問題，很多AI 人才被搶走或獨立創業。
OpenAI 也在暗度陳倉，雖然在4 月份表示，它不會訓練GPT-5，並且“一段時間內不會”，但最近卻被曝出正在秘密訓練。蘋果公司每天向自己的“Ajax”人工智能模型投入數百萬美元，它顯然認為該模型比GPT-4 更強大，甚至比肩GPT-5。谷歌和微軟都在各自的生產力工具中擴大AI 的使用，谷歌希望在谷歌助手中使用生成式AI。亞馬遜還在其整個組織內開展生成式AI 計劃，該計劃可能會產生由聊天機器人驅動的Alexa。
總之，生成式AI 領域的強大對手實在太多，每一步領先優勢都會無比艱難。
Meta 的免費開源策略能行得通嗎？
開源方式有一定的優勢，尤其在競爭對手都閉源且收費的時候。扎克伯格一直倡導開源AI模型，其模型因其較低的成本和適應性而廣受歡迎。
一些法律專家表示，Meta 所追求的開源模式也存在潛在的缺點。其中包括使用可能受版權保護的信息的風險增加，以及更廣泛地訪問工具，該工具的增強功能可用於生成和傳播虛假信息或其他不良行為。
Meta 的律師在審查公司計劃時提出了其中一些擔憂。
當對更多數據進行訓練時，大型語言模型通常會變得更強大。 Meta 在7 月份宣布的Llama 2 模型的最強大版本接受了700 億個參數的訓練。 OpenAI 尚未透露GPT-4 的大小，但估計大約是該大小的20 倍，參數為1.5 萬億個。一些人工智能專家表示，可能還有其他方法可以實現GPT-4 的功能，而不必達到其規模。
參考資料：
https://www.wsj.com/tech/ai/meta-is-developing-a-new-more-powerful-ai-system-as-technology-race-escalates-decf9451
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載