GPT的下一代,可能不走前輩們的老路


最近大半年來,關於全球AI界內一哥究竟是誰,如果ChatGPT說第二估計沒人會說是第一。但即便是這位“當紅炸子雞”最近也遭遇了許多麻煩,不僅全球流量下滑了10%左右,還可能與《紐約時報》等知識付費與出版企業對簿公堂。與這些相比,它每天因為維護運營而燒掉的70萬美元都稱不上什麼大麻煩了。上週OpenAI官宣了企業版ChatGPT,堪稱地表最強版ChatGPT,收穫關注的同時也邁出了自救的一步。就在剛剛過去的這個週末,又有消息爆料稱OpenAI一直在秘密開發與訓練GPT-5,之所以經常被OpenAI的CEO奧爾特曼否認可能是因為其內部新起了個名字。

這則消息源於穆斯塔法·蘇萊曼,他於2010年攜手德米斯·哈薩比斯,謝恩·列格,三人共同創辦了DeepMind公司。 2013年,彼時尚未改名的Facebook謀求收購DeepMind,但最終沒有談攏。 2014年1月26日,DeepMind被谷歌以大約四億美元,約合29億元人民幣的報價收購。同時DeepMind要求以其為主在谷歌內部成立一個AI倫理理事會,谷歌也表示同意。也正是在2014年,DeepMind團隊開始開發AlphaGo(阿爾法狗)。

2018年的蘇萊曼

2015年10月,阿爾法狗以5:0的比分橫掃了歐洲圍棋冠軍,華裔法籍職業棋士樊麾二段。這是AI首次在十九路棋盤且“分先”的情況下擊敗職業圍棋手,“人類智慧的最終堡壘”自此開始動搖。之後的故事就是很多人能耳熟能詳的了,2016年阿爾法狗戰胜李世石,後來又在網上保持了連續60盤不敗的紀錄,並且還在很短的時間內就迭代出數個更強大的版本。 2016年,DeepMind開髮用於研究蛋白質折疊的AlphaFold,這是目前科學中最棘手的問題之一。 2018年12月,AlphaFold成功預測43種蛋白質中的25種最準確的結構,贏得了第13次蛋白質結構預測技術關鍵評估(CASP)。 2019年1月25日,DeepMind新開發的AlphaStar在《星際爭霸2》比賽中,以10:1的優勢比分戰勝了人類職業玩家,讓AI再次火出圈的同時也讓世人再次驚嘆於AI的發展之迅速,以及能力之強大。

雖然DeepMind在AI領域的研究和成果堪稱豐碩,但在最近半年多的AIGC浪潮裡的表現又明顯是“起了個大早,趕了個晚集”,尤其是對比ChatGPT的飛速火出圈時更顯窘迫。究其原因倒也不難理解,主要在於DeepMind的阿爾法系列普遍門檻不低。圍棋在全球範圍內的職業棋手不過數以萬計,研究蛋白質折疊的更是只有百人左右,《星際爭霸2》倒是受眾很廣,問題是誰會找注定打不過的對手玩遊戲?

之前曾經說過,ChatGPT的發展思路是“C端出名B端掙錢”,從GPT-3.5上線以來就在很短的時間內聚集了大量人氣,雖然OpenAI也很快就遭遇了這樣那樣的問題。與之形成對比的正在太平洋的此岸,很多大模型都是自發布以來就面向企業級用戶。此前曾有數據統計,目前國內大模型產品已經有上百個之多,但直到上週才有寥寥數家產品通過《生成式人工智能服務管理暫行辦法》備案,正式從B端走向C端,百度的文心一言也幾乎是在同時就衝上了各大應用商店的下載榜榜首。

GPT-4的下一代叫什麼尚不得而知,而幾週前Code Interpreter推出後,許多人感覺其能力明顯超出GPT-4的一截,甚至乾脆直接稱呼其為GPT-4.5。不過依照GPT系列的發展歷程來說,僅僅一個代碼解釋器的能力就能讓GPT-4發展到GPT-4.5,多少還是有些勉強。之前GPT系列的前三代,每次的間隔都在半年到一年左右,且參數量也在飛速上漲,從GPT-1的1.17億到GPT-2的15億,再到GPT-3和3.5的1750億,GPT-4的具體參數量至今仍未公佈,訓練數據和具體成本外界同樣不得而知。

蘇萊曼在近日的採訪中曾經表示,僅僅生產一個好用的GPT-4還不算危險,而增加其他能力,比如讓AI能夠自我迭代,自我制定目標等等才應該警惕,但依目前的水平來看那大約是十五年甚至二十年之後的事了。從算力成本的角度來看,未來AI訓練的規模不可能達到訓練某個模型需要100億美元的成本,除非真的有人會花3年時間去訓練一個模型,因為堆疊越多算力去訓練一個越大的模型,需要的時間也會更長。雖然成本越高也可能帶來更強的能力,但這不是一個沒有上限的數學問題,需要考慮很多實際情況的限制。同時因為芯片算力會以成倍的效率增長,所以未來訓練一個大模型的成本會遠遠小於現在看起來的成本。比如現在開源社區中的Llama 2或者Falcon等,只用15億或20億參數就獲得了與1750億參數GPT-3.5差不多的能力。

最近谷歌正在為自家的Gemini宣傳造勢,目標直指地表最強AI工具,消耗的算力據信已經高達GPT-4的數倍。而從目前的消息來看,Gemini可能也是混合專家大模型,除了生成圖像和文本外,Gemini接受過YouTube視頻轉錄數據的訓練,也可以生成簡單的視頻,類似於RunwayML Gen-2。也有消息表示Gemini將結合阿爾法系列類型系統的一些優勢和大型模型的語言能力。可以看到,谷歌已經在全力備戰,就等著Gemini開啟逆襲之路。

資訊來源:由0x資訊編譯自8BTC。版權歸作者所有,未經許可,不得轉載

Total
0
Shares
Related Posts