關於大模型,我和專業人士一次性聊透了


原文來源:白馬商評

圖片來源:由無界AI‌ 生成

“都快成紅海了。”當我和一個創業者聊起大模型的時候,他直接甩了這句話給我。

去年11月,OpenAI發布基於GPT-3.5的ChatGPT,瞬間引爆大模型的熱潮。半年多的時間,中國出現了“百模大戰”的局面,BAT等頭部互聯網公司和人工智能公司基本都對外宣布了自己的大模型。

5月初,360掌門人周鴻禕對外稱,“如果不經過兩年的模仿和抄襲,上來就說自己能超越,那才叫吹牛呢。”僅僅一個月後,周鴻禕就表示,“我原來說國內大模型跟國外差距兩年,我收回這句話,今天已經接近國際水平。”

有人感慨,半年就追上ChatGPT了,大模型似乎也不難。

那麼,大模型的核心壁壘是什麼?中國大模型到底什麼水平?大模型為人類社會帶來哪些風險?

為此,我們和多年從事機器學習研究、某知名985高校教授沈為(化名)聊了聊,揭開大模型的迷霧。

GPT路徑跑通了,所以有了“百模大戰”

白馬商評:能不能用最通俗簡單的語言解釋一下大模型,大模型是什麼?和以往的AI模型有什麼區別?

沈為:所謂大模型就是指模型的參數量大,但學術界並沒有一個清晰明確的定義界定到底多大參數叫“大”,還在快速研究發展階段,一般來講大模型的參數量達到1億以上。

其實,深度學習的發展大致經歷了三個階段。第一個階段是2012-2017年,以圖像分割yolo、圖像分類ResNet這種特定領域的小模型為代表,所以參數量佔內存最多也就幾百MB。

2017年,Transformer的問世讓深度學習可以並行化計算,效率更高,意味著可以做大模型的運算,隨後產生了OpenAI GPT和谷歌Bert這類自然語言大模型。這一階段誕生的是特定任務的大模型,模型參數突破了1億。

到了2020年前後,深度學習進入通用模型階段,它的輸入就是一句帶空格的話,模型的作用就是“填空”,以前是模型適配下游應用,現在是下游應用適配模型。這一階段的模型代表包括自然語言領域的GPT 3.5、GPT 4以及圖像領域的Clip、DALLE、Stable Diffusion、Midjourney等等。這一階段模型參數可以達到百億、千億級別。

白馬商評:你了解到最早研究大模型是哪家企業或機構?有哪些成果?

沈為:最早是高校和科研機構做相關的研究,我了解比較早的是北京智源人工智能研究院的悟道、鵬程實驗室的腦海,現在產業界的研究也很同步了。學術界的研究有一些成果,但性能沒有ChatGPT那麼驚艷。

白馬商評:短短幾個月的時間,國內出現了“百模大戰”的局面,推出大模型的公司已經數不過來了,你怎麼看待這種現象?

沈為:大模型肯定是趨勢,也一直有人在研究。之前很多公司可能會小範圍投入,做一些淺嚐輒止的研究;現在突然出現了ChatGPT這樣一個好產品,大家看到了明確的商業方向,於是都開始加大投入。

另一方面,很多公司面臨商業競爭的壓力,不做大模型可能就掉隊了,所以必須上馬大模型項目。

白馬商評:周鴻禕最近說他收回“國內大模型跟國外差距兩年”這句話,他認為今天已經接近國際水平。這才過去幾個月的時間,大模型好像也不難嘛。你覺得差距有多少?

沈為:差距看跟誰對標吧,我目前沒有體驗過360智腦的產品,不太好評價。但是國內有些生成式AI產品,我體驗以後感覺跟ChatGPT還是有差距的,國內的大模型還需要努力。

重資本投入下,只有頭部公司有機會?

白馬商評:研發大模型的核心壁壘是什麼?

沈為:大模型的核心壁壘包括數據、算力、算法。

從算力上看,訓練ChatGPT這樣的生成式AI需要至少1萬張英偉達A100顯卡,單張顯卡的價格目前是六七萬,性能更優的V100單價8萬元人民幣,也就是說光算力投入至少就要達到六七個億以上,只有少數頭部公司和機構能承擔得起。對於商業機構而言,花幾個億買一堆顯卡,還不一定能產出成果,這是必須要思考的問題。

接下來是數據和算法,算法比較好理解,比如開發框架、優化算法。數據方面,中國不缺數據,甚至互聯網數據比美國還要多,但是選擇哪些數據去訓練、採用什麼樣的方式處理,這些都是核心的壁壘。

白馬商評:你平時會跟企業交易所嗎?非營利性的研究機構和企業在研究上有什麼區別?

沈為:我們會跟企業的研究部門有一些交易所。跟企業交易所我們會更加了解實際的業務需求,有時候我們做的學術研究會更關注技術前瞻性,對落地性要求不那麼高;但企業一般更強調落地性。

白馬商評:你有沒有研究過國內的大模型?最看好哪家?

沈為:可能還是頭部公司能跑出來吧。一是重資本的投入,只有頭部公司有實力;二是幾家頭部公司手裡的數據更豐富;三是在人工智能領域已經有了一段時間的技術增持。

白馬商評:你最看好的大模型應用是什麼?

沈為:從技術角度看,最先應用的應該是自然語言處理和圖像領域,語音識別可能要晚一些。

大家看到比較多的用ChatGPT來寫文案,這類內容創作的應用越來越多,其他我覺得像智能客服這種應用應該也會比較快。現在的一些智能客服很多時候理解不了用戶的需求,解決不了實際問題,如果讓用戶區分不出到底是人還是機器人,體驗就會改善很多;包括遊戲中的NPC,以前的對話是寫死的,現在漸漸可以互動了,玩家體驗也會更好。

白馬商評:你原來做過頭部券商的首席分析師,從投資角度看,你覺得大模型有哪些機會?

沈為:資金炒作的邏輯是從應用到算法、模型,再到算力;產業的邏輯反而是相反的,算力是有明確的增長預期的,所以英偉達最近上漲很快、很多。投資者現在也明白了,誰家的大模型能跑出來、能變現還需要驗證,但是增加的資本投入大部分都投到了算力。經過反复炒作,普漲行情應該已經告一段落,後面需要邏輯驗證和業績兌現。

我原來主要看傳媒互聯網行業,比如前段時間比較強勢的遊戲板塊,資本的邏輯一是應用大模型提升研發效率、降低成本;二是大模型帶來更好的體驗,NPC角色更智能,最後用戶的粘性提升、UP值提升。當然,最終可能還需要業績驗證。

人類無法左右AI,甚至無法左右自己的命運

白馬商評:我們看到包括奧特曼、馬斯克都對人工智能的安全性問題提出過擔憂,現在我們只知道通過大模型訓練出現了智能化的結果,但訓練過程像一個黑箱,其實挺可怕的。你怎麼看待安全問題?

沈為:在安全方面,首先我觀察到幾個反常的現象。第一個是今年3月包括馬斯克、蘋果公司聯合創始人史蒂夫·沃茲尼亞克在內的1000多人簽署了一份公開信,呼籲暫停訓練比GPT-4更強大的AI系統。

第二個是,今年5月谷歌首席科學家、已經75歲的“AI教父”杰弗裡·辛頓辭職,他離開谷歌的直接原因是擔憂人工智能的危險,甚至對自己一生從事的工作感到後悔。

第三個是近兩年學術領域訓練大模型新增了倫理討論。

目前來看,我覺得大模型還是可控的,沒有大的問題;但是技術發展太快了,出圈以來短短幾個月的時間,GPT就又經歷了幾次迭代,發展速度太快,越來越智能,會不會產生自主意識,不再聽人類的“使喚”,走向失控?這個問題是大家擔心的。

白馬商評:你覺得AI會不會造成大量失業?在AI面前,普通人怎麼保住工作?

沈為:從宏觀上看我不覺得AI會造成大量的失業,人類總會有工作的,只是說人的工作內容會發生轉變。當然,從個體角度看肯定會出現結構性的失業,我們只能不斷學習。

白馬商評:之前很多人說機器沒有感情、缺乏想像力,取代不了人類;現在既然人類大腦可以通過AI模擬出來,那人類的情慾、性慾是不是未來也可以模擬,荷爾蒙、多巴胺這些不過是一種生物學的獎勵機制嘛。

沈為:機器沒有感情是當前的假設,人工智能越來越接近人的思考模式,那是不是就會產生類似於人類的“感情”?只是他們和人類生活在不同的空間維度,就像《流浪地球》裡圖恆宇的女兒。人工智能可能會產生自己世界類似於人類的生物學意義上獎勵機制。

白馬商評:如果一切都可以計算、規劃、設置,是不是有點無趣?

沈為:AI的行為並不是人類預測和規劃的,而是他自我強化、自我訓練的結果,《流浪地球》裡MOSS的決策是自己做的,而不是服從人類給的指令。

白馬商評:矽基文明取代碳基文明是不是確定性的方向?

沈為:這個問題超綱了。按照目前的發展趨勢可能是這樣的,就像《流浪地球》裡真正主宰人類命運的是MOSS,而不是人類;但現實中也有可能技術會停滯在某個階段,跨不過去,畢竟技術發展不是線性的。

資訊來源:由0x資訊編譯自8BTC。版權歸作者所有,未經許可,不得轉載

Total
0
Shares
Related Posts