押注核能微軟決心餵大模型新“彈藥”


來源丨51CTO技術棧

撰稿| 雲昭

微軟雄心勃勃,在Windows11全面AI化的同一天,再被爆出新動作。

當地時間9月25日,微軟在官網上突然掛出了一則「核子技術首席專案經理」的招募消息。不難看出,繼微軟雲端之後,納德拉在對待大模型這件事情,可謂火力全開。

但令人意外的是,從「Office全家桶」連接GPT4、Azure提供雲端資源,再到最近的Windows11全面AI化,就在全新的微軟呼之欲出的時候,為什麼微軟竟決定對能源這塊也要下手呢?

人工智慧和和核能,微軟一個都不放過

微軟正在招募的「核子技術首席專案經理」職位,任務是領導全球小型模組化反應器( Small Modular Reactor, SMR)和微反應器整合的技術評估,為微軟雲端和AI所在的資料中心提供動力。 「這一職位將為技術整合保持清晰且適應性強的路線圖,認真選擇和管理技術合作夥伴和解決方案,並不斷評估進展和實施的業務影響。」招聘貼文中如是說。

圖源:微軟

此外,微軟對於這一職位的理想候選人也給出了要求:應具有能源行業的經驗,並對核技術和監管事務有深入的了解。該職位也將負責研究和開發其他商業化前的能源技術。

大模型「跑廢」特斯拉

知名業內專家吳軍,曾對ChatGPT訓練有一個比喻:每訓練一次ChatGPT,相當於讓3000輛特斯拉電動車在一個月走完了21年的路,基本全跑廢掉。這一形容並不誇張。

根據史丹佛人工智慧研究所(HAI)發布的《2023年人工智慧指數報告》,訓練GPT3所需的電量,足以讓一個普通美國家庭用上數百年。而根據國盛證券估算,GPT-3的單次訓練成本就高達140萬美元,對於一些更大的LLM(大型語言模型),訓練成本介於200萬美元至1200萬美元之間。

資料來源:Luccioni et al.

「大模型訓練成本中60%是電費,」華為AI首席科學家田奇也曾對電力問題表示擔憂,認為電力的降本增效已迫在眉睫。如果大模型普及,全球快速運轉的伺服器,怕不會把地球燒了。

也無怪乎,OpenAI創始人周一在一場活動上表示現在對於GPT而言,重點在於“降低成本和提高可靠性”,而不是急於推出GPT-5。

為了省電,矽谷大佬們思路大開

首先看微軟。目前看,微軟將目光鎖定在核能了。大家可能不知道,比爾蓋茲還有另一個身份,就是核子創新公司TerraPower的董事長,該公司正在開發和推廣小型模組化反應器設計。不過,TerraPower的一位發言人稱,“目前沒有任何向微軟出售反應堆的協議。”

美國能源情報署的數據顯示,美國現有的核反應爐目前的發電量約占美國總發電量的18%。而下一代核反應器技術的希望很大程度上寄託在小型核反應器上。

顧名思義,小型核反應器比傳統反應器更小,建造起來也更便宜、建造速度更快,因為它們採用模組化結構設計,並不是反應器的每個部件都需要客製化。

此外,微軟方面已經公開承諾將從核融合領域創新者那裡尋求核能。今年5月,微軟宣布與核融合新創公司Helion簽署了一項電力購買協議,並將於2028年從Helion購買電力。碰巧的是,OpenAI執行長薩姆·奧特曼,也是Helion的早期重要投資者。

還有,大名鼎鼎的「矽谷鋼鐵人」馬斯克對於能源這塊也有考慮。 4月就有傳聞,馬斯克和貝佐斯準備聯手訓練一個超級大模型。為了節約冷凍與耗能,兩位竟然提出了一個「太空資料中心」的計劃,把五萬片H100英偉達卡由SpaceX送到太空,並攜帶巨量的太陽能板,以期藉由太空的力量解決電力的問題。不過有專家分析這個方案不太可靠,目前衛星太陽能帆板的供電系統普遍功率只有1200W,無論是電力供應或成本,都不如地面的解決方案。

當然,還有一個比較可靠的方案,就是優化晶片本身的耗能。這種能耗管理的邏輯是,資料中心有多塊晶片,每個晶片上有幾十億甚至上百億的晶體管,一個晶體管,相當於一個用電單位,以此推斷,一顆指甲蓋大小的晶片,就是一個規模龐大的能源網路。如果能夠將每個電晶體的能耗優化,那麼最後的節能就能輻射到整個資料中心。

這塊探索比較多的是全球EDA龍頭企業新思科技,早在7年前就啟動了一項叫做「高能效設計」的項目,將晶片的能源效率最大化。

微軟,只是想解決能耗問題?

微軟此舉,不僅是出於對AI的押注和資料中心動力來源的考慮,還有其他的原因。

據外媒theVerge稱,比爾蓋茲一直以來都是核能的忠實粉絲,因為核能不會產生溫室氣體的排放,對於應對氣候變遷方面或發揮一定的作用。

此外,有關大模型能源消耗問題,其實也沒有想像的那麼嚴峻。一位資深分析師坦言,市場大可不必對大模型的能耗問題過度擔憂。 “很多人忽略了一個事實,那就是大模型對算力的需求未來必然會逐漸下跌,這意味著能耗也會相應降低。”

例如,微軟在4月12日開源的DeepSpeed-Chat就充分說明了這一點,它可將訓練速度提升15 倍以上,算力成本大幅降低。光是單一GPU就能支援一個130億參數的類ChatGPT模型,訓練時間只需要1.25 小時。

最後,只能說,變革的齒輪一旦啟動,就很難逆轉。微軟此番對於AI的投入超乎了業界對它的想像。

參考連結:

https://www.theverge.com/2023/9/26/23889956/microsoft-next-generation-nuclear-energy-smr-job-hiring

https://www.bilibili.com/read/cv23092171/

https://baijiahao.baidu.com/s?id=1778038558952820880

資訊來源:由0x資訊編譯自8BTC。版權所有,未經許可,不得轉載

Total
0
Shares
Related Posts