原文來源：新智元
圖片來源：由無界AI 生成
過去6個月，ChatGPT的爆火，徹底讓Meta坐不住了。
從2月開始開源大模型系列LLaMA的發布，到Llama 2升級、再到編碼模型Code Llama，Meta可謂是賭上所有去ALL IN AI。
在開源社區，Llama系列模型的免費研究和商用，直接點燃了平替模型裂變的火種。
可是，Meta在風光的同時，AI團隊正面臨著離職潮。
The Information獨家報導，因內部算力之爭，LLaMA和OPT項目的團隊成員，大半已經辭職。
甚至，Meta直接棄掉他們正研發能與PaLM匹敵的模型，將Meta AI的兩個實驗室團隊重組，以專注研發Llama 2。
Meta大部分研究人員的離職，恰恰暴露了，算力短缺是佈局生成式AI的核心難題。
LLaMA論文14位作者，一半離職
在外界看來，科技巨頭擁有比大多數公司更多的計算資源。一些公司包括Meta在內，在招聘AI研究人員時，一致強調自己是「GPU RICH」。
但事實上，自己心知肚明，Meta的計算資源供應方面也存在限制。
由此，算力紛爭便在內部團隊開啟，讓許多人棄Meta而去。
具體來講，今年2月發布的初代LLaMA模型中的14位作者，已經超過一半的人全部離職。
有的轉向AI初創公司，有的加入了科技巨頭。
論文地址：https://arxiv.org/pdf/2302.13971.pdf
離開Meta的研究科學家和工程師包括原LLaMA論文的作者之一Timothée Lacroix、Guillaume Lample和Marie-Anne Lachaux。
他們現在在法國初創公司Mistral AI工作，該公司由Lacroix和Lample於6月共同創辦。
還有其中的一位作者——Meta AI的研究總監Armand Joulin已經在5月離開了Meta，目前已加入蘋果。
Meta人工智能研究實驗室「基礎AI研究」的負責人Joelle Pineau在接受采訪時表示：
留住和吸引優秀人才可能是我花費時間最多的地方，因為沒有優秀的研究人員，我什麼都做不了。
Meta正在面臨的離職潮，恰恰凸顯了大型科技公司在應對對人工智能人才需求大幅上漲的挑戰。
大模型浪潮當前，各大科技公司唯恐落後，急於將AI接入自家產品和服務。
Riviera Partners的高管Kyle Langworthy稱，「求賢若渴」的公司們，都排著隊想挖角Meta的人工智能研究人員。
2月份的時候，繼LLaMA的發佈點燃社區熱情后，小扎曾連夜對外官宣了公司的大動作：成立頂級產品團隊，專注AIGC。
簡言之，小扎將Meta未來的核心重點放在，生成式人工智能，以試圖追趕谷歌、微軟、OpenAI等競爭對手。
而曾經在2021年All In的「元宇宙」，也被放在了次要的位置。
緊接著，Meta時不時地發布並開源了在人工智能領域的最新研究，包括通用視覺模型SAM「分割一切」、多模態AI模型ImageBind、Llama2、Code Llama等等。
這些研究一經發布，都在開源社區引起了很大的反響，得到一致好評。
而現在，隨著有經驗的研究人員流失，Meta在追趕競爭對手的路上多了一重阻礙。
那麼，具體是怎麼回事，讓這些高級研究人員憤而離去？
LLaMA和OPT的算力之爭
2013年，Yann LeCun入職Meta後，擔任AI研究主管時成立了人工智能研究實驗室Meta AI（原FAIR）。
除了在加利福尼亞州門洛帕克和紐約設立主要實驗室（LeCun的所在地），Meta AI還在蒙特利爾（Pineau的所在地）、巴黎、倫敦和西雅圖設有分部。
Meta AI實驗室的成立，主要致力於AI的研究，將人工智能應用在翻譯、MRI掃描等各種場景。
但是，ChatGPT橫空出世之後，公司的高管們對AI更深層次融入產品的要求，變得更加急切。
其實，在ChatGPT發布之前，Meta也一直在開發自己的LLM。
2022年5月，Meta AI的一個北美團隊對外公佈，並開源了大模型OPT-175B。
Meta聲稱，這個模型的能耗要比GPT-3低，儘管這兩個模型在訓練期間學習的內容，在數量上是一樣的。
幾個月後，該團隊開始著手開發第二個更大的模型，旨在與穀歌的PaLM競爭。
與此同時，另一個位於巴黎的Meta AI團隊，已經開始著手開發一個單獨的大型語言模型，也就是LLaMA。
知情人士表示，這個模型比OPT要小。研究團隊認為較小的模型在推理時會高效。
隨之問題就來了，分別來自北美和巴黎兩個實驗室的團隊，開啟了獲取算力資源之爭，進而加劇了內部團隊的紛爭。
尤其是，LLaMA團隊感覺自己被忽視了，自己的模型小，但獲得的計算資源比北美的OPT團隊少的多。
「基礎AI研究」的負責人Joelle Pineau表示，
關於在Meta如何分配計算資源的決策，是由來自業務不同部門的領導人組成的小組，大致每月做出一次。
最終分配多少，分配給誰，取決於組織優先事項，以及項目距離發布還有多遠來決定。
如果Meta AI的員工就分配發生爭議，就會提交到上級，也就是Pineau這一層去處理。
在採訪中，Pineau承認在LLaMA和OPT團隊之間在算力分配上有些緊張，並補充道，「我們試圖找到一條路，聽取每個人的發聲，即使無法去滿足每個人的需求。」
對某些研究人員來說，這感覺像是一場競賽。
Meta AI的一些高管也在質疑，為什麼兩個團隊都做著相似的項目，但又互相競爭有限的資源。
2月巨變
兩個團隊之間的緊張關係，到今年2月達到了高潮。
恰在這個月，為了追趕競爭對手，Meta AI首次將LLaMA作為開源模型發布，授權用於研究目的。
其實，在發布的前一周，Meta AI的聯合主管兼巴黎分部負責人Antoine Bordes就離開了Meta，而對外的離職原因是⼯作時間與加州⼀樣讓自己筋疲⼒盡。
現在，Bordes已經加入了人工智能公司Helsing。
知情人士表示，他的離職進一步，讓LLaMA團隊與北美的高管隔離開來。另外，Pineau也承認了Bordes的離職為團隊「帶來了一些不確定性」。
這不僅僅是LLaMA團隊研究士氣受挫的問題，與此同時，OPT團隊在過去幾個月裡，一直也在面臨人員流失的問題。
據稱，OPT團隊正在研發的更大型的模型，直接被Meta放棄。也不難理解，OPT的人員流失，和這個決定有著直接的關係。
根據研究作者Linkedin個人資料，19位OPT論文的作者中，也有一半人已離職Meta。
論文地址：https://arxiv.org/pdf/2205.01068.pdf
「基礎AI研究」的負責人Pineau無奈地表示，「當所有團隊都想在這個時候升級模型，那時你要么選擇其中一個，要么就讓他們合作。」
團隊重組，定位不清
在這一切發生的同時，Meta AI也被公司的頻繁地變動搞得焦頭爛額。
自從去年11月開始，小扎進行了數次全公司範圍的裁員。其中，Meta AI也沒能倖免。
今年2月，Meta AI領導人決定將相互競爭LLaMA和OPT團隊的一些成員聚集起來，正式成立「生成式AI」團隊，（由前蘋果高管Ahmad Al-Dahle負責），同時也從Meta AI抽調了大量人員。
其實，我們在Llama 2論文中，可以看到不少LLaMA和OPT作者的身影。
比如OPT的團隊中，Moya Chen、Todor Mihaylov、Punit Singh Koura加入「生成式AI」團隊。
初代LLaMA團隊中，Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez加入「生成式AI」團隊。
有趣的是，在Llama 2的致謝中，提到的4位最先發起這項研究的團隊，其中三位已經離職，目前僅有Edouard Grave還在。
儘管備受讚譽的開源模型LLaMA取得了不小的成功，但隨著Meta對人工智能研究態度的不斷變化，研究人員之間的緊張關係仍在醞釀。
傳統上來講，Meta AI擁有一種由研究人員主導的自下而上的文化，從而使團隊能夠專注於AI領域，並取得突破性的進展。
但隨著小扎越來越傾向於將AI融入Meta的應用程序之中，Meta AI的關注點也隨之縮小——解散了那些不以產品為導向的研究，比如蛋白質折疊。
與此同時，新的項目也在生成式AI團隊和Meta AI之間「反复橫跳」。
比如，Meta在7月發布的Llama 2，以及在8月發布的專攻代碼生成的Code Llama，就是分別由兩個團隊負責的。
對此，Pineau表示，「這個領域發展得實在是太快了，我們現在還在探索，哪個項目應該由Meta AI來負責？哪個項目又該由生成式AI團隊來負責？」
台前，開源模型光鮮靚麗，而幕後，AI研究人員離職潮湧、算力紛爭、團隊重組，為Meta傾力AI赶超對手帶來了許多不確定性因素。
參考資料：
https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power?rc=epv9gi
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載