作者:魏瑪
人才與能源,正成為科技公司AI戰役中必奪的高地塔。
「這場AI的人才之戰,是我見過的最瘋狂的人才爭奪戰!」馬斯克在推特上直言。
就在5月28日,這位特斯拉CEO創辦的AI新創公司——xAI在官網宣布融資60億美元,用於打造超級計算機,馬斯克稱之為「超級計算工廠」。誠然,這需要更多人才。馬斯克甚至表示,xAI如果不提供offer,人就被Open AI挖走了。
在這場誰也看不到未來確切形狀的人工智慧大模型戰役中,投資一個可靠的團隊,對於投資公司來說顯然是最有力的保障。這也是這場人才爭奪戰愈演愈烈的重要原因。
不過,「真正優秀的人才通常不會主動找工作,因此需要去挖那些你看好的人才」。 OpenAI創辦人Sam Altman早年就曾在他的文章中提及。
資訊差是這場人才爭奪戰中決定勝負的關鍵。
我們的第一篇人才圖譜聚焦在這個科技巨頭們重金押注的領域-具身智能。
如果說這場AI戰事的未來難以預測,具身智能或許是其中一種終極型態。英偉達CEO黃仁勳更是表示,下一個AI浪潮將是具身智能。
矽兔嘗試梳理了美國大公司,兩個AI黃浦軍校——谷歌和英偉達的具身智能人才圖譜以及在其中的華裔大佬,或許能為希望在其中進行創業或投資的讀者提供按圖索驥的參考。
「1」根據Google和英偉達重點具身智能論文和專案一共梳理114名業界實戰大佬,其中谷歌佔比60%,英偉達40%,男多(90%)女少(10%)。
「2」8%的研究員學術程度比肩美國科學院院士。 59%的研究員屬於高水準段位。
「3」78%的研究員最高學歷水準為博士,研究生佔18%,大學部學生僅佔4%。
「4」華裔在Google和英偉達具身智能研究員中佔比約27%。
「5」史丹佛向Google和英偉達輸送了最多具身智能大佬,其次是CMU和MIT,三家學校輸送的人才佔比約1/3。
欲知資料詳解及華裔大佬履歷見下?
「1」
共248名研究員參與了Google和英偉達具身智能研究,剔除62名未在Google Scholar建檔的研究員,剩餘186名研究員中,業界力量佔六成、學界力量佔四成。
具體來看,Google獨立研究能力更強,英偉達借助了多個頂尖學校的研究資源。參與英偉達機器人研究的大學研究人員達到45人,佔一半(51%);相較之下,Google的這個比例不到三分之一(27人,28%)。
「2」
聚焦業界人才,Google和英偉達114位研究員中,男性佔比約90%,華裔佔比約27%,博士學歷佔比約78%。
在性別比例和族裔方面,Google和英偉達略有差異,谷歌似乎對女性更友好,有11名女性科學家加入,而英偉達只有2名。
英偉達華裔的比例更高,佔40%,而這一比例在Google只有20%。
「3」
史丹佛向Google和英偉達輸送了最多具身智能大佬,其次是CMU和MIT,三所學校輸送的人才佔比約1/3。
114位研究員最高學歷畢業的院校總共有51所大學。其中,史丹佛大學有16人,卡內基美隆大學有14人,麻省理工學院有7人,這三所學校的人數佔比約三分之一,而其他學校只有一名學生。
絕大部分研究人員來自美國的院校,但歐洲也有兩所學校在具身智能領域產生了重大影響:英國倫敦帝國學院和牛津大學,畢業於這兩所學校的研究人員共有8人。牛津大學在深度學習方面積累了豐富的經驗,並且在谷歌收購DeepMind後與牛津大學展開了合作,引入了深度學習領域的專家。例如,AlphaGo的研發團隊中就包括了3位牛津大學在職教授以及4位前牛津大學的研究人員。
「4」
8%的業界研究員學術水準比肩美國科學院院士。 59%的業界研究員屬於高水準段位。谷歌研究員的學術能力相較英偉達更強。
我們採用被引用量和「h」指數來衡量學術水平。 「h」指數是一位作者至少具有相同引用次數(h)的最高發表論文數量。例如:某人的h指數是20,這表示他已發表的論文中,每篇至少被引用了20次的論文總共有20篇。
一般來說,h指數在10以上可以被認為是較高水平,h指數18屬於高水平,而成為美國科學院院士的一般要求是45以上。
這114名企業研究人員的h指數表現出了他們相當強的研究水準:89%的人的h指數大於10,59%的人的h指數大於18,而有8%的人的h指數甚至超過了45。
進一步比較Google和英偉達的學術水準會發現,Google研究人員影響力明顯比英偉達高。例如,Google企業研究人員引用量平均數和h指數平均數是12596和23,而英偉達的這一組數據為6418和21。
「5」
谷歌和英偉達各有約1/10的具身智能研究員離職加入其他公司。
谷歌70人中有7人離開,佔10%。目前在英偉達、蘋果、特斯拉、1x、OpenAI、Figure AI等企業就職,整體來說離開Google的人才較少,絕大多數人才在Google DeepMind工作。
其中,Scott Reed 2016 年加入Google DeepMind 從事控制和生成模式的工作,後來加入英偉達成為GEAR 團隊的首席研究科學家。
註:Google離職研究員及去向
英偉達44名具身智能研究人員有4人離開,佔9%。一人去了谷歌,一人去了Allen Institute for AI研究機構,另外兩人選擇創業。
Igor Mordatch的研究興趣包括機器學習、機器人和多智能體系統,他曾是OpenAI的研究科學家,在史丹佛大學和Pixar動畫工作室擔任訪問研究員。他共同組織了OpenAI學者指導計劃,並擔任AI4All、Google CS研究指導計劃和Girls Inc.的導師和教學助理。離開英偉達後在Google DeepMind擔任研究科學家。他發布文章約123篇,Google Scholar h指數51,被引用量18752次。
註:英偉達離職研究員及去向
「6」
「美國科學院院士」學術程度(h指數大於45)的研究員,Google得6人,英偉達1人。他們分別是(按照指數高低):
Nicolas Heess
DeepMind研究科學家。
2011年發表論文《Learning a Generative Model of Images by Factoring Appearance and Shape》,彼時正在攻讀愛丁堡大學的神經資訊學與計算神經科學博士學位,畢業後在DeepMind工作至今。
早期研究聚焦在機器視覺、機器學習、圖形/擴增實境/遊戲等領域,目前是英國UCL電腦系榮譽教授。
發表約224篇文章,Google Scholar h指數65,被引用量48917次。
Martin Riedmiller
DeepMind研究科學家。
1986-1996年在德國University of Karlsruhe(卡爾斯魯厄大學,現在的卡爾斯魯厄理工學院)學習電腦專業,並取得博士學位。畢業後他一邊在學術界任教,一邊創業。
2002年- 2015年先後在University of Dortmund、University of Osnabrueck、University of Freiburg擔任教授,帶領Machine Learning Lab;2010 -2015年在德國巴登創立Cognit – Lab for learning machines。
2015年加入Google DeepMind全職工作。
他的研究領域聚焦於人工智慧、神經網路、強化學習等,發表約188篇文章,Google Scholar h指數59,被引用量84113次。
Vikas Sindhwani
Google DeepMind研究科學家,領導一個專注於解決機器人領域規劃、感知、學習和控制問題的研究小組。
他擁有芝加哥大學的電腦科學博士學位和印度理工學院(IIT)孟買分校的工程物理學士學位。
2008年-2015年在IBM TJ Watson Research Center紐約分部負責機器學習組。 2015年加入Google DeepMind工作至今。
擔任《機器學習研究交易》(TMLR)和《IEEE模式分析與機器智能交易》的編輯委員會成員;曾是NeurIPS、國際學習表示會議(ICLR)和知識發現與資料探勘(KDD)的領域主席和高級程序委員會成員。
研究興趣廣泛涉及統計機器學習的核心數學基礎,以及建構大規模、安全、健康人工智慧系統的端到端設計。
曾獲人工智慧不確定性(UAI-2013)最佳論文獎和2014年IBM Pat Goldberg紀念獎;並入圍了ICRA-2022傑出規劃論文獎和ICRA-2024機器人操作最佳論文獎的決賽。
發布約137篇文章,Google Scholar h指數52,被引用量17150次。
Vincent Vanhoucke
Google DeepMind傑出科學家、機器人技術部門資深總監,在Google工作超過16年。
擁有史丹佛大學電機工程的博士學位(1999-2003)和巴黎中央理工學院的工程師學位。
曾領導Google Brain的視覺和感知研究,並負責谷歌語音搜尋的語音辨識品質團隊。共同創立了機器人學習會議(Conference on Robot Learning)。
研究涵蓋了分散式系統和平行計算、機器智慧、機器感知、機器人和語音處理等多個領域。發表約64篇文章,Google Scholar h指數50,被引用量165519次。
Raia Hadsell
DeepMind研究與機器人技術資深總監,VP of Research。
2014年加入至今。
在Reed College獲得宗教學和哲學學士學位後(1990-1994),在紐約大學與Yann LeCun合作完成博士學位研究(2003-2008),集中使用連體神經網路(今天通常稱為「三元損失」)的機器學習、人臉辨識演算法,以及在野外使用深度學習進行移動機器人研究。論文「Learning Long-range vision for offroad robots」獲得了2009年的傑出論文獎。
在卡內基美隆大學機器人研究所做博士後研究,與Drew Bagnell和Martial Hebert合作,然後成為新澤西州普林斯頓市SRI國際公司視覺與機器人組的研究科學家(2009-2014)。
加入DeepMind之後,研究重點放在人工通用智慧領域的一些基本挑戰上,包括持續學習和遷移學習、用於機器人和控制問題的深度強化學習,以及導航的神經模型。是一個新開放期刊TMLR的創始人和主編,CoRL的執行委員會成員,歐洲學習系統實驗室(ELLIS)的成員,也是NAISys(神經科學與人工智慧系統)的創始組織者之一。擔任CIFAR顧問,並曾擔任WiML(機器學習中的女性)執行委員會成員。
發布約107篇文章,Google Scholar h指數45,被引用量36265次。
Nikhil J Joshi
資料有限,在印度印度理工學院(Indian Institute of Technology)取得物理碩士學位,在印度基礎研究機構Tata Institute of Fundamental Research 取得分子物理學博士學位。 2017年加入Google Brain做軟體開發,之前在多家企業任職。 Google Scholar h指數45,被引用量8320次。
英偉達
Stan Birchfield
英偉達首席研究科學家和高級研究經理。
2016年加入,主要負責電腦視覺和機器人技術的交叉領域,包括學習、感知、以及人工智慧介導的現實和互動。
1999年獲得史丹佛大學電機工程博士學位,輔修電腦科學。
畢業後,加入灣區新創公司Quindi Corporation擔任研究工程師,開發智慧數位音訊和視訊演算法。
2013-2016年,加入微軟,負責開發電腦視覺和機器人技術的應用與地面實況導航系統,並領導開發了自動攝影機切換功能。
Google Scholar h指數56,被引用量14315次。
「7」
部分業界華裔大佬
這114名企業研究人員中共有31名華裔,重點介紹12名佼佼者,其中谷歌4人,英偉達6人,OpenAI 、1x各1人。
Fei Xia(夏斐)
Google DeepMind資深研究科學家。
2016年畢業清華,2021年在史丹佛大學電機工程系獲得了博士學位。
讀博期間曾在NVIDIA的Dieter Fox,Google的Alexander Toshev和Brian Ichter那裡做過研究實習。在史丹佛大學完成博士學位後,於2021年秋天加入Google的機器人團隊。
研究興趣包括大規模和可轉移的機器人模擬,長期任務的學習演算法,以及環境的幾何和語義表示的結合。最近研究方向是將基礎模型(Foundation Models)用於智能體的決策過程中。
學業成就包括在ICRA 2023會議上接受了5篇論文,在CoRL 2022會議上接受了4篇論文。
代表工作有GibsonEnv, iGibson, SayCan等,iGibson開發用於機器人學習的大規模互動環境,以及在機器人控制策略中使用模仿學習和模型預測控制(MPC)的結合。 Google Scholar h指數為33,引用量為12478。
Andy Zeng
Google DeepMind資深研究科學家。
在UC Berkeley獲得了計算機科學和數學的雙學士學位,並在普林斯頓大學獲得了計算機科學博士學位。 2019年博士畢業後加入Google Brain工作,專注於機器學習,視覺,語言和機器人學習。
研究興趣包括機器人學習,使機器能夠聰明地與世界互動並隨著時間的推移自我提升。
學術成就包括在各種會議上發表的論文,如ICRA,CVPR,CoRL等。
參與的重要項目包括PaLM-E。
Google Scholar h指數為32,引用量為12207。
Tianhe Yu
Google DeepMind研究科學家。
2017年在UC Berkeley獲得了電腦科學、應用數學和統計學的最高榮譽學士學位,2022年在史丹佛大學獲得了電腦科學博士學位,指導教授是Chelsea Finn。
2022年博士畢業後加入Google Brain工作,專注於機器學習,視覺,語言和機器人學習。
研究興趣包括機器學習,感知,控制,特別是離線強化學習(即從靜態資料集中學習),多任務和元學習。最近在探討在決策問題中利用基礎模型。
學術成就包括在各種會議上發表的論文,如ICRA,CVPR,CoRL等。
參與的重要項目包括PaLM-E。
Google Scholar h指數為25,引用量為7726。
Yuxiang Zhou
Google DeepMind資深研究工程師。
2010年至2018年間在英國倫敦帝國學院攻讀電腦科學碩士和博士學位,指導教授是Stefanos Zafeiriou教授。
2017年9月至2018年3月在Google Brain & DeepMind進行了深度強化學習和機器人學的研究實習,在2018年12月加入Google DeepMind,擔任研究工程師。
研究主題包括解決機器人學、第三人稱模仿學習、統計變形模型的密集形狀研究等。
Google Scholar h指數為17,引用量為3099。
英偉達
Linxi Fan(範林熙)
NVIDIA 資深研究科學家,也是GEAR Lab的負責人。
在史丹佛大學視覺實驗室獲得博士學位,師從李飛飛教授。
曾在OpenAI(與Ilya Sutskever 和Andrej Karpathy)、百度AI 實驗室(與Andrew Ng 和Dario Amodei 合作)和MILA(與Yoshua Bengio 合作)實習。
研究探討了多模態基礎模型、強化學習、電腦視覺和大規模系統的前沿。
率先創建了Voyager(第一個熟練玩Minecraft 並持續引導其功能的AI智能體)、MineDojo(透過觀看100,000 個Minecraft YouTube 影片進行開放式智能體學習)、Eureka(一隻5 指機器人手,執行極其靈巧的任務,如筆旋轉)和VIMA(最早的機器人操作多模態基礎模型之一)。 MineDojo 在NeurIPS 2022 上獲得了優秀論文獎。
Google Scholar h指數為18,引用量為5619。
Chen-Hsuan Lin
NVIDIA資深研究科學家。
本科畢業於國立台灣大學,獲得了電機工程學士學位。在卡內基美隆大學獲得了機器人學博士學位,指導教授是Simon Lucey,受NVIDIA 研究生獎學金支持。
曾在Facebook AI 研究和Adobe 研究進行了實習。
致力於電腦視覺、電腦圖形學和生成AI 應用。解決涉及3D 內容創建的問題感興趣,包括3D 重建、神經渲染、生成模型等。
研究獲得了TIME 雜誌2023 年度最佳發明獎。
Google Scholar h指數為15,引用量為2752。
De-An Huang(黃德安)
NVIDIA 研究科學家,專業領域為電腦視覺、機器人、機器學習、生物資訊學。
史丹佛大學獲得了電腦科學博士學位,導師是李飛飛和胡安·卡洛斯·尼布爾斯。在卡內基美隆大學攻讀碩士學位期間,曾與Kris Kitani合作,在國立台灣大學攻讀本科期間,曾與Yu-Chiang Frank Wang合作。
曾是NVIDIA 西雅圖機器人實驗室的Dieter Fox、Facebook 應用機器學習的Vignesh Ramanathan 和Dhruv Mahajan、Microsoft 雷德蒙德研究院的Zicheng Liu 和匹茲堡迪士尼研究院的Leonid Sigal 的實習生。
Google Scholar h指數為32,引用量為4848。
Kaichun Mo(莫凱淳)
NVIDIA Dieter Fox 教授領導的西雅圖機器人實驗室的研究科學家。
在史丹佛大學獲得了電腦科學博士學位,指導教授是Leonidas J. Guibas 教授。曾隸屬於史丹佛大學的幾何計算組和人工智慧實驗室。在2016年加入史丹佛之前,在上海交通大學計算機科學ACM班獲得了學士學位(PS:上海ACM榮譽班直博率高達92%,3次斬獲ACM國際大學生程式設計競賽全球總冠軍,培養出640名計算機“最強腦”)。 GPA為3.96/4.30(排名1/33)。
專業領域是3D電腦視覺、圖形學、機器人學和3D深度學習,特別關注物件為中心的3D深度學習,以及針對3D資料的結構化視覺表示學習。
Google Scholar h指數為20,引用量為17654。
Xinshuo Weng
NVIDIA 研究科學家,與Marco Pavone 合作。
她在卡內基美隆大學與Kris Kitani 合作獲得了機器人學博士學位(2018-2022 年)和電腦視覺碩士學位(2016-17 年)。本科畢業於武漢大學。
她也曾與Facebook Reality Lab 的Yaser Sheikh 合作,擔任研究工程師,協助建立「逼真的遠端呈現」。
研究興趣在於自主系統的生成模型與3D電腦視覺。涵蓋目標偵測、多目標追蹤、重新識別、軌跡預測和運動規劃等任務。開發了3D 多物件追蹤系統,例如在GitHub 上獲得>1,300 顆星的AB3DMOT。
Google Scholar h指數為23,引用量為3472。
Zhiding Yu (禹之鼎)
NVIDIA 機器學習研究小組的首席研究科學家和負責人。
2017年從卡內基美隆大學獲得了電子與電腦工程博士學位,並於2012年從香港科技大學獲得了電子與電腦工程碩士學位。於2008年自華南理工大學聯合電機工程(馮炳權實驗班)大學畢業。
研究興趣主要集中在深度表示學習、弱監督/半監督學習、遷移學習和深度結構化預測,以及它們在視覺和機器人問題中的應用。
WAD Challenge@CVPR18 中的領域自適應語意分割賽道的獲獎者。在WACV15 獲得了最佳論文獎。
Google Scholar h指數為42,引用量為17064。
OpenAI
Mengyuan Yan
技術人員。
2014年取得北京大學物理學學士,2020年獲得史丹佛大學電子電器工程博士學位。
Interactive Perception and Robot Learning Lab(IPRL)的成員,該實驗室是史丹佛AI Lab的一部分,導師是Jeannette Bohg和Leonidas Guibas。
研究領域包括電腦視覺、機器學習、機器人學和生成模型。
共發布28篇文章,Google scholar h指數15,被引用量4664次。
1X Technologies
Eric Jang
AI副總裁。
2016年畢業於布朗大學碩士,主修電腦科學。
2016 – 2022年在Google工作,擔任機器人資深研究科學家,
研究主要集中在將機器學習原則應用於機器人領域,開發了Tensor2Robot,這是機器人操作團隊和Everyday Robots 使用的ML 框架(直到TensorFlow 1 被棄用);是Brain Moonshot團隊的共同負責人,該團隊製作了SayCan。
2022年4月離開Google Robotics,加入1X Technologies(原名Halodi Robotics),帶領團隊完成了兩項重要工作,一個是透過端到端的神經網絡,實現了人形機器人EVE的自主性。
7篇論文的第一作者,合著15+以上,Google scholar h指數為23,引用量為11213。寫了一本書《AI is Good for You》講訴人工智慧的歷史和未來。
「8」
透過重點研究論文和實驗項目鎖定Google和英偉達的具身智慧人才。
谷歌重基礎模型研究,其具身智慧人才參與的重點研究發表包括:
SayCan:能夠將高階任務拆解為可執行的子任務。
Gato:將多模態資料進行token化輸入Transformer架構。
RT-1:將機器人軌跡資料輸入Transformer架構,得到離散化動作token。
PaLM-E:在PaLM通用模型基礎上,進一步提升了多模態效能。
RoboCat:將多模態模型Gato與機器人資料集結合,使得RoboCat具備在模擬環境與物理環境中處理語言、影像和動作等任務的能力。
RT-2:是RT-1模型與PaLM-E模型的結合,使機器人模型從VLM演化到VLA。
RT-X:在維持原有架構的基礎上,全面提升了具身智慧的五種能力。
以上模型逐步實現了模型自主可靠決策、多模態感知和即時精準運控能力的結合,同時展現出泛化能力和思維鏈能力。
綜合以上研究論文,共整理143位Google研究員。
英偉達重仿真模擬訓練,其具身智慧人才參與的實驗項目包括:
Eureka:利用大型語言模型進行強化學習的獎勵機制設計
Voyager:開放世界中用大語言模型驅動智能體
MimicPlay:透過觀察人類動作進行長距離模仿學習
VIMA:多模態指令操控執行通用機器人任務
MinDojo:利用網路規模級資料建立開放具身智能體
此外,英偉達在2024年重點發力具身智能,官宣成立通用具身智能研究GEAR(Generalist Embodied Agent Research)實驗室,主要圍繞多模態基礎模型、通用型機器人研究、虛擬世界中的基礎智能體以及模擬與合成資料技術四個關鍵領域進行研究,旨在推動大模型等AI技術由虛擬世界向現實世界發展。
本文首先整理了上述提到的Google核心專案論文共7篇,每篇論文都詳細列出了專案研究人員,並清楚地公佈了他們的具體工作內容。
英偉達的研究頁面公佈了參與robotics計畫的人員名單,共54名;另外綜合考慮GEAR發布的所有論文作者,共梳理出105名具身智能研究人員。
附錄:Google、英偉達具身智能百人列表