王峰隨筆:深度學習之父辛頓、諾貝爾獎與大科學家的艱辛歷程


傑弗裡·辛頓被譽為“深度學習之父”,其主要貢獻為逆向傳播演算法。辛頓的事業起伏不定,年輕時嘗試多個學科,最終找到人工智慧領域,1986年發表的逆向傳播演算法推動了影像和語言處理的發展。近日,辛頓獲諾貝爾物理學獎,但他對此感到意外,並關注人工智慧的潛在風險。他認為科學應兼顧倫理,願意自由討論科技帶來的危機。辛頓的經歷展現了科學探索的艱辛與對人類未來的深切關懷。

更新/今天聊聊杰弗裡。辛頓和諾貝爾物理學獎。順便聊聊遠一點。

辛頓是人工智慧領域沒有爭議的「深度學習之父」。他的根本貢獻來自於深度學習中大量運用的逆向傳播演算法理論。前年深秋,聖荷西,我第一次在油管上看到辛頓在接受訪問時,就被吸引住了。辛頓的樣子讓人過目不忘。像極了《木偶奇遇記》中的比諾曹,尤其像的地方,是小木人的尖鼻子。獨特,全全世界都知道了OpenAI 和ChatGPT。除了AI 領域,卻很少人知道辛頓的名字。

我拿比諾曹老爺的玩笑。

一天真充滿好奇心的小木偶,一心讓自己成為真人。同樣,辛頓一心讓人工智慧成為現實,也被激動的嘲笑。熟悉電腦發展史的人應該知道,人工智慧領域道路崎駿,科技投入幾起幾落,從業人員一路被鄙視。你看看辛頓說話的樣子,那眼神和表情,有幾分比諾曹的優雅。

諾貝爾獎通知電話從瑞典打來,是夜裡兩點。

斯德哥爾摩那邊的電話裡問。您在哪裡? 「我在加州一家便宜的飯店裡,這裡網路環境比較差。」辛頓的回答有點尷尬。此時此刻,你得到了物理學獎的感受。辛頓說以為是惡作劇笑話,然後用了一個詞“夢太棒了”,夢同樣令人驚訝。

「你怎麼描述自己?

究竟是電腦科學家,還是一名試圖理解生物學的物理學家? 」

辛頓並沒有在兩個簡單的選擇中給出答案。

我這麼多年的觀察,凡是直接在人家給題目中做答案的,都不是真正的強人。

無論學歷有多高,都沒有用。我們很多人非常習慣做題,一旦畢業後就進入失重狀態,有一種無力感。因為人進入到一個階段,不是做題,而是找路。現實中,其他人預設的根本問題,本身往往就是形上學。不然人家只要那麼一問,沒有太多的大腦。路是自己走出來的。

辛頓說,自己是“一生都在思考人的大腦是如何工作的人。我在嘗試了解大腦是如何工作的時候找到了一種技術,效果出奇的好。”

辛頓一生的努力與堅持,終讓人工智慧成為現實。年輕時,辛頓在劍橋大學求學,為了搞清楚人腦如何思考,嘗試同時主修物理學和生理學,一年後均放棄後,改學建築,然後放棄。一年後居然改修哲學,兩年後和導師不合而放棄,最後得到實驗心理學。然後,即失業。

很多人不知道,辛頓畢業後居然做了一年木匠活。哈哈,前面的比諾曹埋到了這裡。

直到聽說有一個專業叫做人工智慧。

辛頓果斷去了愛丁堡大學,獲得了醫療救助,畢業後去美國卡內基梅隆(CMU)任教,「驚訝於這裡的人都在實驗室。」辛頓曾抱怨過,他在英國的圈子裡最初,辛頓說在CMU幾乎沒有什麼校內專家,唯一交易所的是美國另一所大學的教授,以及一位後來進入CMU的統計學專家,才一起討論人工智慧找不到辦法,找不到投緣人工智慧的人,在最無聊的時光裡,辛頓居然也去讀俄羅斯作家陀思妥耶夫斯基的《罪與罰》。

辛頓於1986年發表逆向傳播演算法(BP)理論。一言難盡,解釋起來要花點時間。

也就是說,BP提供了在大數據集上訓練上的深度學習的能力,無論是圖像識別、語音識別還是語言自然處理,甚至突發今天十分流行的Transfomer大模型提供了未見數據場景的泛化能力今天,OpenAI閉源的ChatGPT和Meta開源的LLaMA,開始為業界所熟悉,其實都是基於Transfomer架構上的。透過大量文字資料進行預訓練。逆向傳播演算法能夠在這個過程中調整模型中的參數,使得模型更能捕捉語言統計規律。

電腦專業大學課堂的機器學習教程,逆向傳播必然是重點章節。

我記得,七年前,我讀過清華大學週志華教授所寫的《機器學習》(因為封面有一個西瓜,圈內人稱西瓜書),其中一章“神經網絡”中,有專門的小節講解了“反向傳播演算法”,即通常我們所說的反向傳播演算法(BP演算法)。該演算法是神經網路訓練中的關鍵技術,用於透過「梯度下跌法」更新網路權重,以最小化網路的預測。

相較於個人電腦、網路、智慧型手機以及雲端運算等科技熱潮,同樣在科學領域深耕的辛頓,和他盯著的人工智慧夢,連續坐了三、四十年的電腦冷板凳。

快七十歲的時候,辛頓看到全世界的人工智慧都在用自己提出的深度學習演算法。

熟悉辛頓的人一定知道,OpenAI 前首席科學家Ilya Sutskever 是他在多倫多大學執教時期的學生,利比亞關門弟子。辛頓很認同這位學生的知覺和工程能力。辛頓講了一個故事,Ilya 要為數學計算工具MatLab寫了一個API接口,方便讓他們團隊整理複雜的資料格式保持一致。辛頓老師說我們不要浪費學習時間,這份工作要消耗一個月時間,學生Ilya說我今天早上已經寫完了程序。 2013年,Google收購了辛頓和伊利亞共同發表的AI應該去掉公司DNNresearch。說,這家公司是辛頓研究小組的擬像,當時揭示了圖像識別領域的機器學習研究,谷歌利用這項技術增強有了照片搜尋等功能。

辛頓是英國人。

很多人都說英國人不行了。英國人不是日不落帝國時期的那股子勁了。今年夏天我去英國轉了一圈,倫敦的朋友提醒,要小心飛車黨。說說和辛頓有關的兩所英國大學,你就知道我們不能自嗨。劍橋大學內,三一學院,只是在理論物理學研究中,這裡走出了牛頓、麥克斯韋和霍金,幾乎奠定了基礎夯實物理學三個重要時代。電腦領域,同樣地,國王學院中除了我們所知道的徐志摩,更走出了阿蘭圖靈和辛頓。圖靈提出了著名的問題,如何測試機器是否有智慧?辛頓卻用一生解決了問題。 2018年,辛頓和另外兩名人工智慧科學家一起獲得了圖靈獎。當年的圖靈,等天才級人物,卻何承受著巨大的精神痛苦,啃下一杯氰化鉀的蘋果就走了。今天,英國人開始把圖靈獎放了出來。靈的肖像被印到50英磅紙幣上。

說回來,很多人對歐美文化中三一沒有概念,還以為跟三一重工差不多。

「三一」(Trinity)在基督教教義中指的是“三位一體”,即聖父、聖子、聖靈三位一體,其實是一個純粹的神學概念。英國這些重點大學,除了教室、圖書管就是教堂,神人頻傳。

辛頓在愛丁堡大學找到學術歸宿。

愛丁堡太美。神秘的黑羅馬風,也許會激發人們思考源頭和去向問題。電磁學之父麥克斯韋也是最早在愛丁堡學數學和物理的。一百年前,北大懂六門外語的失鴻銘,上課頭戴舊式伊莉莎白手拿茶壺,幾乎一人和五四革新派對立,他曾在愛丁堡讀過哲學博士。我們那時候的北大,從校內宿舍到校外,既容得下革命派,也能有辜負老爺子這樣的毛澤東在長沙師範讀書時期的老師,楊昌濟是愛丁堡大學哲學系畢業的,楊昌濟十分喜歡毛,後來到北大,把女兒許配給他,給毛在圖書館安排工作。毛改變了中國,毛的思想啟蒙來自於剛畢業的愛丁堡大學的楊昌濟。

很多人都說諾貝爾獎給了電腦科學家物理學獎,其實有點不務正業了。 ,諾貝爾獎並不是第一次給電腦領域,之前有蕭克利和貝爾實驗室團隊。 1958年,因為發明諾貝爾獎,他的貢獻直接推動了電腦晶片技術。美國矽谷晶片產業的黃埔軍校,應該首推肖克利實驗室,因為科學家不善管理,內部分崩離析,後續出去了仙童去半導體和英特爾,提出摩爾定律的摩爾,是他實驗室的員工,也是著名的矽谷「八叛逆」之一。今天的英偉達和台積電,其實是他們的徒弟孫輩。

科學家辛頓在谷歌工作了十年,擔任副總裁,最後離開。

並非意見不合,而是因為擔心人類無法控制AI的風險而放棄在企業中的工作,從企業裡離開,是為了可以自由地討論人工智慧的風險,而不是被企業內部政策限制,辛頓成為了一個人工智慧領域的批評者。觀察近代歷史,我發現,真正的科學家,一旦進入商業和政治,總是充滿愛恨情仇。同樣的封閉,出現在伊利亞和奧特曼之間,因為「天真」。請槓精們放過我,這裡我的用詞,本來就是一個最大的褒義。

二戰期間,物理學家奧本海默幫助美國製造出了Atom彈,戰爭結束後,卻一輩子都在反對繼續氫彈。

他發現,自己用科技改變了世界,但這項技術在一部分人手中,隨時能走向失控。奧本海默有很多科學研究成果,可以申請諾貝爾獎,諾貝爾獎怎麼會產生一個造Atom彈的人。他的晚景是痛苦和孤獨的。和奧本海默一樣,辛頓也是這樣的擔憂,他公開批評OpenAI對人工智慧安全的漠視,是「生命垂危的逐利性」。如果我們到底看看,一百多年前的科幻作家喬治歐威爾的《時光機》,就該知道,我們的今天,已經是他們筆下的科幻世界了。但是,今天的人類還能夠向前走多遠,為何失控、幻滅和拯救一直是科幻的主旋律呢?

如果我寫科幻,第一個序章,就是因為條約戰爭,人類被核武消滅,碳基生命消亡,藏在地下深處的矽基生物人利用光能源和演算法,自我升級繁衍,統治地球。已經有了的大數據,異化為矽基人血液和細胞。今天的地球文明成為星際史前。只有極少數人搭諾亞號去了火星,經過幾個世代的努力,準備打回故土。

覺得合理套路?

我是凡人。

科學是人類文明階梯但跳躍進中的核心組件,本無善惡。近代後期科學最早的應用對象,幾乎先用於軍事。

什麼是「科學之心」?我不敢下斷言。像辛頓這樣的科學家表現得很出色。內心乾淨,好奇心強,專註一件事從無人捐贈。我能演講。偉大的科學家,從對一件微小事物的好奇心驅使人的探索之愛,最終走向對人類命運的關心之愛。頂尖思維只源自於一個字,愛。其間,常有悲情。

我們常說,好事多磨。

但也許,大好事要盡一生努力。

資訊來源:0x資訊編譯自網際網路。版權歸作者王峰所有,未經許可,不得轉載

Total
0
Shares
Related Posts