來源：AI商業研究所
導讀：
Geoffrey Hinton被稱為“人工智能教父”，從上世紀80年代開始研究神經網絡，是這個領域從業時間最長的人。
他曾獲得2018年的圖靈獎，是“深度學習三巨頭”之一，是AI史上最重要的學者之一，論文被引用了50多萬次。
他的父親Howard Everest Hinton是英國昆蟲學家，母親Margaret是一名教師，他們都是共產主義者。他的叔叔是著名的經濟學家Colin Clark，發明了“國民生產總值”這個經濟術語，他的高祖父是著名的邏輯學家George Boole，他發明的布爾代數奠定了現代計算機科學的基礎。
在厚重的科學家家族底蘊熏陶下，Hinton從小擁有獨立思考能力以及堅韌品質，並且肩負著繼承家族榮譽的擔子。 1973年，在英國愛丁堡大學，他師從Langer Higgins攻讀人工智能博士學位，但那時幾乎沒人相信神經網絡，導師也勸他放棄研究這項技術。周遭的質疑並不足以動搖他對神經網絡的堅定信念，在隨後的十年，他接連提出了反向傳播算法、玻爾茲曼機，不過他還要再等數十年才會等到深度學習迎來大爆發，到時他的這些研究將廣為人知。
他曾經和他帶的兩位博士生（其中一位是OpenAI的首席科學家Ilya）創立了一家AI公司，後來賣給了Google，他本人也進入Google擔任首席科學家，參與了谷歌大腦。
他有很多學生在大廠擔任首席科學家。他的學生Ilya，在他的研究基礎上，用ChatGPT證明了Hinton的技術路線，這個路線始於上世紀80年代，直到最近幾年大眾才看到這條路上的金礦。
本文是Hinton關於ChatGPT和AI發展的訪談內容整理而成。供參考。
01、如果不了解大腦，我們永遠無法理解人類
在70年代，有一種時髦的觀點認為，你可以在不關心大腦的情況下做到這一點，我認為不可能，必須了解大腦是如何運作的。
在AI領域，有兩種思路。一種是主流AI，另一種是關於神經網絡的。主流AI認為，AI是關於推理和邏輯的，而神經網絡則認為，我們最好研究生物學，因為那些才是真正有效的東西。所以，主流AI基於推理和邏輯制定理論，而我們基於神經元之間的連接變化來學習制定理論。從長遠來看，我們取得了成功，但短期內看起來有點無望。
神經網絡在20世紀80年代沒有真正奏效的原因是，計算機運行速度不夠快，數據集不夠大。然而，在80年代，一個重要的問題是，一個擁有大量神經元的大型神經網絡，計算節點和它們之間的連接，僅通過改變連接的強度，從數據中學習，而沒有先驗知識，這是否可行？主流AI的人認為這完全荒謬。
但它確實可行。因為大腦就是這樣，經過學習，我們能完成沒有進化出來的技能，比如閱讀。閱讀對我們來說是非常新的，我們沒有足夠的進化時間來適應它。但我們可以學會閱讀，我們可以學會數學。所以一定有一種在這些神經網絡中學習的方法。
大約在2006年，我們開始做所謂的深度學習。在那之前，讓具有多層表示的神經網絡學會復雜事物一直很困難。我們找到了更好的方法來實現這一點，更好的初始化網絡的方法，稱為預訓練。
在ChatGPT中，P代表預訓練。 T代表變換器，G代表生成。實際上，是生成模型為神經網絡提供了更好的預訓練方法。 2006年時，這個理念的種子已經埋下。
反向傳播的思想就是在一開始隨機設置連接權重，然後根據預測結果調整權重。如果預測出現錯誤，那麼你就通過網絡反向計算，並提出以下問題：我應該如何改變這個連接強度，使其更不容易說出錯誤答案，更容易說出正確答案？這稱為誤差或差異。然後，你要計算每個連接強度如何進行微調，使其更容易得出正確答案，更不容易得出錯誤答案。
一個人會判斷這是一隻鳥，然後將標籤提供給算法。但是反向傳播算法只是一種計算方法，用於確定如何改變每個連接強度，使其更容易說鳥，更不容易說貓。算法會不斷嘗試調整權重。現在，如果你展示足夠多的鳥和貓，當你展示一隻鳥時，它會說鳥；當你展示一隻貓時，它會說貓。事實證明，這種方法比手動連接特徵檢測器要有效得多。
值得稱道的是，那些曾經堅定反對神經網絡的人，當看到這種方法成功時，他們做了科學家通常不會做的事情，也就是說：“它有效，我們會採用這個方法。”人們認為這是一個巨大的轉變。因為他們看到這種方法比他們正在使用的方法更有效，所以他們很快就改變了立場。
當人們既在思考機器，也在思考我們自己的思維方式時，我們常常認為，輸入是語言，輸出是語言，那麼中間一定也是語言。這是一個重要的誤解。實際上，這種觀點並不正確。如果這是真的，那麼被稱為符號人工智能的方法應該非常擅長進行機器翻譯，比如把英語轉換成法語。你會認為操作符號是實現這一目標的正確方法。但實際上，神經網絡的效果更好。當谷歌翻譯從使用符號方法轉向神經網絡時，效果大大提高了。
我認為，在中間的部分，你會發現有數百萬個神經元，它們中的一些是活躍的，一些則不是。符號只能在輸入和輸出處找到，而不是在整個過程中。
02、對於大語言模型，只有理解整個句子，才能更準確地預測下一個詞
我們知道這些大型語言模型只是預測下一個詞。這並不簡單，但確實如此。它們只是預測下一個詞，所以它們只是自動補全。但是，問問自己一個問題：要準確預測下一個詞，你需要了解到目前為止所說的內容。基本上，你必須理解已經說過的話來預測下一個詞。所以你也是自動補全，只不過與它們一樣。你可以預測下一個詞，雖然可能不如ChatGPT那麼準確，但為了做到這一點，你必須理解句子。
讓我舉一個關於翻譯的例子。這是一個非常具有說服力的例子。假設我要把這句話翻譯成法語：“獎杯太大了，它放不進行李箱。”當我說這句話時，你會認為“它”指的是獎杯。在法語中，獎杯有特定的性別，所以你知道該用什麼代詞。但如果我說：“獎杯放不進行李箱，因為它太小了。”現在你認為“它”指的是行李箱，對吧？在法語中，行李箱的性別也不同。所以為了把這句話翻譯成法語，你必須知道，當它放不進去是因為太大時，是獎杯太大；而當它放不進去是因為太小時，是行李箱太小。這意味著你必須了解空間關係和容納等概念。
為了進行機器翻譯或預測那個代詞，你必須理解所說的內容。僅僅把它當作一串單詞是不夠的。
03、我們現在正處於一個過渡點，接下來AI將無處不在
ChatGPT表明，這些大模型可以做一些令人驚奇的事情。微軟發布了一些產品後，大眾突然開始關注這個領域，他們突然意識到了大模型的潛力。
它已經開始無處不在了，ChatGPT只是讓很多人意識到了這一點。實際上，當谷歌進行搜索時，它會使用大型神經網絡來幫助決定向你展示什麼最佳結果。
有兩條通往智能的不同道路。一條是生物學途徑，另一條是我們所擁有的模擬硬件途徑。我們必須用自然語言進行溝通，還要向人們展示如何做事情，模仿等。但我們在交易所方面做得很糟糕，與現在運行在數字計算機上的計算機模型相比，我們的交易所能力差得多。
計算機模型之間的溝通帶寬非常大，因為它們是相同模型的克隆，運行在不同的計算機上。正因為如此，它們可以查看大量的數據，因為不同的計算機可以查看不同的數據，然後它們結合了它們所學到的東西，遠遠超出了任何人能夠理解的範圍。
ChatGPT知道的比任何一個人都多。如果有一個關於知識量的比賽，它會輕鬆擊敗任何一個人。我們有100萬億個連接，其中大部分是通過學習得到的，但我們只活了十億秒，這並不算很長的時間。像ChatGPT樣的東西，它們在許多不同的計算機上運行了比我們更長的時間，吸收了所有這些數據。
我認為ChatGPT引發的AI浪潮，在規模上與工業革命、電力、甚至是輪子的發明相當。
04、未來，經過訓練的AI系統，可以運行在低功耗的系統上
我們有兩種途徑來理解智能：一種是生物途徑，其中每個大腦都是不同的，我們需要通過語言來在不同的大腦之間傳遞知識；另一種是目前的AI神經網絡版本，你可以在不同的計算機上運行相同的模型，實際上它們可以共享連接權重，因此它們可以共享數十億個數字。
這就是我們如何讓一隻鳥跳舞的。它們可以共享識別鳥的所有連接權重，一個可以學會識別貓，另一個可以學會識別鳥，它們可以共享它們的連接權重，這樣每個模型都可以做兩件事。這正是這些大型語言模型所做的，它們在共享。
但這種方法只適用於數字計算機，因為它們必須能夠模擬相同的事物。而不同的生物大腦無法相互模擬，因此它們無法共享連接。
計算機的運行，必須依賴強大的電力支持，以便它能夠精確地以正確的方式工作。然而，如果你願意讓計算機以較低的電力運行，比如大腦所做的那樣，你會允許一些噪聲等，但特定係統會適應該特定係統中的噪聲，整個系統將正常工作。
大腦的運行功率是30瓦，而大型AI系統需要像兆瓦這樣的功率。所以我們在30瓦上進行訓練，而大型系統則使用兆瓦，它們有很多相同的東西。我們在談論功率需求方面的1000倍差距。
因此，我認為會有一個階段，我們會在數字計算機上進行訓練，但一旦某個AI系統訓練完畢，我們會將其運行在非常低功耗的系統上。所以，如果你想讓你的烤麵包機能和你對話，你需要一個只花費幾美元的芯片，而且它能運行像ChatGPT這樣的程序，那麼最好是一個低功耗和低芯片。
05、如何保證AI提供的是真相，將是一個非常棘手的問題
ChatGPT像一個“白痴天才”，它並不真正了解事實真相。它接受了大量不一致的數據訓練，試圖預測下一個網絡用戶會說什麼。
人們對很多事情有不同的觀點，而AI必須有一種混合所有這些觀點的方式，以便可以模擬任何人可能說的話。這與一個試圖擁有一致世界觀的人非常不同，特別是如果你想在世界上採取行動，擁有一致的世界觀是非常有益的。
我認為接下來會發生的一件事是，我們將朝著能夠理解不同世界觀的系統發展，並且能夠理解，好吧，如果你有這個世界觀，那麼這就是答案。而如果你有另一個世界觀，那麼答案就是另一個。我們得到我們自己的真相。
你可不希望某個大型盈利公司來決定什麼是真實的。但他們正在控制我們如何使用這些東西。
我們已經看到，至少那些已經發布聊天產品的人覺得有些事情他們不希望用他們的聲音說出來，所以他們會去干預它，以免說出冒犯人的話。是的，但這種方式你能做的事情是有限的。總會有你想不到的事情，對吧？是的。
目前我並不認為微軟知道如何處理這個問題。 （微軟）他們也不知道。這似乎是一個巨大的治理挑戰。誰來做這些決策？這是非常棘手的事情。
谷歌目前非常小心，不要那樣做。谷歌會做的是將你引向相關文件，這些文件中會有各種各樣的觀點。所以我認為谷歌在發布聊天機器人時會比微軟更謹慎，並且它可能會附帶很多警告，這只是一個聊天機器人，不要一定相信它所說的。在標籤上小心，或者在干預方式上小心，以免做出糟糕的事情。
要努力防止它說出不好的東西。但是，誰來決定什麼是壞事呢？有些壞事是相當明顯的，但是很多最重要的事情並不是那麼明顯。所以，目前這是一個很大的懸而未決的問題。我認為微軟發布ChatGPT是非常Brave。
你也不希望政府來做這件事。像我說的，我不知道答案，而且我不相信有人真的知道如何處理這些問題。我們必須學會如何快速處理這些問題，因為這是一個當前的大問題。
06、AI或許已經具備“理解”能力
當涉及到“理解”的時候，我很驚訝人們會自信地宣稱這些東西是沒有“理解”的。
當你問他們“理解”的意思是什麼時，他們會說他們不太清楚。那麼如果你不知道“理解”的意思，你怎麼能自信地說它們沒有理解呢？
所以也許它們已經有“理解”了，誰知道呢。
我認為它們是否有“理解”取決於你對“理解”的定義，所以你最好在回答這個問題之前先明確一下你對“理解”的定義。我們認為它是否有“理解”能力重要嗎，還是只關注它是否能有效地表現出有理解的狀態？
我認為一個很好的例子可以想到的是一種自主的致命武器。說它沒有感覺這也對，但是當它在追逐你並射擊你時，你會開始認為它有感覺。
我們並不真的關心，這不再是一個重要的標準了。我們正在開發的這種智能與我們的智能非常不同，它是某種伺候無知者的工具，它和我們不一樣。
我的目標是理解我們。我認為理解我們的方式是通過構建像我們一樣的東西。我說過的那位物理學家理查德·費曼曾經說過，你不能理解一件事情，除非你能夠構建它。
07、AI將使人們從事更有創造性的工作，而較少從事例行工作
如果你回顧歷史，看看自動取款機，這些現金機出現時，人們說這是銀行櫃員的終結。但實際上，它並沒有終結銀行櫃員的職位，現在銀行櫃員處理更複雜的事情。
未來可以機器寫代碼，人來檢查代碼，這樣就能夠快10倍。你可以只用10%的程序員完成一樣的工作，或者使用相同數量的程序員，生產10倍的東西。
我們教育了很多人學習編程。教這麼多人編程是否仍然有意義呢？在2015年左右，我曾經聲稱，在未來五年內，計算機將在圖像識別方面超越放射科醫生，因此教他們識別圖像中的東西已經沒有意義了。事實證明，我的預測錯誤了，實際上需要10年，而不是5年。
我認為有一段時間，我們仍然需要程序員。我不知道這段時間會有多長，但我們需要的程序員會減少。或者，我們可能需要相同數量的程序員，但產出更多。
08、AI消滅人類的機率介於0%和100%之間
就我所說，如果我們明智的話，我們會努力發展它，以免發生這種情況。
但是，令我擔憂的是政治局勢。確保每個人都明智行事是一個巨大的政治挑戰。這似乎是一個巨大的經濟挑戰，因為你可能會有很多個體追求正確的道路，然而，公司的利潤動機可能不會像為他們工作的個體那樣謹慎。
我只真正了解谷歌，這是我唯一的工作公司。他們一直是最謹慎的公司之一。他們對AI非常謹慎，因為他們有一個提供你想要的答案的出色搜索引擎. 他們不想損害它。而微軟則不太關心這個問題。如果搜索消失了，微軟可能都不會注意到。
當沒有人追趕他們的時候，谷歌採取緩慢的策略是容易的。谷歌一直處於領先地位。 Transformers是在谷歌發明的，大型語言模型的早期版本也是在谷歌。他們更加保守，我認為這是正確的。但現在他們感受到了壓力。所以他們正在開發一個名為“Bart”的系統，他們將發布該系統。他們正在對它進行大量的測試，但我認為他們會比微軟更謹慎。
直到不久前，我認為在我們擁有通用人工智能之前還需要20到50年的時間。而現在我認為可能是20年或更短時間。有些人認為可能只有5年，幾年前我會說不可能，但現在我不會這樣說了。
09、一旦賦予AI創造子目標的能力，它就會變得更有效
如果你想製造一種高效的自主士兵，你需要賦予它創造子目標的能力。
換句話說，它必須意識到類似的事情，比如：“好吧，我想殺死那個人，但是要過去，我該怎麼辦？”然後它必須意識到，如果能到達那條道路，可以更快地到達目標地點。所以，它有一個到達道路的子目標。
一旦你賦予它創造子目標的能力，它就會變得更有效。像普京這樣的人會希望擁有這樣的機器人。
但是，一旦它具備了創造子目標的能力，你就會遇到所謂的“對齊問題”，即如何確保它不會創造對人類或你自己不利的子目標。誰知道那條路上會有什麼人？誰知道會發生什麼？
10、AI研發需要“日內瓦公約”
我們需要做的是使這種技術與人類互補，讓它幫助人們。我認為這裡的主要問題之一是我們所擁有的政治體系。
如果這些系統是由軍方研發的，那麼將一條“永遠不要傷害人類”的規則植入其中的想法，恐怕並不現實，因為它們本就是設計用來傷害人類的。
我認為最好的辦法是類似於《日內瓦公約》的東西，但達成會非常困難。
我覺得如果有大量的公眾抗議，那麼可能會說服政府採取行動。我可以想像，在足夠的公眾抗議下，政府可能會採取某些行動。但是，你還需要應對其他人。
11、我們距離AI能夠自我改進的時間點已經非常近了
我認為這是一個關鍵時刻。我們可能很接近了。然後它可能會變得非常快。
我們必須認真思考如何控制這一點。我對這些成果有一點擔憂。
不過，我認為不論發生什麼，這幾乎都是不可避免的。
換句話說，一個人停止研究不會阻止這種情況的發生。如果我的影響只是讓它提前一個月發生，那麼這就是一個人所能做的極限了。有這個想法，我可能說錯了，那就是Dash道和長起飛。
我認為有時間準備是好的。所以我認為，現在就擔心這些問題是非常合理的，儘管在接下來的一兩年內不會發生。人們應該思考這些問題。
結語
Hinton先生不只是在學術上居功至偉，他的精神也對我們的社會有著借鑒的意義。
“雖千萬人吾往矣”，Hinton是計算機科學界為數不多的真正願意去堅持自己的熱愛並且義無反顧的與其他人對抗的，他不畏懼別人的眼光，那並不是因為他不在意或者怎麼樣——他似乎擁有洞察未來的雙眼，知道他的堅守會是正確的。
最後，以Hinton先生的一段話結尾。
We’re just produced biologically. Most people doing AI don’t have doubt that we’re machines. And I shouldn’t say just. We’re special,wonderful machines.
我們是機器，我們只是通過生物方式製造的。大多數做AI 的人對這一點毫不懷疑。我們只是特別精密的機器。我剛才不該說“只是”。我們是特別的、絕妙的機器。
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載