來源| The Robot Brains Podcast
OneFlow 編譯
翻譯| 楊婷、賈川
圖片來源：由無界AI工俱生成
ChatGPT 等大模型帶來的震撼技術革新，讓Geoffrey Hinton 突然改變了自己的一個想法。
這位75 歲的“人工智能教父”意識到，數字智能優於生物智能的進程無法避免，超級智能很快就會到來，他必須要對其風險發出警示，而人類需要找到一種方法來控制AI 技術的發展。而在此之前，他一直認為，智能機器人不會像人類一樣聰明，不會朝著AGI 的方向發展。
為了自由探討AI 風險，Hinton 最近辭任Google 工程副總裁，今年正是他在那里工作的第十年。十年前，他與兩位學生Alex Krizhevsky、Ilya Sutskever（OpenAI 首席科學家）成立的三人組公司DNN-research 以4400 萬美元賣給了Google，“天價”收購源自他們當時提出了震動業界的AlexNet，它後來被視為新一輪深度學習的黃金時代的標誌，並且極大推動了AI 領域的發展。
十年來，人工智能領域的眾多驚人突破背後都離不開深度學習，它是使得ChatGPT、AlphaGo 等得以面世的基石。而Hinton 作為深度學習領域眾多開創性突破的研究者，他的論文總共被引超50 萬次，2019 年，他還獲得了計算機科學領域的“諾貝爾獎”——圖靈獎。
功成名就之後，當他看著當前AI 領域的顛覆式變革，卻也憂慮AI 的黑暗面，聲稱自己有點後悔之前推動的AI 研究工作，因為他幫助開發的技術可能會終結人類文明。
近期，在與強化學習大牛Pieter Abbeel 的一次對話中，他詳細解釋了為什麼要在此時呼籲重視AI 的潛在風險，以及數字智能進化帶來的挑戰，但他認為，暫停開發AI 的想法是幼稚的，最重要的是對AI 技術開發過程進行監管。
不過，對於如何通過技術解決AI 對齊等挑戰，Hinton 自嘲自己“廉頗老矣”，不適合做相關技術工作，而且他更喜歡研究算法，他現在能做的是利用自己的名聲給人類敲響AI 的警鐘。
（以下內容經授權後由OneFlow 編譯發布，譯文轉載請聯繫OneFlow 獲得授權。來源：https://www.youtube.com/watch?v=rLG68k2blOc&t=206s）
警惕AI 的風險
Pieter Abbeel：5 月1 日，《紐約時報》頭條報導了你已從Google 離職的消息，你還提醒人們要警惕AI 可能帶來的負面影響。從事AI 研究多年，你為什麼現在突然改變了對AI 的態度？
Geoffrey Hinton：50 年來，我一直在研究大腦是如何學習的：通過使用人工神經網絡在數字計算機上製作模型，以及試圖弄清楚如何讓這些模型進行學習。我堅信，要使數字模型更好地工作，就必須讓它們更像大腦，但最近，我突然發現，與大腦相比，在數字計算機上運行的反向傳播算法可能是更好的學習算法。
原因如下：一年前發布的PaLM 可以理解笑話的有趣之處，讓我很是震驚，因為這是我長期以來判斷模型是否智能的標準。然後又出現了ChatGPT 和GPT-4 等模型，其能力給人們留下了深刻印象。人類大約有一千萬億個權重，這些模型只有大約一萬億個權重，但它們掌握的知識卻遠超人類，是人類的一千多倍，這表明，反向傳播在將大量信息壓縮到少量連接中很有優越性，僅使用數万億個連接就能容納大量信息。
之前，我認為大腦可能有更好的學習算法，但現在不禁開始重新思考，數字系統可能具有大腦所沒有的優勢，即可以在不同硬件上運行許多相同的模型。當其中一個副本學習到新知識時，它可以通過傳遞權重變化的方式將這些知識傳達給其他副本，傳輸的帶寬可以達到數万億位。然而，對於人類而言，如果我們想要將學習內容傳達給他人，那麼被傳輸者可能需要改變權重，以便能夠與他人達成一致，並且每個句子只有幾百位的寬帶。相比人類，也許數字系統更擅長獲取知識，它們可以利用並行更好地工作。
Pieter Abbeel：從概念上看，似乎現有的預測下一個單詞的AI（ChatGPT 等語言模型）與目標導向型AI（AlphaGo 等）之間仍有較大差距。也許我們能快速彌合這兩類AI 之間的差距，但與預測型AI 相比，目標導向型AI 仍處於相當封閉的環境中，未來我們是否會快速從預測型AI 轉向目標導向型AI？
Geoffrey Hinton：語言模型的學習方式不僅僅是基於下一個單詞的預測，雖然這是它的主要學習方式，但同時也使用人類反饋的強化學習（RLHF）進行訓練，可以告訴模型應該給出何種答案，不過這與預測下一個單詞有很大的差別。
人類反饋的強化學習正在塑造AI，OpenAI 在這方面取得了極大突破。他們意識到，可以通過人類反饋強化學習引導大型語言模型的行為方式，這就好比是養育孩子：孩子們可以通過探索世界、觀察世界的運轉模式進行學習，在這個過程中，父母可以通過告訴孩子能或不能做什麼參與到孩子的學習當中。長期以往，父母可以在更少參與的情況下對孩子的行為產生極大影響。
還有其他因素在塑造語言模型。多模態大型語言模型可以利用視覺輸入做一系列事情，比如開門、將東西放進抽屜等等。所以，它們不僅僅是預測下一個單詞。
不過，即使模型只是預測下一個單詞，也沒有人們想得那麼簡單。有人認為，模型預測下一個單詞只是在自動補齊，但關鍵是想要預測下一個單詞，唯一的方法是要真正理解前文內容，而這正是語言模型所做的。
Pieter Abbeel：也就是說，模型需要有效理解人們的所思所想，以最大限度準確預測人們將要說的內容。這種模型必須十分強大。
Geoffrey Hinton：最好的預測模型就會像你說的那樣。這種模型可能無法完全理解人們的所思所想，但能理解大部分內容，並且它們的理解程度會與日俱增。
回看2015 年，那時Transformers 架構還未現世，人們對聊天機器人毫無頭緒，現在，語言模型的能力已十分強大，難以想像未來五年它們會發展到何種程度。我不禁開始擔憂AI 的智能程度將超過人類。
Pieter Abbeel：你怎麼定義“（AI）比人類更智能”？
Geoffrey Hinton：AI 在單個領域中的表現中有所體現。比如我不玩圍棋，也不了解AlphaGo，但會一點點像棋。在我看來，AlphaZero 的強大不僅來自計算量（它的計算量還比不上DeepBlue），還因為它有極好的下棋“意識”：AlphaZero 能在下棋過程中作出合理的犧牲與讓步，下棋技術超過了人類。 AI 技術的高度發展不會僅局限於這一個領域，它們戰勝人類靠的不僅是計算量，還有極好的“意識”。
Pieter Abbeel：你一直在嘗試構建AI，現在成為這個行業的先驅。 AI 的發展程度已經遠超你最初的預想，曾經你希望AI 能達到與人類匹敵的智力水平，但現在可能找到了超越人類智能的方法。
Geoffrey Hinton：我還想了解大腦的運轉方式，目前我們還未解開這一謎題。
我們一直在談論AI 面臨的各種問題，比如如果我們利用有偏見的數據訓練模型，那麼模型就會同樣具有偏見，但我並不特別擔心這個問題，因為人類也存在偏見，實際上，AI 系統的偏見問題比人類的偏見更好解決。我們可以“凍結”AI 系統，進行實驗分析，但人類卻難以做到這一點，在實驗中，人類可以隱藏想法並改變他們的行為。
雖然隨著AI 的發展，有很多人會失業，但這並不是AI 的錯。就拿自動駕駛來說，很多卡車司機會因此失去工作，有人認為這是AI 的錯，不過當我們創造了更擅長挖礦的機器時，人們卻不會說“這些機器不好，我們不應該創造它們”。實際上，當時的機器一開始可能確實不太好用，但結果我們選擇了機器，因為機器比鏟子做得更好，而之前習慣於用鏟子挖礦的工人只好轉業，重新找工作。
在正派社會（Decent Society）中，提升工作效率是一件人人受益的事情。問題是，目前社會上提升工作效率可能會拉大貧富差距，讓富人更富，窮人更窮，但這並能怪AI，我們沒有理由像勒德分子（持有反機械化以及反自動化觀點的人）一樣反對AI 的發展，因為AI 的發展能給人類社會帶來極大好處。
在自動駕駛領域，如果AI 駕駛撞到了行人，大眾會感到恐慌，並且呼籲停止發展AI 技術，即使是同一天裡，人類駕駛員撞到行人的事故更多。其實我們都知道，最終自動駕駛技術會發展成熟，會極大減少事故發生率，比人類能更好地勝任駕駛工作。
在醫學方面，AI 擁有更多知識儲備，能夠充當家庭醫生，能從醫學掃描圖像中看出更多信息，醫生也能在AI 解讀的基礎上完善診斷結果。現在，在蛋白質結構預測方面，AlphaFold 出色地完成了任務，極大地節約了預測成本，如果這一預測任務由博士生們以傳統方式進行，足以支付大部分AI 的費用。
AI 的積極影響還有很多，我們需要知道，在一定程度上，人類能夠做的任何事AI 都能更高效地完成。鑑於AI 具備的強大能力，人類決不會放棄發展AI。但與此同時，我也開始擔憂它們可能會帶來的負面影響。
Pieter Abbeel：現在人們聽到AI 一詞時，出現在腦海中的第一個問題就是：如果AI 的智能程度超過人類會發生什麼，是否會對人類造成威脅？
Geoffrey Hinton：顯然，我們希望將AI 保持在可控範圍內，但掌控超越自己智能水平的東西並非易事。人類是經過進化的生物，有一些強大的目標，比如認真保養身體、吃足夠的食物等等，可AI 並沒有這些目標。對此，我們可以設置目標並將其植入AI，讓AI 圍繞人類的利益工作。
不過這種方式也可能出現各式各樣的問題，以不良用途為例。如果國防部構建出機器人士兵，那麼這些士兵並不會遵守阿西莫夫原則（阿西莫夫第一原則是：機器人不得傷害人類個體，相反，它們要保護人類）。此外，我們還面臨對齊問題，如果賦予AI 創建子目標的能力（比如我們想去機場，那麼可以創建一個總目標——找交通工具，然後再創建子目標，也就是將任務分解為幾個小目標），可以極大地提升效率。我認為，我們會選擇賦予數字智能創建子目標的能力，但問題是，如果AI 創建了對人類有潛在不利影響的目標怎麼辦？
為了應對這一問題，人們通常會設置子目標，以實現對AI 的更多掌控權，這也意味著我們可以更好地實現其他目標。不過矛盾的是，我們一旦賦予AI 設置子目標的能力，那麼它們其中一個子目標就會獲得更多控制權，但這又與我們不想讓它們獲得更多控制權的意願背道而馳。
Pieter Abbeel：最大的問題是，現在很多人擔心AI 將控制世界。
Geoffrey Hinton：這確實是一大威脅。以前，我認為距離AI 控制世界還很遙遠，可能需要幾十甚至上百年時間，但現在我認為可能只需5-20 年。一旦AI 比人類聰明，那麼就會面臨一個問題：到底是AI 控制世界，還是我們控制AI？
我們正在進入一個有極大不確定性的時期，將與超越人類智能的事物進行互動，而且沒有任何經驗可供參考，我真的不知道未來會如何發展。
最近，我和馬斯克進行了一次談話，他認為我們會開發出比人類更智能事物，但他希望它們讓人類存續，因為有人類存在的世界才更有趣。這是一種很大膽的假設，相當於將人類的命運寄託到AI 身上，但他認為這是完全有可能的，AI 將變得更加智能並獲得掌控權。
Pieter Abbeel：馬斯克設想的場景是AI 與人類融合在一起，他的神經網絡公司（Neuralink）正在想辦法讓AI 和大腦相結合。
Geoffrey Hinton：那很有趣。人類有語音輸入和輸出能力，但沒有視頻輸出能力。如果人類有了視頻輸出能力，就能通過傳達圖像進行溝通。不過這並不完全是馬斯克計劃要做的事，他想實現的是腦與腦之間的傳輸，將思維傳遞到一個相對抽象的層面。我們現在需要以一種他人能理解的方式傳輸信息。視頻輸出是一個相對不那麼宏偉的項目，現在已經有人知道該如何處理視頻，並將其作為輸入進行處理了。
如果我們有視頻輸出能力，那麼人與人之間的溝通將得到極大改善。比如當你向我傳達信息時，你可以通過語言或畫圖，但在畫圖之前，你的腦海中可能已經有了一個圖像（可能並非總是如此，但大多數情況下是這樣）。如果你能夠迅速傳達腦海中的圖像，那將增加信息傳輸的帶寬，即使只增加一倍，也會是一個很大的提升，並且實際情況甚至可能不止一倍。
“監管可能是唯一的辦法”
Pieter Abbeel：長期以來，一直有人呼籲對AI 領域進行監管，馬斯克就是其中的典型，不過他並沒有明確提出具體的監管建議。你認為應該採取哪些監管措施？
Geoffrey Hinton：人們常常將AI 可能造成失業、偏見、政治分裂、威脅人類生存以及傳播虛假消息等各種各樣的問題這些問題混為一談，我們有必要分清所面臨的到底是什麼問題。
就拿傳播虛假消息掩蓋真相來說，如果我們被虛假的東西包圍，那麼所面臨的境況會是多麼艱難。政府一直都在嚴厲打擊製造假鈔行為，如果有人給你假鈔，而你在明知是假鈔的情況下還拿去消費，這也是違法行為（即便不如製造假鈔嚴重）。
因此，對於AI 生成的內容，我們也要想辦法對其進行標記，如果有人在明知是虛假內容的前提下將其假冒為真，就應該受到嚴厲的法律處罰。現在能否很好地對真假內容進行檢測是另一回事，但至少我們要朝著這個方向前進，加強監管，避免被假象淹沒。
Pieter Abbeel：我贊同你的觀點。不過制定規則可能比較容易，但實際執行也許會比較困難。
Geoffrey Hinton：為什麼執行會很困難？假設使用深度學習來幫助檢測虛假內容，我們構建了一個能夠檢測偽造品的AI 系統，但其實利用這種系統能訓練AI 生成更加逼真的假冒產品，這也是GAN 模型的工作原理。因此，我們不能指望AI 系統檢測出虛假內容。
Pieter Abbeel：對AI 生成內容進行加密是否可以解決這個問題？比如對AI 生成的內容添加加密貨幣簽名，顯示內容的作者，然後將作者身份和聲譽與內容的可信度聯繫起來。如果作者在內容中添加了虛假信息，他的聲譽就會受到損害。
Geoffrey Hinton：英國曾經就這樣做過，甚至現在可能還是這樣：無論你印刷什麼東西，即使是小型示威的宣傳冊，都必須在上面印上印刷者的身份，未印刷身份信息是違法的。雖然我對密碼學和加密貨幣技術一無所知，但這種想法聽起來十分合理。
Pieter Abbeel：雖然監管可能難以實施，但從原則上講，還是有一個明確的框架來避免人們被假新聞、假視頻和虛假文字所誤導。
Geoffrey Hinton：為避免引發政治分裂，我們還可以對標題黨（Clickbait）進行監管。 Facebook、YouTube 等社交媒體常常會對用戶推送一些產生回音室效應的內容，這種過度的信息過濾和選擇性接觸可能導致人們極端化，加劇社會、政治分裂。這也是我不願再為Google 工作的原因之一。
我們可以通過立法來阻止這種行為，雖然很棘手，但至關重要。如果想要維持民主，避免群體分裂，互相仇視，就需要採取措施監管媒體公司，避免這些公司推送可能激化矛盾的內容。
Pieter Abbeel：幾週前，有人呼籲暫停訓練比GPT-4 更大的模型，你怎麼看？
Geoffrey Hinton：從政治上看，這封呼籲信或許是明智的，因為它引起了人們對AI 安全的關注。但這種呼籲其實很愚蠢，所以我沒有在呼籲信上簽名。即使美國暫停訓練AI，中國不會暫停，俄羅斯也不會暫停，所以這是不現實的。
對於這個問題，我贊同Sam Altman 的看法：面對這些技術可能帶來的潛在風險問題，由於我們無法阻止其發展，所以最好的方式是大力開發它們，在開發過程中學會更好地理解和控制它們。就像寫程序一樣，坐而論道是不行的，我們必須行動起來，進行實驗和調試，以了解可能發生的情況。
在大力發展AI 的同時，我們應該著力於解決潛在的負面影響，避免失控，我們必須非常嚴肅地對待這個問題。當前投入資金的99% 都用在了開發上面，只有1% 用於安全方面，我認為今後這個比例應該五五開。
Pieter Abbeel：從學術角度看，用於AI 研發和安全的資金比例達到五五開是可能的，資助機構只需在申請要求上加上這一點即可。但私企基本都是利益驅動，更注重開發能帶來更多利潤的產品，他們願意把一半的資金放在安全問題上嗎？
Geoffrey Hinton：我只是一名科學家，並非政策專家，只能注意到可能發生的事情。其實Google 在這方面還是相對負責任的，在研發出Transformer 之後，他們在這一領域處於領先地位，之後又研發出了聊天機器人，但並沒有急於將其推向市場，因為他們意識到聊天機器人可能會產生很多負面影響。但當微軟資助OpenAI 並在必應中使用聊天機器人後，Google 別無選擇，只能努力進行工程改進，以開發出與ChatGPT 相匹敵的Bard。
在資本主義體系下，大公司很難有其他選擇，如果要讓他們犧牲利益，監管可能是唯一的辦法。
數字智能優於生物智能不可避免？
Pieter Abbeel：在接下來的30-50 年，我們應該把重點放在哪裡？
Geoffrey Hinton：就歷史演進來看，數字智能優於生物智能可能是不可避免的，數字智能可能是下一個進化階段，我們應盡可能保持AI 處於可控範圍。
有時我會想：如果青蛙發明了人類並想要控制人類，但就智力而言，青蛙和人類之間差距巨大，所以我不認為“發明人類”對青蛙來說是一件好事。
當然，這並非真實論點，因為人類由進化而來，在向著自己的目標演進，但數字智能並沒有自己的目標。一旦數字智能有了“自我繁衍（make more of me）”這一想法，那麼進化就發生了，最有決心實現自身繁衍的數字智能將會勝出。
Pieter Abbeel：如果我們想讓數字智能有這種目標，這個過程會不會很困難？
Geoffrey Hinton：給數字智能以“自我繁衍”的目標很容易，但這種做法十分瘋狂。
Pieter Abbeel：人類今天的地位是進化的結果，或許最智能數字智能也會在競爭中出現。它們不是與人類競爭，而是與其他數字智能競爭。
Geoffrey Hinton：你可以觀察到，由於人類智能功耗很低，隨著不斷進化構建出了發電站和大量數字智能，而數字智能需要大量功耗，並提供高精度製造能力，這些數字智能是進化的下一階段，它們彼此競爭並變得更加強大。人類傾向於構建比自己智能的智能體，後者可以以某種方式替代聯合國，擔任“智能調解者（intelligent mediator）”。該智能體沒有自己的目標，我們每個人都可能按照它的安排來行事，就像孩子完全信任父母一樣。當然，這只是烏托邦式願望，但也並非沒有可能。
Pieter Abbeel：從技術上講，你所說的似乎可行，但需要人類團結一致。
Geoffrey Hinton：這種情景在理論上是可行的。但人們在沒有實際經驗的情況下進行推測，往往離真相相當遙遠。一旦獲得一些實際經驗，就會意識到自己的理論有多麼離譜，還需進行修正。因此，在技術不斷發展的過程中，我們需要進行大量工作，了解其中的風險，並進行實證實驗，以觀察智能係統運行時，是否傾向於控制人類，是否會產生自我繁衍的目標等。
Pieter Abbeel：短期來看，擁有能設定自我目標並執行任務的AI 可能並非壞事。一方面我們可以利用AI 賺錢，另一方面可以使其利用自身資源和其他資源做事。但從長期來看，這樣又可能產生滑坡效應，我們無法控制AI 為實現自我目標而設定的子目標，以及由此可能產生意料之外的後果。
Geoffrey Hinton：這涉及到對齊問題。
Pieter Abbeel：是的，這非常困難。不過我們可以對AI 分類，一類是那些旨在完成任務並能設定目標的AI，另一類是純粹作為顧問的AI，後者擁有豐富的知識和預測能力，能為人類提供建議和智慧，但它們僅僅擔任顧問一職，不參與任務執行。
Geoffrey Hinton：這樣會非常有用。不過，僅僅不讓AI 按下控制按鈕無法保證能消除它的潛在風險。聊天機器人能閱讀馬基雅維利（Machiavelli）的作品以及其他關於操縱的小說，從而成為操縱大師。它不需要任何實際操作，只需操縱他人，就可以實現一系列行動。假如機器人想入侵華盛頓的建築，那麼它們只需讓人們認為這是拯救民主的唯一方式即可。
因此，一種不允許AI 實際做任何事情，只允許與人交談的隔離措施是不夠的，如果AI 可以與人交談，它就能操縱人類，並通過操縱人類來達到自己的目的。所以關鍵在於AI 的內置目標。如果AI 產生了自我繁衍的目標，那麼人類就會陷入麻煩。
Pieter Abbeel：有人提出，將來我們可以讓AI 擔任公司CEO，在AI 的帶領下，公司可以得到更好的發展，因為AI 能夠更好地了解、掌握公司和世界的發展趨勢，作出更好的決策。
Geoffrey Hinton：這種想法沒什麼問題。關於預測未來，就拿開車來說，人們常常在夜晚開車，遇到大霧時經常發生交通事故。開車時我們可以看到前方車輛的尾燈，尾燈亮度隨距離的平方反比衰減，一旦遇到大霧，就會隨著距離損失相應亮度。
在霧中，我們可以看到前方一百碼的情況，這時人們就會誤認為自己能夠適度地看到前一千碼的情況，但事實上我們甚至難以看清前兩百碼處的情況。前方彷彿出現了一堵牆，我們的視野將變得有限或具有不確定性。
在推斷未來事件時，人們常常使用線性或二次模型，假設變化是逐漸發生的。然而，現實情況是，未來可能呈現出指數級的變化，使得長期預測變得困難。
我喜歡《紐約時報》在1902 年的一篇文章中寫的故事：人造飛行器將需要百萬或者甚至一千萬年才能研發出來，但實際上兩個月後飛行器就出現了。
Pieter Abbeel：你說，生物進化也許只是一個起點，接下來可能是基於計算機的數字進化或其他形式的進化。假設未來存在一種數字生命形態，在某種程度上比當今人類更具統治地位。這種數字生命體可能對人類、其他生物和周圍的一切都很友好，但也可能會摧毀一切。那麼我們是否需要考慮確保它往好的方面發展？
Geoffrey Hinton：這絕對值得考慮。數字生命體將會是非常不同的存在，它們不需要擔心死亡。人們可能還未真正注意到這一點，但實際上我們已經發現了計算機科學領域中永生的秘密：將軟件與硬件分離。人工神經網絡就是如此，如果某個硬件損壞了，知識並不會消失，權重可以記錄在某個地方，只要有另一塊能夠執行相同指令的硬件，知識就能“復活”。
人類的學習算法似乎利用了大腦連接（wiring）和神經元工作的所有特殊方式，這使其在能源效率上更加高效。但也意味著硬件死亡時，知識會隨之消失，除非將其傳遞給其他人。例如，Ray Kurzweil 希望獲得永生，但他作為生物體不會實現。不過，也許人類永生之後，會變得友善一點。
“退休”計劃
Pieter Abbeel：你是否會繼續宣傳AI 發展存在的風險？還是現在人們已經意識到這個問題，你的任務已經完成了？
Geoffrey Hinton：我也不知道。我沒有想到會引發這麼大的反響，也還沒有仔細想過接下來會發生什麼。估計我會繼續思考如何控制這個問題，偶爾發表一些演講，鼓勵人們去解決對齊問題。但我不會全身心投入到這些事情上，相比之下我更喜歡鑽研算法，接下來我可能會繼續研究forward-forward 算法及相關算法，這是我更擅長的事。
Pieter Abbeel：一方面強調對齊的重要性，另一方面又想了解大腦的運作方式，這兩者之間是否存在矛盾？
Geoffrey Hinton：理解大腦的運作方式不會有什麼問題，真正會帶來麻煩的是構建比大腦更強大的東西。如果我們能更好地理解人類，就能夠使社會變得更好。
Pieter Abbeel：你對AI 研究人員或希望為這個領域做出貢獻的人有什麼建議？
Geoffrey Hinton：可以嘗試與最先進的聊天機器人互動，以便更深入地理解其智能程度和工作原理。雖然我們知道它的基礎是Transformer 模型，但目前我們並不完全清楚模型是如何完成推理任務的。
此外，我們應該關注如何在AI 的發展過程中對其進行控制。當然，我並不是AI 對齊方面的專家。隨著超級智能可能很快到來，我的任務是敲響警鐘，讓人們意識到這方面的問題。
Pieter Abbeel：離開Google 後，你應該有大量時間去做自己喜歡的事。
Geoffrey Hinton：在Google 工作時，同事經常討論工作與生活的平衡，但由於工作太忙，我從未參與類似的研討會。前50 年我都在忙於工作，錯過了很多好電影，接下來我想在Netflix 上把錯過的電影都看一遍，並且盡量多陪陪我的孩子，儘管他們已不再是小孩了。
卡內基梅隆大學的Allen Newell 曾給他的研究生說：如果每週的工作時間少於80 小時，那麼你就不是一名合格的科學家。我並不贊同這種說法，現在我打算平衡一下工作和生活，這並不意味著我會停止做研究，即使我不再像以前一樣在研究上花大量時間，但研究本身還是很有趣。
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載