撰文：Saint Paul

2022年底OpenAI發布ChatGPT後，投資領域對於人工智慧領域的認知不斷加深。人工智慧產業鏈大致可分為核心技術提供者、人工智慧系統和人工智慧應用者。從全球投資者的普遍認知來看，現在大家都意識到人工智慧很可能成為未來長時間的投資賽道，類似30年前的計算機，或是20年前的網路。而對於未來而言，應用程式已經成為現實。

對於細分領域投資的理解，我們永遠需要向產業的投資人學習。知名創投A16Z持續在人工智慧領域下重註。最近他們對話了OpenAI的CTO，米拉·穆拉蒂（Mira Murati）。她分享了ChatGPT背後的故事，以及人工智慧和人機互動的未來。

摘要

• ChatGPT的起源於思考如何製造一個安全的人工智慧系統，利用人類回饋進行強化學習。

• OpenAI正在重新定義人們與數位資訊互動，成為一個類似夥伴的助手，不斷加強人工智慧系統的一致和安全性。透過產品化的情勢，獲得與來自現實世界的使用者的回饋，就不僅僅是坐在實驗室裡YY。

• ChatGPT在文字的基礎上，正在添加圖像、影片和其他等。這樣模型可以更全面地了解周遭的世界，類似我們理解和觀察世界的方式。

• 雖然未來不會有單一模型一統天下的局面，因為人們最終會尋找最適合自己需求的工具。

米拉（Mira Murati）背景

米拉出生在共產主義剛結束的阿爾巴尼亞。當時的阿爾巴尼亞和今天的北韓很相似。在一個不斷改變、不確定的時代，教育是一切的關鍵。而且，當時除了書籍之外，幾乎沒有什麼娛樂。當時的米拉在書中尋找答案。米拉更傾向於科學中那些穩定的、可以深入研究的真理。而人文學科，如歷史和社會學的來源是可疑的，因為歷史不斷在變化。所以，米拉在成長環境中的直覺和自然傾向於科學和數學。從根本上來說，現在在Open AI，米拉從事的仍然是數學工作。

由於優異的學業成績，米拉拿到獎學金，並在加拿大完成了高中最後兩年學業。

上大學時，米拉學的是機械工程，因為她認為這是將知識應用於真實世界中解決實際問題的最佳方式。當時的米拉對帶給世界永續交通以及永續能源的方式非常感興趣。當時她的畢業項目是透過超級電容來建造一輛混合動力賽車。

不久之後，米拉就加入了特斯拉工作，並參與了Model S雙馬達的工作。她從最初設計的早期就開始使用Model X，並最終領導了整個專案的啟動。

也正是在特斯拉的工作，讓米拉對人工智慧的應用非常感興趣的開始，特別是自動駕駛。因為它可以利用 AI 和電腦視覺來徹底改變出行方式。她開始更多地思考人工智慧的不同應用。所以，米拉對AI 以及它在世界上可以產生的變化越來越感興趣。

具體而言，她對 AI 如何影響人機互動，以及人與資訊整體互動的方式非常好奇，並且對空間計算非常感興趣。之後，她加入了一家黑科技企業Leap Motion，擔任產品和工程副總裁。也正是這段經歷，更強化了她的產品化能力。

（順便提一句，Leap Motion的創辦人，David Holz，就是在賣掉Leap Motion後，創辦了現在另一個大火特火的人工智慧應用Midjourney）。

2018年，米拉加入OpenAI。從那時起，她開始更多地思考如果只專注於通用性會發生什麼。

另外，從米拉在討論研究方​​法中，可以看到她對於科技創新中在不確定的環境中所需的探索精神：

• 有時你睡了一覺，醒來後就有了新的想法。在幾天或幾週的過程中，你會得到最終的解決方案。這不是一個快速的回報，有時也不是迭代的。

• 這幾乎就像是一種不同的思考方式，你在建立直覺，但也有處理問題並相信自己會解決問題的紀律。隨著時間的推移，你會建立一種直覺，知道什麼問題才是真正需要解決的問題。

對話摘要

知名創投A16Z在人工智慧領域下了重註。以下部分摘錄了A16Z的基金經理人馬丁與米拉的對話。米拉分享了ChatGPT背後的故事，以及人工智慧和人機互動的未來。我們也可以看到，身為產品經理背景的米拉對於產品的應用性是極為重視的。

馬丁：你認為現在更多的是系統問題還是工程問題？

米拉：兩者都有。系統和工程問題是巨大的，我們正在部署這些技術，並試圖擴展它們，使它們更有效率，並使它們易於存取。這意味著你不需要知道ML的複雜性就可以使用它們。

實際上，我們可以看到透過API提供這些模型與透過ChatGPT提供技術之間的比較。這是一項基本上相同的技術，可能有一點不同，即ChatGPT具備強化學習和人類回饋能力。這意味著人們的反應和抓住人們想像的能力，以及讓他們每天使用這項技術的能力，是完全不同的。

自然語言介面

馬丁：我也認為ChatGPT的API是一件很有趣的事。每當我在程式中使用這些模型時，我總是覺得自己在用算盤包裹了一台超級電腦。有時我會說，「我會給模型一個鍵盤和滑鼠，讓它來編程。」API是英文的，我會告訴它該做什麼，它會完成所有的程式設計。我很好奇，當你設計像ChatGPT這樣的東西時，你是否認為隨著時間的推移，實際的介面將是自然語言，或者你認為程式仍然有很大的作用？

米拉：程式設計在ChatGPT中變得不那麼抽象了，我們可以用自然語言在高頻寬下與電腦交談。但也許另一個載體是，這項技術正在幫助我們了解如何與它真正合作，而不是對它進行程式設計。程式設計層變得越來越容易，越來越容易訪問，因為你可以用自然語言程式設計。但我們在ChatGPT中看到的另一面是，你實際上可以像合作夥伴或同事一樣與模型合作。

馬丁：隨著時間的推移看看會發生什麼會很有趣。您已經決定在ChatGTP中擁有API，但作為同事，您沒有API。你和一位同事交談。隨著時間的推移，這些東西可能會演變成說自然語言。還是你認為系統中總需要有一個元件是有限狀態機（finite state machine），或是說一台傳統的電腦？

米拉：現在是一個轉捩點，我們正在重新定義我們如何與數位資訊互動，我們正是透過這些人工智慧系統的形式進行合作。也許我們有幾個人工智慧系統，也許他們都有不同的能力。也許我們有一個通用系統，他到處跟著我們，知道我的背景，我今天做了什麼，我在生活和工作中的目標是什麼，幫助我度過難關，指導我等等。你可以想像，這是超強大的。

現在，我們正處於重新定義它的轉折點。我們不知道未來會是什麼樣子，我們正在努力讓許多其他人可以使用這些工具和技術，這樣他們就可以進行實驗，我們可以看到會發生什麼。這是我們從一開始就使用的策略。

在前一周的ChatGPT中，我們擔心它不夠好。我們都看到了發生的事情。我們把它放在那裡，然後人們告訴我們，它在發現新的案例所做的非常好。當你讓這些東西變得易於訪問和使用，並讓每個人都容易使用它時，就會發生這種情況。

OpenAI發展路線圖

馬丁：當談到人工智慧時，人們還不知道如何思考。必須有一些指導，你必須做出一些選擇。你在OpenAI，你必須決定下一步要做什麼。如果你能走過這個決策過程：你如何決定要做什麼，專注什麼，發布什麼，或如何定位？

米拉：如果你考慮ChatGPT是如何誕生的，它並不是我們想要推出的產品。事實上，它的真正根源可以追溯到5年多前，當時我們正在思考如何製造一個安全的人工智慧系統。你不一定希望人類真正編寫目標函數，因為你不想為複雜的目標函數讓替代者來做，或者說你不想出錯，因為這可能非常危險。

這就是利用人類回饋進行強化學習的地方。我們試圖真正實現的是使人工智慧系統與人類價值觀一致，並讓它接受人類的回饋。根據人類的回饋，它更有可能做正確的事情，而不太可能做你不想做的事情。然後，在我們開發出GPT-3並將其發佈在API之後，這是我們第一次將安全研究真正應用到現實世界中。這是透過指令引導模型（instruction-following model）的實現的。

我們使用這種方法從使用API​​的客戶那裡獲得提示，然後我們讓承包商為模型產生回饋以供學習。我們根據這些數據對模型進行了微調，並建立了遵循指令的模型。他們更有可能遵循用戶的意圖，做你真正希望它做的事情。這非常強大，因為人工智慧安全不僅僅是你坐在那裡談論的理論概念。它實際上變成了：我們現在要進入人工智慧安全系統時代了，你如何將其融入現實世界？

顯然，在大型語言模型中，我們看到了概念和現實世界思想的偉大表現。但在產出方面，存在著許多問題。最大的問題之一顯然是幻覺（hallucination）。我們一直在研究幻覺和真實性的問題。如何讓這些模型表達不確定性？

ChatGPT的前身實際上是另一個我們稱為WebGPT的項目，它使用檢索來獲取資訊和引用來源。這個項目最終變成了ChatGPT，因為我們認為對話很特別。它允許你提出問題，糾正對方，並表達不確定性。

馬丁：不斷發現錯誤，因為你在互動…

米拉：沒錯，有這種互動，你可以了解更深層的真相。我們開始往這個方向走，當時我們用GPT-3和GPT-3.5來做這件事。從安全角度來看，我們對此感到非常興奮。但人們忘記的一件事是，在這個時候，我們已經訓練了GPT-4。在OpenAI內部，我們對GPT-4感到非常興奮，並將ChatGPT放在了後視鏡中。然後我們意識到，「我們將花6個月的時間來關注GPT-4一致和安全性（alignment and safety），」我們開始思考我們可以做的事情。其中一件主要的事情實際上是將ChatGPT交給研究人員，他們可以給我們回饋，因為我們有了這種對話模式。最初的目的是從研究人員那裡獲得回饋，並使用它使GPT-4更一致、更安全、更健壯、更可靠。

馬丁：當你說一致和安全性時，你是否包括它是正確的，它想做什麼就做什麼？還是你的意思是安全，實際上是保護自己免受某種傷害？

米拉：我所說的一致，通常是指它符合使用者的意圖，所以它做的正是你希望它做的事情。但安全也包括其他事情，例如濫用，使用者故意試圖使用模型來製造有害的輸出。透過ChatGPT，我們實際上正在努力使模型更有可能做你希望它做的事情，使其更加一致。我們也想弄清楚幻覺（hallucination）的問題，這顯然是一個極其困難的問題。

我認為，這種利用人類回饋進行強化學習的方法，如果我們努力做到這一點，也許這就是我們所需要的。

馬丁：所以，沒有宏偉的計劃？我們需要做什麼才能達到AGI？這只是一步接一步進行下去。

米拉：是的。還有你一路上做的所有小決定。也許是因為幾年前我們確實做出了一個追求產品的策略決定，才更有可能實現這個目標。我們這樣做是因為我們認為，如果沒有來自現實世界的使用者的回饋，就不可能只是坐在實驗室裡在真空中開發這些東西。這就是假設。我認為這有助於我們做出其中的一些決定，並建立底層基礎設施，以便我們最終能夠部署像ChatGPT這樣的東西。

比例定律

馬丁：你可以重複一下比例定律。我認為這是每個人都有的大問題。進步的速度是驚人的。但人工智慧的歷史似乎是，你在某個時候會遇到回報遞減，這不是參數化的。它有點逐漸減少。從你的角度來看（這可能是整個產業最明智的角度）你認為比例定律會成立，我們會繼續看到進步，還是認為我們正在走向回報遞減？

米拉：沒有任何證據表明，隨著我們繼續在數據和計算軸上擴展模型，我們不會得到更好、更強大的模型。是否會一路走到AGI（通用人工智慧），這是一個不同的問題。在這過程中，可能還需要一些其他的突破和進步。要真正從這些更大的模型中獲得很多好處，縮放定律還有很長的路要走。

馬丁：你是如何定義AGI的？

米拉：在我們的OpenAI章程中。我們把它定義為一個能夠自主完成大部分智力工作的電腦系統。

馬丁：我當時在吃午飯，Anyscale的Robert Nishihara也在。他問了一個我稱之為Robert Nishihara之問的問題。我認為這實際上是一個很好的刻畫。他說：「電腦和愛因斯坦之間有一個連續體。你從電腦到貓，從貓到普通人，從普通人到愛因斯坦。」然後他問了一個問題，「我們在連續體上的位置？什麼問題會解決？”

大家一致認為，我們知道如何從一隻貓變成普通人。我們不知道如何從電腦變成貓，因為這是普遍的感知問題。我們已經很接近了，但我們還沒有完全達到，我們真的不知道如何做愛因斯坦，這就是設定推理。

米拉：透過微調，你可以得到很多，但總的來說，我認為，在大多數任務中，我們現在是實習生等級的。問題在於可靠性。你不能完全依賴系統來做你想讓它一直做的事情。在很多任務中，它做不到。如何隨著時間的推移提高可靠性，然後，擴展這些模型可以做的新功能？

我認為關注這些新興能力很重要，即使它們非常不可靠。尤其是對於今天正在組建公司的人來說，你真的想思考，「今天有什麼可能？你今天看到了什麼？」這些模型很快就會變得可靠。

單一模型得天下？

馬丁：我馬上就要問一下，預測一下未來會是什麼樣子。但之前，我很自私地問一個問題，你認為這件事的經濟學會如何發展。我告訴你它讓我想起了什麼。這讓我想起了矽工業。我記得在90年代，當你買一台電腦時，有很多奇怪的寫作處理器。 「這是字串匹配，這是浮點，這是加密，」所有這些都消耗了CPU。

事實證明，通用性非常強大，這創造了某種類型的經濟，英特爾和AMD都是其中玩家。當然，製造這些晶片要花很多錢。

所以你可以想像兩個未來。在未來，通用性非常強大，隨著時間的推移，大型模型基本上會吸收所有功能。然後還有另一個未來，那裡將有一大堆不同得模型，各種碎片，設計空間上有不同的點。你有這樣的感覺嗎：是OpenAI唯我獨尊，還是有很多模型？

米拉：這取決於你想做什麼。顯然，現在得軌跡是這些人工智慧系統將做我們正在做的越來越多的工作。他們將能夠自主運作，但我們需要提供方向、指導和監督。但我不想做很多每天都要做的重複性工作。我想專注於其他事情。也許我們不必每天工作10、12小時，也許我們可以減少工作，達到更高的產出。這就是我所希望的。就平台的工作方式而言，即使在今天，你也可以看到我們透過API提供了許多模型，從非常小的模型到我們的前沿模型。

人們並不總是需要使用最強大、最有能力的型號。有時他們只需要真正適合他們特定用例的模型，而且它要經濟得多。我認為會有一個範圍。但是，就我們對平台遊戲的想像而言，我們肯定希望人們在我們的模型之上進行構建，我們希望為他們提供工具，使其變得容易，並讓他們獲得越來越多的訪問和控制權。你可以帶來你的數據，你可以自訂這些模型。你可以真正專注於模型之外的層，並定義產品，這實際上非常非常困難。現在有許多關注點是建立更多的模型，但在這些模型之上建立好的產品是非常困難的。

未來5-10年

馬丁：我希望你能預測你認為這一切在3年、5年或10年後會走向何方。

米拉：我認為，今天的基礎模型在文本中對世界有著偉大的表現。我們正在添加其他模式，如圖像、影片和其他各種東西，因此這些模型可以更全面地了解我們周圍的世界，類似於我們理解和觀察世界的方式。世界不僅存在於文字中，也存在於圖像中。我們肯定會朝著這個方向發展，我們將有這些更大的模型，在訓練前的工作中採用所有這些模式。我們真的想讓這些經過預先訓練的模型像我們一樣了解世界。

在模型的輸出部分，我們引入具有人類回饋的強化學習。我們希望模型能真正做到我們要求它做的事情，我們希望這是可靠的。這需要做大量的工作，也許還需要引入瀏覽，這樣就可以獲得新的訊息，引用訊息並解決幻覺。我不認為這是不可能的。我認為這是可以實現的。

在產品方面，我們希望將這一切整合到人們合作的產品集合中，並提供一個人們可以在此基礎上建立的平台。如果你真的向外發展，這些模型將非常非常強大。很明顯，隨之而來的是對這些非常強大的模型與我們的意圖不一致的恐懼。一個巨大的挑戰是超級一致（Super Alignment），這是一個困難的技術挑戰。我們在OpenAI有一個完整的團隊來專注於這個問題。