摘要：建立一個新的處理器並取名New GPU、新的編譯器、API以及新版本的OpenGL，並命名為cuDNN。你還會創建一個新的虛幻引擎——Nvidia AI。
建立一個新的處理器並取名New GPU、新的編譯器、API以及新版本的OpenGL，並命名為cuDNN。你還會創建一個新的虛幻引擎——Nvidia AI。
原文標題：《 An Interview with Nvidia CEO Jensen Huang about Manufacturing Intelligence 》
原文來源：Stratechery
原文編譯：Kxp，律動BlockBeats
如果我們理想的元宇宙仍然是遊戲或者科幻電影裡那樣的世界，那英偉達絕對是當下最接近實現元宇宙場景的巨頭，在去年的GTC 大會上，CEO 黃仁勳介紹了其旗下的Omniverse 平台，基於真實世界的各種物理特性，讓開發者創建虛擬世界，換句話說，就是一個將3D 世界連接至共享虛擬世界的平台。
而在2022 年的GTC 大會，黃仁勳又帶來了新的概念：智能製造（Manufacturing Intelligence），一種人工智能通過機器學習創造人工智能的理念。
為了了解智能製造的概念，以及其對未來元宇宙的可能作用，Stratechery 請到了黃仁勳，與他聊了聊對人工智能和機器學習的理解。律動BlockBeats 將文章翻譯如下，希望能對讀者有所幫助。
Ben：非常高興今天能與你交流，我一直是你的粉絲。大學時期我曾經造過電腦，當時很想得到一塊TNT 卡。當時3Dfx 出了一款，但是當時我在想，Nvidia 的肯定比這個要厲害。如今25 年已經過去了，我終於有機會和你當面交談，看到你還在這個領域，我的心情非常激動。
黃仁勳：TNT 確實讓我們出了名，RIVA 128風險很高，我們發明了幾樣東西才將其做成。第一個是浮點設置引擎，第二個是紋理緩存，然後第三個是寬內存，並將內存性能提升到了了當時的極限。這三樣事物十分具有突破性，而在TNT 中，我們把所有的東西都增加了一倍——我們做了雙紋理，建立了雙像素流水線。不過，這只是一個開始，TNT 將成為搭建多像素流水線架構的基礎，這一開創性的工作將圖形架構帶入了新一輪的發展當中。
Ben：接下來我想談談你關於進一步拓寬內存帶寬的問題。在你這次的主題演講中，我們注意到，你在談論芯片、新版CPU 和系統的時候，基本都圍繞著內存。在你看來，它應該是一項重要的考慮因素。
黃仁勳：是的，事實證明，在計算機圖形學中，我們需要消耗大量的內存帶寬，因為我們必須對像素進行渲染。隨著畫家一遍一遍地在像素上作畫，為了弄清步驟關係，中間必然會經過大量的讀取-修改-寫入的過程，而這也對內存帶寬提出了很高的要求。如今我們已經邁入了機器學習時代，軟件不再只是由人來設計了。雖然整體架構還是由人來創造，但修改卻是基於機器數據來完成。所以我們輸入了大量的數據，以便讓機器找出模式規律，計算出預測特徵，並找到它們之間的關係。
Ben：我一直覺得個人電腦這個名字有問題，因為很明顯對於人們來說。個人電腦是手機而非真的電腦。 GPU 的全稱是圖形處理器，但它其實更像是一種運算工具，只是碰巧處理了圖像，但我們會一直叫它GPU，而不是高級處理器之類的名字嗎？
黃仁勳：一旦GPU 取得成功，我們會給它增添更多的功能，但不會給它重新命名，因為我們相信購買者能搞清楚這些功能，也對相信我們自己可以幫助人們理解這些功能。
真正了不起的是，TNT 其實是一個功能固定的流水線，每一步都會完成相應的工作，並把數據向前推進。如果它需要從幀緩存、內存中讀取數據，或者如果它需要把內存數據讀回來做處理，它將讀取數據，將其調回芯片，並進行處理，然後再把它渲染回幀緩存，完成所謂的多通道。多通道是一種簡單的固定函數流水線方法，有很高的局限性，於是幾年後人們發明了可編程著色器。
Ben：太好了，這正是我接下來想詢問的問題，請您繼續說。
黃仁勳：於是我們就發明了一款可編程著色器，它把程序放到GPU 上，所以現在我們還設計出了一個處理器。 GPU 是一項重大技術突破，而當我們開始研究可編程處理器時發現，CPU 已經有很多流水線階段了，而GPU 的流水線階段甚至能有上百個。那麼，我們是如何保持這些流水線階段和處理器的供應的呢？我們創建了一個所謂的耐延遲處理器，並在此基礎上生成了大量線程處理器。你可以在一個微處理器中擁有兩個線程，並在任何一個CPU 核心中超線程運行，而在我們的GPU 中，任何時間點都有10000 個線程處於飛行狀態。我們重新發明了這種新的編程風格，而我們名為CUDA 的架構可以保證其訪問，由於我們致力於保持每一代處理器與CUDA相兼容，我們發明了一種新的編程模型。
Ben：其實我對這個問題很好奇，你一開始的時候先是研究圖形技術，但它們最終都調整為了OpenGL 和DirectX。之後，你發明了著色器，GeForce，它可以對圖像以外的應用進行編程。 Nvidia 利用CUDA 提高了它的可操作性，你把SDK 放在CUDA 之上，現在25 年過去了，Nvidia 不僅成為了世界上最好的加速計算公司，你還形成了高效的商業模式。你免費提供CUDA 並出售相應的芯片，這樣做的目的為何？
黃仁勳：我們所做的一切都是出於一些考慮，我很驚訝你對我們這麼了解。除了你提到的事情以外，我們在有CUDA 之前，實際上還有另一個版本叫C for Graphics, Cg。之後我們犯了許多錯誤，也意識到我們還需要共享內存，否則，多重傳遞的數量…
Ben：連貫性會因此斷裂。
黃仁勳：是的，因此我們不得不在這個過程中發明各種東西。 GeForce FX 和能與IEEE 相兼容的32 位浮點進行了很好的區分。我們做出了一個重大的決定，使其與IEEE FP32 兼容。然而，我們在GeForce FX 上也犯了很多錯誤。
Ben：與IEEE FP32 兼容是指什麼呢？
黃仁勳：IEEE 規定了一種浮點格式，比如你要除以0 應該作何處理，如果它不是一個數字，又應該怎樣應對。
Ben：明白了，所以科學家們都可以使用這樣的格式？
黃仁勳：是的，而且無論你用浮點格式做什麼數學計算，答案都是可以預計的。
Ben：好的。
黃仁勳：因此，它與微處理器處理浮點過程的方式相一致。我們可以運行一個浮點程序，最終得到的答案與你在CPU 上運行的答案是一樣的。當時，DirectX 的可編程著色器的規格是24 位浮點，而不是32 位浮點。因此，我們選擇了所有的32 位，這樣無論做什麼數值計算都能與處理器兼容。這一舉措讓我們的GPU 可以用於通用計算，實屬一個聰明之舉。
雖然犯了很多錯誤，但幸好結局都是好的。當我們確定將CUDA 作為架構以後，就必須一直使用它，並確保每一代產品都能兼容上一代產品。這樣一來，我們開發的軟件安裝基礎將從新的處理器中受益，因為它運行得更快。於是，我們將CUDA 應用於GeForce、Quadro 以及數據中心的GPU，而今天，我們製造的每一個芯片都能與CUDA 兼容。
Ben：關於著色器其實我還有一個問題，你之前在一次斯坦福大學的演講中曾提到說，你很擔心Nvidia 的商品化，而屆時OpenGL 或Direct3D 將無法再帶來收益。我很好奇你在對於商品化的恐懼和對未來的憧憬之間做了怎樣的權衡呢？
黃仁勳：這是一個很好的問題，固定功能流水線固然有著很高的效率，但屏幕上只有這麼多像素，一個芯片承載的功能也有限。因此，如果我們坐以待斃，不去進一步優化電腦繪圖和處理器，我們肯定會走向商品化並最終被淘汰。不過，挑戰在於我們需要選對時機，用可編程的內容優化處理器和芯片。
然而，可編程性的缺點在於，它的效率較低。正如我之前提到的，固定功能必然會提高效率。對於任何一項任務來說，編程都是不必要的功能。儘管如此，如果一切都像OpenGL 飛行模擬器上面的東西一樣沒有生命力的話，我們就無法讓藝術家創造出不同的遊戲與故事，無法賦予媒介以活力，而最終媒介也將不復存在。我們想要創造一個可編程的調色板，以便遊戲和藝術家能夠用它進行創造。同時，我們也希望自己不在商品化之中倒閉。因此，在這樣的情況下，我們創造了可編程的著色器，所以我認為這樣做的動機非常明確，但沒想到後面還是出現了問題。
Ben：出現了什麼問題？
黃仁勳：問題來的非常突然，編程化給我們帶來了很多不必要的開銷，而且現在的應用並沒有任何優勢。在我們開發出新的應用之前，芯片並沒有價格優勢，而且市場競爭也很激烈。
Ben：在我看來，在技術層面上Nvidia 和蘋果公司很類似，因為Nvidia 的發展方向也是軟件和硬件的深度整合。 Nvidia 一開始只是一家硬件公司，並且還兼顧設計，有代工廠為你們製造芯片。之後你建立了這個可以編程的著色器模型，想利用這個機會打造CUDA，搭建所有的SDK，而Nvidia 也從這一刻實現了轉型，是這樣的嗎？
黃仁勳：確實如此，在你決定成為一家處理器公司的那一天，你就必須自己構建全新的處理器架構，因為之前沒有任何可編程的像素著色器或GPU 處理器的編程模型供我們藉鑑。你必須搭建一個全新的編程模型，並構築好與之相匹配的一切。因此，我們必須創建一個編譯器團隊，必須考慮SDK 和數據庫，必須接觸開發人員，向他們宣傳我們的架構，讓他們看到我們的優勢。我們有時甚至需要創建新的庫，讓他們可以將自己的應用程序移植到我們的數據庫上。我們還會幫他們宣傳這些軟件，從而吸引他們一直使用我們的平台。同時，我們也會開展GTC 人工智能開發者會議。
Ben：可以想像你們的初始開銷一定很大，所以芯片的銷售肯定面臨著很大的壓力，你們一定經歷了很多艱難的時刻。
黃仁勳：我非常慶幸我們有好的核心GPU，所以我們的運行性能十分強大。雖然如此，我們的開銷還是很大，電子元件、晶體管以及其他耗材都有著高昂的成本，所以我們的毛利率一直頗有壓力。
Ben：你在本週的主題演講中談到了堆棧的四個層次，包括硬件、系統軟件、平台和應用框架，也提到過機器學習需要一種完全集成的方法，這是為什麼呢？在以模塊化為特點的個人電腦時代，PC 作為中間平台將芯片、操作系統及應用整合到一起，而到了智能手機時代，這種整合變得越來越普遍。如今到了機器學習和人工智能的時代，整合進一步加強了嗎，又為什麼會這樣呢？
黃仁勳：舉一個簡單的例子：想像一下，我們創建了一個新的應用領域，如計算機圖形學。如果我們假設它在圖形芯片上運行得不好，在CPU 上運行得也不好。那麼，如果你想重新對其進行創建，就需要引入新形式的計算機科學，而這也是軟件的開發方式。之後，你會建立一個新的處理器並取名New GPU、新的編譯器、API 以及新版本的OpenGL，並命名為cuDNN。你還會創建一個新的虛幻引擎——Nvidia AI，並慢慢搭建起一個完整的架構。
Ben：Nvidia 現在已經建立了整個堆棧，並擁有幾乎所有的積木塊，可供不同的用例使用。 Nvidia 現在會將這些進行整合是考慮到他的必要性還是優勢呢？如果其他人想效仿的話，是不是很難做到？
黃仁勳：搭建一個全新的堆棧是進行深度學習的基礎。
Ben：就像之前的圖形處理一樣。
黃仁勳：是的，所以深度學習需要一個全新的堆棧，而恰好十年前最好的深度學習處理器是Nvidia 的GPU 之一。在過去的十年裡，我們用Tensor Core 重新發明了GPU，Tensor Core GPU 在做深度學習方面比我們原來的GPU 要好一千倍。但在這個過程中，我們基本上建立了整個計算機科學的堆棧，創造出了新的處理器、編譯器、引擎和框架——人工智能的框架，當然，也有PyTorch 和TensorFlow。
如今我們意識到，雖然我們正在研究人工智能，但人工智能的下一個階段將是機器人技術。比如，自動駕駛技術，該技術需要多種模式的實時傳感器。你必須實時、同步、持續處理所有的傳感器，包括雷達信息、照相機信息、激光雷達信息、超聲波信息，而且你必須使用各種不同的算法來處理這些信息，以實現多樣性和冗餘性。然後它所產生的是感知、定位、世界地圖，然後從世界地圖中推理出什麼是你的驅動計劃。因此，這個應用空間是我們深度學習工作的衍生品，將我們帶入了機器人領域。進入這一領域之後，我們創建了一個全新的堆棧，能夠實時處理多傳感器信息，並用於醫學成像系統。
Ben：現在來看，在原來GPU 的基礎上你搭建了一個新的堆棧，並有效擴展了它的功能。
黃仁勳：是的，我們的發展模式就是一步步地探索舊有發明的全新用途，從而不斷升級創造。
Ben：你已經闡述了這個願景，它與傳統的通用CPU 形成了鮮明的對比。這個想法出現之後，你便開始全身心投入了進去，然後你便意識到可以有很多方式來解決這些並行的問題，於是你就在此基礎上建立了整個生態系統。我知道你可能想擁有自己的CPU，比如說the Grace Architecture。正如我前面提到的，你真正關注的是內存，它的存在是為了支持GPU。與英特爾相比，這是非常明顯的不同，因為英特爾只專注於單線程性能，而你們更看重的是內存帶寬和GPU 性能。那麼既然你們可以授權使用ARM 架構，為什麼還要購買ARM？
黃仁勳：主要有三點原因，其一，為了出售。
Ben：對，在市場上。
黃仁勳：是的。其次，它是一種單一資產，你再也找不到其他的ARM 資產了。最後一個原因是，雖然我們承認它們一開始對於移動設備的關注相當不錯，但它們未來的重點應該是數據中心。不過，與移動設備相比，數據中心市場要小得多，所以其經濟動機並不夠有說服力。如果我們擁有待價而沽的單一資產，並想要引導他們除了繼續從事移動設備的工作外，還從事數據中心的工作，就能創造出另一種可替代的CPU，從而將其塑造成各種有趣的計算機。在我們的所有權範圍內，我們將能夠更有目的性地引導他們進入世界的數據中心。
在過去的兩年裡，兩家公司一直在放眼未來，都看到了數據中心的重要性。如果你看一下兩年前ARM 路線圖，就會發現ARM 的單線程性能路線圖已經有了巨大的改善。因此，無論結果如何，我認為我們與他們相處的時間對我們整個行業都有巨大的幫助。
Ben：關於ARM 還有一件事一直讓我印象深刻，Pat Gelsinger 在任時候的英特爾非常強調軟件的重要性，也曾一度想轉向研究精簡指令集計算機。 ARM 給我的感覺就是，它缺少了軟件的研發，而這正是Nvidia 所專研的領域。我想你在他們收購時說過一些話，你將為ARM 創造價值，所以你不妨通過擁有資產來實現它。我很好奇，在這種情況下，Nvidia 是否還會繼續投資軟件與集成模式，還是你們在看到亞馬遜投資軟件以後會更專注於CPU 和GPU？ Nvidia 還會支持數據中心項目嗎，還是你們會繼續專注於對你們有用的東西？
黃仁勳：我們目前只能專注於對我們有利的事情，雖然我們也意識到了投資軟件的重要性，但我們目前的重點還是實現Nvidia 的最大利益。
Ben：有道理。接下來我想聊聊你的個人經歷，我知道你出生於台北，九歲的時候搬到了肯塔基州，那時候你會說英語嗎？
黃仁勳：當時我的父母把我送到國際學校學習英語，所以我當時可以用英語交流。
Ben：明白了，那你覺得移民經歷對你的影響大嗎，因為九歲的時候你已經記事，雖然還是個孩子，移民到美國對你的世界觀產生了什麼大的影響嗎？
黃仁勳：我不確定我來美國的時候有什麼世界觀，我們是1973 年來的，當時肯塔基州沒有那麼多中國人，所以我們顯得格格不入。不過幸運的是，我的寄宿學校歡迎來自許多不同背景和不同國家的學生。奧奈達中學真的是一個很棒的選擇，因為他們的費用相當低廉。我當時九歲，我哥哥十一歲，他必須在煙草農場工作，而我負責清理學校浴室。
Ben：誰在那裡有更好的待遇？
黃仁勳：我不確定，這很難說。
Ben：那可能都不是很好。
黃仁勳：我是唯一一個負責打掃浴室的孩子，而學校的浴室又有很多。現在想起來條件非常艱苦，但我們當時從來沒有想過這是艱苦的工作，我們只是認為那是孩子們該做的事情。學校裡的孩子基本都會吸煙，有的還不服管教，但我們都沒受其影響，一直在做自己分內的工作。
兩年後，我們的父母來到了美國。我在肯塔基州的回憶十分美好，而且我們也很想念我們的父母。我的哥哥和我都踢足球，我還加入了游泳隊，也會打乒乓球，我們也做了很多工作。我們宿舍的保洁員是一名越戰老兵，每天晚上他都會讓我跟著他一起幹活。每次結束後他會給我一杯蘇打水，當時真的覺得很快樂。
當你還是個孩子的時候，我們沒有什麼太高的期許，而這種感覺很美好。我已經習慣了困難的工作，所以之後遇到了什麼樣的環境，我都能把工作做好。
Ben：雖然這是我們第一次交流，但我們已經觀察Nvidia 很長一段時間了，也對你有了一定的了解，而Nvidia 身上也有你的影子。據我所知，Nvidia 並沒有自己的核心宗旨，因為你的目的是鼓勵創新，和朋友開展合作。現如今你已經有了24000 名朋友和夥伴與你一起共事，這感覺如何呢？
黃仁勳：我很幸運能夠一群厲害的人，並幫助他們實現他們之前沒有想過的目標，在團隊的配合下完成不可能的任務。我從小到大身邊都是聰明的孩子，工作以後周圍的人也都非常優秀。如果沒有克里斯（Malachowsky）和柯蒂斯（Priem），Nvidia 根本就不會出現。我一直在這個領域前行，並絲毫沒有改變自己的信仰，因為我有著較強的適應能力。
Nvidia 聚集著各領域的頂尖人才，無論是首席科學家，工程、軟件負責人，還是芯片與系統設計師，都是世界頂級水平，而這在世界上所有計算公司中都是絕無僅有的。我想說，世界上還沒有任何一名CEO 可以從頭建立所有的軟件和系統，並使其一躍成為世界頂尖水平。而這正是Nvidia 所做的事情，它所營造的環境造就了一個又一個奇蹟。
Ben：這是否會讓其他公司感到害怕？我的意思是，Nvidia 似乎並沒有開展很多合作關係，所以當你們設定目標以後，即便合作可以提高效率，但如果雙方目標不一致的話，你們還是會自己去達成這個目標？
黃仁勳：我認為很少有公司能像Nvidia 一樣在技術上與其他公司開展長期有深度的合作。我可能是台積電最長的CEO 合作夥伴，當然我們公司也是他們最長的合作夥伴之一。同時，我們與矽品、富士康、華碩和微星的合作也是如此。在發展領域方面，我們不僅在個人電腦方面有所建樹，還延伸到了數據中心的加速計算、人工智能以及機器人技術領域。我們不受我們所處的伙伴關係限制，但我們也在不斷增加新的合作夥伴。我想，也許在外界看來，我們採取的是自主發展道路。
Ben：因為你們確實如此。
黃仁勳：是的，這也是我們的特點之一，有著較強的可塑性。
Ben：你正在製造這些大規模的超級計算機，你在本週的主題演講中談到了它們，同時你也提到你將推出一種雲服務。將來Nvidia 會將服務整合，供人們租用嗎？
黃仁勳：如果我們有天提供了服務，我們將在世界各地的GPU 上運行，這些GPU 都在每個人的雲中。此外，如果有必要的話，我們也會自己建立一些東西。我們公司的規則之一就是不能把公司資源浪費在已經存在的事物上。因此，對於這些事物我們只會選擇合作或使用。我們會把公司資源用在創造新的事物上，如果一些東西對我們來說很有意義，即便其他人對其沒興趣，我們也會去嘗試。
Ben：最後我想問，最近幾個月你一直在致力於成為一個智能製造商，並用人工智能來開發人工智能，這也是你願景的一部分嗎，能給我們做一個總結嗎？
黃仁勳：歷史上，人類從來沒有能力生產世界上已知唯一寶貴的商品——智能。我們現在研發出了一個深度神經網絡的計算機科學程序結構，它具有相當強大的擴展能力，可以半年增長一倍。而根據摩爾定律，它只能兩年增長一倍，所以這個速度是十分驚人的。
目前，由計算機創建的軟件正以驚人的速度增長。我們的公司正在建造相應的計算機，以進一步推動該進程。我認為，所有公司將逐漸意識到，他們真正的目的是生產智能，而這也是Nvidia 正在做的事情。每家公司在以後都將自動生產他們的智能，並將編纂自己的智能生產，而人工智能的發展也將進一步輔助人類取得更大的進步。現在來看，這一速度正在逐漸加快，每半年就增加一倍。
Ben：而這一切都將在Nvidia 的芯片上運行。
黃仁勳：是的，我們將利用Nvidia 芯片運行大部分進程。
Ben：如果人們聽到你談論人工智能時，會覺得人工智能還很遙遠，Nvidia 的只是在Crypto 領域掙錢，你會不會向他們解釋真實的情況，奉勸他們加入呢？
黃仁勳：智能確實已經離我們不遠了，它指的是識別模式、識別關係、推理並作出預測或計劃行動的能力。我們現在有能力編寫軟件，並與計算機合作編寫軟件，可以實現許多類型的智能，在人類無法企及的規模和水平上做出多種預測。
例如，我們知道互聯網上的內容極為豐富、規模龐大，且擴展速度驚人，但我們只有一部手機，那麼我們是在海量的內容中找到自己感興趣的內容的呢？這就需要人工智能了，也被稱為推薦系統，它可以根據內容的性質、特點，以及你的個人偏好來預測出你想看的內容。這真的可以稱得上是一個奇蹟，如今它主要是面向消費，而在未來它還可以預測出適合你的金融策略、醫療療法、養生方式或者出遊計劃。有了人工智能，所有這些事情都將成為可能。
Ben：我的讀者可能會比較熟悉這個話題，因為我之前就寫到過，在互聯網時代，掙錢的一定是能將內容正確投放的人。你剛才提到說，要想做到這一點，就必須有人製造芯片和軟件，使他們能夠有效地做到這一點。現在很多互聯網巨頭都依賴於Nvidia，這是個很好的事情。
黃仁勳：是的，我們盡力為每個人提供服務。
Ben：比起你童年的體力勞動來說，這簡直是一個質的飛躍。
Ben ：我非常自豪的一件事是，我們是世界上唯一一家與世界上所有人工智能公司都有合作的人工智能公司。我們不僅是一個很好的合作夥伴，幫助其他公司取得了成功，同時在技術層面也取得了驚人的進展。因此，來找我們合作的企業也不在少數。我們從基本原理、構建芯片，到人工智能所有操作系統層，再到人工智能算法本身，都取得了一定的成果，所以我真的感到非常自豪。
Ben：謝謝你今天願意參與本次採訪，這是我做過的最長的一次CEO 訪談，讓我受益匪淺。
黃仁勳：謝謝你，Ben，很高興與你交談。
