本文主要討論了四個問題：1、為什麼大部分去中心算力項目選擇做AI推理而不是AI訓練？ 2.英偉達在哪裡牛？去中心化算力訓練難在何處？ 3.去中心化算力（如Render、Akash）的終局會好嗎？ 4.去中心化演算法（Bittensor）的終局會如何？從中可以看到，目前去中心化算力難以實現大模型訓練，但對於低算力需求，如AI推理或特定場景下的小型模型訓練，則有實現可能。針對未來AI之戰的趨勢，去中心化演算法模型的終局取決於未來AI發展，Bittensor等模型在迎來多模型合作的趨勢下有潛力。
核心討論四個問題：
1.為什麼大部分去中心算力項目訓練都選擇做AI推理而不是AI？
2.英偉達究竟牛在哪裡？去中心化算力訓練難做的原因在哪裡？
3.去中心化算力（Render、Akash等）的終局會好嗎？
4.去中心化演算法（Bittensor）的終局會回顧嗎？
接下來我們層層抽絲剝繭：
1）縱觀這個外側，除了Gensyn之外，大部分的中心化算力項目都選擇做AI推理而不是訓練，核心去用算力和頻寬的要求不同。
為了幫助大家簡單理解，我們來把AI比喻成一個學生：
– AI訓練：如果我們把人工智慧比喻為一個學生，那麼訓練就好像給了人工智慧大量的知識、樣本也可以理解為我們常說的數據，人工智慧從這些知識樣本中進行學習。本質上需要理解和記憶大量的訊息，這個過程需要大量的計算能力和時間。
– AI 推理：那什麼是推理呢？可以理解為利用所學的知識解決問題或參加考試，在推理的階段中去人工智慧是利用學到的知識解答，而不是活動新知識，所以在推理中過程所需要的計算量是較小的。
很容易發現，兩者的負載差本質上中心化在大型模型AI訓練上需要極大的資料量，以及對資料高速通訊所需的頻寬需求極高，所以目前去計算力實用訓練的實際負載極大。而推理為資料和頻寬的需求小多，實現可能性較大。
2）那麼資料和頻寬的卡點到底在哪裡？為什麼去中心化訓練難以達成？
這就牽涉到大模型訓練的兩個關鍵要素：單卡算力和多卡並聯。
– 單卡算力：目前所有的需要訓練大模型的中心，我們稱它為超算中心。為了方便大家的理解，我們可以以人體來比喻，超算中心算是人體的組織，底層單元GPU就是細胞。如果單一細胞（GPU）的算力優勢，那麼整體的算力（單一細胞×數量）也可能會優勢。
– 多卡並聯：而一個大模型的訓練動量恐怕就是千億GB，對於訓練大模型的超算中心來說，至少需要萬級個A100打底。所以就需要調動這幾萬張卡來進行訓練，然而大模型的訓練不是簡單的串聯，不是在第一張A100卡上訓練完成之後再在第二張卡上訓練，而是模型的不同部分，在不同的顯示卡上訓練，訓練A的時候可能需要B的結果，所以牽涉到多卡零件。
英偉達這麼厲害，市值一路起飛，而AMD和國內的華為、地平線目前很難追上。究其原因並非單卡算力本身，而是在於兩個面向：CUDA軟體環境與NVLink多卡通訊。
– 另一方面，沒有軟體生態能力的硬體硬體是非常的，例如英偉達的CUDA系統，而建立一個新的系統是困難的，就像建立一個新的語言，替換成本非常高。
– 另一方面，就是多卡通信，本質上多卡之間的傳輸就是訊息的輸入和輸出，怎麼並聯，怎麼傳輸。因為NVLink的存在，沒有辦法把英偉達和AMD卡打通；另外，NVLink會限制顯示卡之間的物理距離，需要顯示卡在同一個超算力中心中，這就導致去中心化的算力如果分佈在世界各地就比較難實現。
第一點解釋了為什麼AMD和國內的華為、地平線目前很難追上；第二點解釋了為什麼去中心化很難實現。
3）去中心化算力的終局會好嗎？
– 去中心化算力目前難以進行大模型訓練，核心所在大模型訓練最重視的是穩定性，如果訓練中斷，需要重新訓練，沉沒成本。其對於多卡並聯的要求是很高的，而頻寬是受物理距離的限制的。英偉達透過NVLink來實現多卡通信，但是在一個超計算中心裡面，NVLink會限制顯示卡之間的物理距離，因此，去中心化的計算力無法形成一個計算力集群去進行大模型訓練。
– 但另外，對於算力要求相對較低的需求是可以實現的，例如AI推理，或者是一些特定場景的垂類中小型的模型訓練是有可能實現的，在去中心化算力網絡在一些相對大的節點服務商時，是有潛力為這些相對大的算力需求服務的。以及像渲染類型邊緣運算的場景也是相對容易實現的。
4）去中心化演算法模型的終局會好嗎？
去中心化演算法模型的終局取決於未來AI的終局，我認為未來AI之戰可能會有1-2個閉源模型（如ChatGPT），加上上百花齊放的模型，在這樣的背景下，應用層產品不需要和一個大模型綁定，而是與多個大模型合作，在這樣的背景下來看，Bittensor的這種模式潛力還是非常大的。
資訊來源：0x資訊編譯自網際網路。版權歸作者Fred所有，未經許可，不得轉載