人工智慧與人工智慧結合的潛力與現實挑戰解決


最近,人工智慧成為加密貨幣市場上最熱門、最有前景的領域之一。 討論了以中心為導向的人工智慧訓練GPU和中心化實體網路無的AI模型,以及去中心化網路中訓練AI模型可能面臨的挑戰。討論了Web3和AI結合的挑戰,包括面向中心的AI訓練和去中心化的AI資料存取。探討了AI推理計算共識加密的問題與解決方案。討論了可以為Web3客戶帶來價值的AI實例和消費級GPU去中心化實體基礎設施網路。最後,提出了透過高效能web3儲存解決方案和去中心化資料爬取網路來獲得資料加速AI發展的方法。整體來看,Web3與人工智慧的結合有著巨大的潛力與機會。

最近,人工智慧成為加密貨幣市場上最熱門、最有前景的領域之一。包括:

以中心為導向的人工智慧訓練GPU 中心化物理網路無的AI模型是否能突破企業的困境?

在@hack_vc,我們正努力撥開迷霧,將承諾與實踐區分開來。 本文將深入分析人工智慧與頂尖創意。讓我們一同探討真正的挑戰與機會。

一、Web3與AI結合的挑戰

1.面向中心的人工智慧訓練

在鏈上進行AI訓練的問題在於,訓練需要GPU之間高速的溝通和協調,因為神經網路在訓練時需要進行反向傳播。 Nvidia為此提供了兩種創新技術(NVLink和InfiniBand)。這些技術可以非常顯著地加快GPU通訊速度,其名稱僅為單一資料中心內的GPU伺服器使用率(速度超過50)。

如果引入去中心化網絡,由於增加了網路延遲和記憶體佔用,會大大降低。 Nvidia在資料中心提供高速互聯互通,對於人工智慧運算來說根本行不通。此外,去中心化網路記憶體和儲存成本相比於本地資料中心中的固態硬碟也更高。

在鏈上訓練AI模型的另一個問題,就是這個目標的實現,這個目標吸引人們的注意。此目標包括:首先,計算AI模型所需的參數;其次,訓練AI模型所需的引擎;最後,計算AI模型所需的引擎的參數;最後,訓練AI模型所需的引擎的執行情況。

請注意,這方面已經有一些創新,可能為鏈上AI訓練的未來提供希望:

1)基於InfiniBand的分散式訓練正在大規模開展,NVIDIA本身也透過其集體通訊庫支援非本地分散式訓練。不過,這仍處於初期階段,採用情況仍有待觀察。實體資源的短缺依然存在,因此當地InfiniBand訓練仍然比較快。

2)有一些新研究,減少了去中心化訓練的溝通次數,可能在未來使去中心化訓練更為有效。

3)智能分配和訓練調度探索提升效能。同樣,未來可能會有新模型架構專門為分散式基礎設施設計(Gensyn正在這些領域進行研究)。

4)創新如Neuromesh嘗試透過一種稱為預測編碼網路(PCN)的新方法,以較低成本實現分散式訓練。

2、去中心化的AI資料訪問

訓練資料資訊也將成為難題。任何AI訓練過程都涉及處理大量資料。通常,模型是在中心化精力進行未知的訓練,這些模型具有高安全性和高性能。這需要傳輸和處理數TB 數據,而且這不是可用的循環。資料通常含有錯誤的,所以在訓練模型之前,必須對資料進行清理和轉換,使其成為無效的檔案系統。這個階段涉及標準化、過濾和處理缺失值的重複任務。在去中心化方面,這些都構成了嚴重挑戰。

訓練資料資訊部分也是迭代的,@Web3不太相容。 OpenAI花了成千上萬次才取得他們的成果。訓練過程是:如果目前模型未達到預期效果,專家會回到資料收集或模型訓練階段以改善結果。現在,想像一下去中心化搜尋進行這項流程,而現有的最佳框架和工具在Web3中不易取得。

一種有前景的技術是0g.ai(由Hack VC支援),他們提供鏈上研究和資料可用性基礎設施。他們擁有更快速的架構和在鏈上儲存大量資料的能力。

3.利用條款缺陷的AI推理計算共識

加密貨幣與人工智慧結合的一個挑戰是驗證人工智慧推理的準確性,因為人們能夠完全信任單一的中心化方來執行推理操作,存在節點行為不端的可能性。在Web2.0的人工智慧中,這個挑戰不存在,因為沒有去中心化的共識系統。

一種解決方案是建立一個群集,即多個節點重複相同的AI推理操作,該解決方案適用於無信任的客戶端操作,並適用於無信任的客戶端操作。

探討的問題是,我們生活在一個人工智慧晶片嚴重短缺的世界。 NVIDIA 晶片的等待期數年,導致價格上漲。如果你還要求人工智慧在多個節點上多次重複,該晶片將大幅增加這些昂貴的成本。對於許多項目來說,這是不通的。

4.Web3特定的AI實例(短期內)

有人建議,Web3 應該有其獨特的AI 實例,專門針對Web3 客戶。

目前,這仍然是一個新興市場,新興市場仍在發展中。一些挑戰包括:

Web3.0所需的AI交易量較少,因為市場需求仍處於較低水準。 顧客較少,因為Web3客戶比Web2客戶少了幾個數量級,所以市場也去中心化。 客戶需求不夠穩定,因此這些投資可能會延遲至下週。

從長遠來看,我們可以為Web3原生的AI服務非常好,特別是隨著AI代理的普及。我們設想的未來每個Web3用戶都會有多個AI代理為他們提供服務。這個領域早期的領導者是Theoriq.ai,他們正在建立一個可組合的AI代理平台,能夠服務Web2和Web3客戶(由Hack VC支援)。

5.消費級GPU去中心化實體基礎設施網路(DePIN)

還有很多去中心化的人工智慧運算依賴GPU,而不是資料中心的GPU。 GPU適用於低階人工智慧推理任務或延遲、吞吐量和可靠性要求較靈活的服務流程。但對於嚴格的企業流程(即支援主要的信貸來源),希望比家庭更可靠,並且通常需要更可靠的GPU。對於這些更目標客戶流程,資料中心更為合適。

需要注意的是,我們主張消費級GPU適合於演示用途或那些能相容於較低可靠性的個人和投資。但這些客戶想基本上較低,因此我們主張,面向Web2企業的去中心化實體基礎設施(DePIN)從長遠來看會更有價值。因此,知名的GPU DePIN專案通常已經從早期主要使用消費級硬體發展到現在具備A100/H100和平台級可用性。

二、加密貨幣x AI 實際運作成本

現在,讓我們來討論x AI 能顯著提升價值。

實際收益1:服務Web2客戶

麥肯錫估計,人工智慧每年可分析的63個範例帶來了2.6兆至4.4兆美元的附加價值——相較之下,英國2021年的GDP總量為3.1兆美元。如果我們將人工智慧嵌入目前用於其他任務的軟體中,這項估計將極大地促進所有人工智慧的增加。

有趣的是:

根據上述經驗,這意味著全球人工智慧(不僅僅是人工智慧)的總市場價值可能達到數十兆美元。 目前,所有加密貨幣(包括所有山寨)的總價值約為2.7兆美元。

所以,讓我們現實一點:短期內需要AI的交易將是Web2客戶,因為實際需要AI的Web3客戶只是這2.7萬億市場中的一小部分(考慮到BTC減少了一半的資金,而BTC本身並不需要/使用AI)。

Web3的AI人力車才剛起步,目前尚不清楚其市場規模會有多大。但有一點要指出的是,在可預見的未來,它只會是Web2市場的一部分。該計劃的規模將決定Web3 AI在Web2市場上的規模。該計劃的規模預計將在2021年達到5,000億美元。

透過Web3 AI中受益的Web2客戶支援:

從頭開始建立機器學習為核心的產業軟體公司(例如Cedar.ai或Observe.ai) 為自身目的微調模型的大型企業(例如Netflix) 快速成長的AI供應商(例如Anthropic) 在現有產品基礎上整合AI軟體公司(例如Canva)

這是一個相對穩定的客戶群,因為這些客戶通常規模大且價值高。他們不可能在短期內倒閉,並且代表了AI服務非常大的潛在客戶群。服務於Web2我們的客戶Web3AI服務將受益於此穩定的客戶基礎。

但為什麼Web2客戶會想要使用Web3技術堆疊呢?本文的其餘部分將解釋這個理由。

實際收益2:透過GPU去中心化實體基礎設施網路(GPU DePIN)降低GPU使用成本

GPU DePIN匯集了未最可靠的GPU運算能力(其中最可靠的來自資料中心),並使這些資源可用於AI推理。可以簡單地將其視為「GPU的Airbnb」(即協作消費未最可靠的資產)。

我們對GPU DePIN感到興奮的原因如上所述,主要是因為NVIDIA晶片短缺,目前許多GPU週期被浪費了,這些資源可以用於AI推理。這些硬體所有者已經承擔了沉沒的成本,目前沒有有效地使用他們的設備,因此可以比現狀更低的成本提供這些部分GPU週期,因為對硬體所有者來說,這四十年來的「意外之財」。

具體例子包括:

1)AWS機器:如果你今天從AWS租用一台H100,你需要承諾至少租用一年,因為市場供應緊張。這會導致浪費,因為你不可能每年365天、每週7天都使用你的GPU。

2)Filecoin挖礦硬體:Filecoin網路有大量的供應,但實際需求不大。不幸的是,Filecoin從未找到真正的產品市場契點,因此Filecoin礦工面臨破產的危險。這些機器用途GPU,可以重新用於低成本AI推理任務。

3)ETH挖礦硬體:當ETH從工作量證明(PoW)轉向權益證明(PoS)時,大量硬體立即可用,這些硬體可以重新用於AI。

GPU DePIN市場競爭激烈,有多位參與者提供產品。例如Aethir、Exabits和Akash。 Hack VC選擇支援io.net,後者也透過與其他GPU DePIN的合作來匯集供應,因此他們目前支援市場上最大的GPU供應。

需要注意的是,並非所有的GPU都適用於AI推理。一個詳細的原理舊的GPU-CPU記憶體用來處理大語言模型(LLMs),儘管這可能導致一些有趣的創新。 Exabits開發了技術,將活躍的神經元載入到GPU記憶體中,而將不活躍的神經元載入到CPU記憶體中。他們預測的結果是,大多數神經元需要活躍/不活躍。這使得GPU記憶體有限的情況下,也能使用低階GPU處理AI。這實際上提高了低端GPU在AI推理的實用性。

此外,Web3 AI DePIN需要花時間強化他們的產品,提供企業級服務,如單一登入(SSO)、SOC 2合規、服務等級協定(SLA)等。這與目前Web2客戶享受的雲端服務相媲美。

真正的優勢#3:避免OpenAI自我的非模型

關於AI的問題已經有很多討論。 土耳其曾經一度禁止OpenAI(後來他們在OpenAI改進其合規性後取消了禁令)。 我們期待這種國家數量的從根本上來說並不值得關注,因為各國需要擁抱AI才能保持競爭力。

更有趣的是,OpenAI會自我。 例如,OpenAI不會處理NSFW(不適合在工作的時候觀看)的內容,而美國總統選舉的結果。我們不希望OpenAI因政治原因不願涉及的AI應用領域,存在著一個有趣且龐大的市場。

開源是解決這個問題的一個好方法,因為一個Github 倉庫不受股東或董事會控制。一個例子是Venice.ai,它承諾保護用戶隱私引擎非同尋常的參與方式。當然,關鍵在於其開源性,這使得這一切成為可能。 Web3 AI 可以有效提升這一點,我們在一塊GPU 叢集中承載著這些開源軟體(OSS)模型以進行推理。正因為如此,我們已經擁有了OSS + Web3 是非同尋常的AI 道路理想組合。

真正的好處#4:避免向OpenAI發送個人可識別的訊息

我們對許多大型企業進行了內部數據分析。對這些企業來說,他們最重視的就是人工智慧。

對於這些企業來說,使用web3可能會變得更加令人擔憂,因為內部資料突然出現一個去中心化的世界。然而,對於人工智慧而言,隱私增強技術方面已經存在一些創新:

議題超級協議與可信任執行環境(TEE)

諸如Fhenix.io(由Hack VC管理的基金組合公司)或Inco Network(均由Zama.ai提供支援)和Bagel的PPML取消完全同態加密貨幣(FHE)

這些技術仍在避孕,透過即將推出的零知識(ZK)和FHE ASIC,性能也不斷改進。但長期目標是在微模型時保護企業資料。隨著這些協議的出現,web3可能成為更具吸引力的隱私保護AI計算場所。

真正的好處#5:利用開源模型最近的創新

在過去的幾十年裡,開源軟體(OSS)一直在應對消費軟體的信用。我們將LLM視為一種高階消費軟體,正逐漸成為開源軟體的顛覆物件。一些值得注意的挑戰者包括Llama、RWKV和Mistral.ai。隨著時間的推移,這個清單無疑會持續增長(在Openrouter.ai上提供了更全面的清單)。透過利用開源模型支援的web3 AI,人們可以最大限度地利用這些新創新。

位置,儲存空間,一個開源的全球開發工作力量,協同加密貨幣激發,可以推動開源模型以及構建位於其上的代理和框架的快速創新。一個AI代理協議範例是Theoriq。 Theoriq利用開源模型創建了一個可組合互聯的AI代理網絡,可以組裝在一起創建更高級的AI解決方案。

我們對此深信不疑的原因在於過去的經驗:大多數「開發者軟體」在時間的推移後逐漸被開源軟體所超越。微軟過去是一家加密貨幣軟體公司,現在中國貢獻最多的Github公司,這是有原因的。如果你看看Databricks、PostGresSQL、MongoDB等是如何顛覆加密貨幣資料庫的,你會發現整個產業就是一個被開源軟體顛覆的例子,所以這裡是相當強大的。

然而,這也是一個小陷阱。 OSS LLMs有一個棘手的問題,就是OpenAI能力與組織簽訂付費資料授權協議,例如Reddit和紐約時報。如果這種趨勢持續下去,由於獲得了數據經濟壁壘,OSS LLMs可能會變成非常難以競爭的。英偉達可能會將保密計算作為安全資料共享的加強工具。時間會告訴我們如何發展。

真正的好處#6:透過高成本的隨機抽樣或零知識證明來實現共識

在web3人工智慧推理中,驗證是一個挑戰。驗證者有可能透過欺騙來獲取費用,因此驗證推理安全是至關重要的。需要注意的是,儘管人工智慧推理還處於初級階段,但除非我們來削弱這種行為的動機,否則這種欺騙是極其嚴重的。

標準的web3 是讓多個驗證者重複相同的操作並進行結果比較。然而,正如前面提到的,由於當前高端Nvidia晶片短缺,AI推理非常昂貴。考慮到web3 未能透過成功的GPU DePIN提供更高階的推理,其運算將嚴重損害web3 所追求的目標。

更有希望的解決方案是離鏈AI推理計算進行零知識證明。在這種情況下,可以驗證簡潔的零知識證明以確定模型是否經過正確的訓練,或者推理是否正確運行(稱為zkML)。其中的例子包括Modulus Labs和ZKonduit。由於零知識操作需要相當大的運算資源,這些解決方案的效能仍處於初級階段。然而,隨著零知識硬體ASIC在不久的將來推出,這種情況可能會得到改善。

更有希望的想法是一種「樂觀」抽樣基礎的AI推理方法。在這種模型中,保證驗證者產生結果的少數,但設定足夠高經濟發展成本來懲罰被抓到作弊的驗證者,從而產生強大的經濟禁止效應。這樣一來,您可以節省單字計算(例如,請參閱雙曲線的「抽樣證明」論文)。

另一個希望的想法是使用浮水印和指紋技術解決方案,例如Bagel Network我的解決方案。這類似於Alexa為其錯誤的裝置上的AI模型品質保證所提供的機制。

真正的好處#7:透過可組合的開源軟體堆疊節省費用(OpenAI的利潤)

web3為AI帶來的機會是降低成本的民主化。首先,我們透過了像io.net這樣的DePIN節省GPU成本的方法。 web3也節省了中心化web2 AI服務的利潤(例如OpenAI,根據該軟體產生的信息,其收入超過10億美元)空間。這些成本來自於使用開源軟體(OSS)模型,而不是消費模型,儘管模型創建者並不試圖獲利。

許多開源軟體模型將始終完全免費,這保證了最佳的經濟效益。但是,有一些開源軟體模型嘗試這些變現方法。請考慮,Hugging Face上僅有4%的模型由一些預算公司進行訓練以適應這些模型(請參閱此處)。剩下的96%的模型由社區進行訓練。這個96%的Hugging Face模型群體超出實際成本(包括計算成本和數據成本)。所以這些模型需要以某種方式實現變現。

有許多關於實現這種開源軟體模型變現的提議。其中最有趣的是「初始模型發行」(IMO)的概念,即將模型本身進行Token化,一部分Token給團隊,這將模型的一些未來收入流向Token持有人,儘管其中顯然存在一些法律和監管障礙。

其他軟體開發人員和開發人員將基於網路使用情況進行建模,如果該網路成為現實,那麼模型將會變為現實,從而形成一個網路2.0生態系統。

一旦選擇了開源軟體模型,舌頭在其上進行可組合的層次操作。例如,可以使用Ritual.net進行AI代理,以及Theoriq.ai作為可組合和自治的鏈上AI代理的早期領導者(他們得到了Hack VC的支持)。

真正的好處#8:去中心化資料收集

AI人群最大挑戰之一是獲得適合訓練模型的正確資料。我們之前提到過,去中心化AI訓練存在一些挑戰。但利用去中心化網路來取得資料(然後可以在交易所,也就是傳統的web2平台用於訓練)又如何呢?

我們像Grass這樣的投資正在尋求(得到了Hack VC的支持)。 Grass是一個去中心化的「資料爬取」網絡,由個人貢獻他們的機器的閒置處理能力來獲取數據,被AI模型的訓練。在理論上,在大規模應用中,這種資料收集可能比任何一家公司的內部努力更優越,因為龐大的激發節點網路具有強大的運算能力。這不僅包括獲取更多的數據,幾個月內更頻繁地獲取數據,以使數據更具吸引力和最新性。由於他們爬取節點本質上是去中心化的,不屬於單一IP位址,因此幾乎不可能阻止這個去中心化資料爬取軍團。此外,他們還有一個人力網絡,可以清理和規範數據,使其在被爬取後變得有用。

一旦獲取了數據,您需要一個鏈上的儲存位置,以及該數據生成的LLM(大型語言模型)。 在這問題上,0g.AI是早期的領導者。它可以針對AI進行最佳化的高效能web3儲存解決方案,比AWS便宜(我們認為Web3 AI是另一個經濟上的成功),同時也可以作為第二層、AI等資料可用性基礎架構。

需要注意的是,在未來,數據在web3 AI中的作用可能會有所闡釋。目前,對於LLM來說,現狀是使用資料對模型進行預先訓練,並隨著時間的推移使用更多的資料進行改進。然而,由於互聯網上數據即時變化,這些模型始終略微過時,因此LLM推理的反應略有不準確。

未來可能發展的一個新範式是「即時」數據。這個概念是當LLM被要求進行推理時,LLM可以透過向其註入的即時從互聯網上收集資料來使用資料。這樣,LLM將使用最新的數據。 Grass也正在研究這一點。

三、結論

我們希望作者分析你沒有在思考網3 AI與現實時隔多年。這只是一個討論的起點,而且這個領域正在迅速變化,所以請隨時加入並表達您的觀點,因為我們願意繼續共同學習和建立。

資訊來源:0x資訊編譯自網際網路。版權歸作者ed_roman所有,未經許可,不得轉載

Total
0
Shares
Related Posts