IOSG｜同質化AI 基礎設施的出路在哪裡？

本研究旨在探討對開發者而言哪些人工智慧領域最為重要，以及在Web3 和人工智慧領域哪些可能是爆發的下一個機會。

在分享新的研究觀點之前，首先很高興我們參與了 RedPill 總計500萬美元的第一輪融資，也非常激動，期待接下來能夠和 RedPill 共同成長！

TL;DR

隨著Web3 與AI 的結合成為加密貨幣界的矚目話題，加密世界的AI 基礎設施構建興旺起來，但實際利用AI 或為AI 構建的應用程序並不多，AI基礎設施的同質化問題逐漸顯現。近期我們參與的RedPill的第一輪融資，引發了一些更深入的理解。

• 建構AI Dapp 的主要工具包括去中心化OpenAI 存取、GPU 網路、推理網路和代理網路。

• 之所以說GPU 網路比「比特幣挖礦時期」 還要熱門，是因為：AI 市場更大，並且增長快速且穩定；AI 每天支援數以百萬計的應用程式；AI 需要多樣化的GPU 型號和伺服器位置；技術比過往更成熟；面向的客戶群也更廣。

• 推理網路和代理網路有相似的基礎設施，但關注點不同。推理網路主要供有經驗的開發者部署自己的模型，而執行非LLM 模型不一定需要GPU。代理網絡則更專注於LLM，開發者無需自帶模型，而是更注重提示工程和如何將不同的代理連結起來。代理網路總是需要高效能的GPU。

• AI 基礎設施項目承諾巨大，仍在不斷推出新功能。

• 多數原生加密項目仍處於測試網階段，穩定性差，配置複雜，功能受限，還需要時間證明其安全性和隱私性。

• 假設AI Dapp 成為大趨勢，還有許多未開發的領域，如監控、與RAG 相關的基礎設施、Web3 原生模型、內建加密原生API 和資料的去中心化代理、評估網路等。

• 垂直整合是一個顯著趨勢。基礎設施項目試圖提供一站式服務，簡化AI Dapp 開發者的工作。

• 未來將是混合型的。部分推理在前端進行，而部分在鏈上計算，這樣做可以考慮到成本和可驗證性因素。

  Source: IOSG

• 

引言

• Web3 與AI 的結合是當前加密領域中最受矚目的話題之一。才華橫溢的開發者正在為加密世界建立AI 基礎設施，致力於將智慧帶入智能合約。建構AI dApp 是極其複雜的任務，開發者需要處理的範圍包括資料、模型、運算力、操作、部署和與區塊鏈的整合。針對這些需求，Web3 創辦人已經開發出許多初步的解決方案，如GPU 網路、社群資料標註、社群訓練的模型、可驗證的AI 推理與訓練以及代理商商店。

• 而在這興旺的基礎設施背景下，實際利用AI 或為AI 構建的應用程式並不多。開發者在尋找AI dApp 開發教學課程時，發現這些與原生加密AI 基礎架構相關的教學並不多，大多數教學僅涉及在前端呼叫OpenAI API。

  Source: IOSG Ventures

• 

• 目前的應用未能充分發揮區塊鏈的去中心化和可驗證功能，但這種狀況很快就會改變。現在，大多數專注於加密領域的人工智慧基礎設施已經啟動了測試網絡，並計劃在未來6 個月內正式運作。

• 本研究將詳細介紹加密領域人工智慧基礎設施中可用的主要工具。讓我們準備迎接加密世界的GPT-3.5 時刻吧！

1. RedPill：為OpenAI 提供去中心化授權

前文所提到的我們參投的RedPill是一個很好的引進點。

OpenAI 擁有幾種世界級強大的模型，如GPT-4-vision、GPT-4-turbo 和GPT-4o，是建構先進人工智慧Dapp 的優選。

開發者可以透過預言機或前端介面呼叫OpenAI API 以將其整合到dApp 中。

RedPill 將不同開發者的OpenAI API 整合在一個介面下，為全球用戶提供快速、經濟且可驗證的人工智慧服務，從而實現了對頂尖人工智慧模型資源的民主化。 RedPill 的路由演算法會將開發者的請求導向到單一貢獻者處。 API 請求將透過其分發網路執行，從而繞過任何來自OpenAI 的可能限制，解決了加密開發者面臨的一些常見問題，例如：

• 限制TPM（每分鐘代幣）：新帳戶對代幣的使用有限，無法滿足熱門且依賴AI 的dApp 的需求。

• 存取限制：一些模型對新帳戶或某些國家的存取設定了限制。

透過使用相同的請求代碼但更換主機名，開發者能以低廉的成本、高擴展性和無限制的方式存取OpenAI 模型。

2. GPU 網路

除了使用OpenAI 的API，許多開發人員還會選擇自行在家中託管模型。他們可以依托去中心化GPU 網絡，如io.net、Aethir、Akash 等流行的網絡，自行建立GPU 叢集並部署及運行各種強大的內部或開源模型。

這樣的去中心化GPU 網絡，能夠借助個人或小型資料中心的運算力，提供靈活的配置、更多的伺服器位置選擇以及更低的成本，讓開發人員可以在有限的預算內輕鬆進行AI 相關的試驗。然而，由於去中心化的性質，此類GPU 網路在功能性、可用性和資料隱私方面仍存在一定的限制。

過去幾個月，GPU 的需求火爆，超過了先前的比特幣挖礦熱潮。此現象的原因包括：

• 目標客戶增多，GPU 網路現在服務於AI 開發者，他們的數量不僅龐大而且更忠實，不會受到加密貨幣價格波動的影響。

• 相較於挖礦專用設備，去中心化GPU 提供了更多的型號和規格，更能滿趡iez要求。尤其是大型模型處理需要更高的VRAM，而小型任務則有更適合的GPU 可選。同時，去中心化GPU 能夠近距離服務終端用戶，並降低延遲。

• 技術日趨成熟，GPU 網路依賴高速區塊鏈如Solana 結算、Docker 虛擬化技術和Ray 運算叢集等。

• 在投資回報方面，AI 市場正在擴張，新應用和模型的開發機會多，H100 模型的預期回報率為60-70%，而比特幣挖礦則更為複雜，贏家通吃，產量有限。

• 比特幣挖礦企業如Iris Energy、Core Scientific 和Bitdeer 也開始支援GPU 網絡，提供AI 服務，並積極購買專為AI 設計的GPU，如H100。

推薦：對於不太重視SLA 的Web2 開發者，io.net 提供了簡潔易用的體驗，是個性價比很高的選擇。

3. 推理網絡

這是加密原生AI 基礎架構的核心。它將在未來支援數十億次AI 推理操作。許多AI layer1 或layer2 為開發者提供了在鏈上原生呼叫AI 推理的能力。市場領導者包括Ritual、Valence 和Fetch.ai。

這些網路在以下方面存在差異：

1. 效能（延遲、計算時間）

2. 支持的模型

3. 可驗證性

4. 價格（鏈上消耗成本、推理成本）

5. 開發體驗

3.1 目標

理想的情況是，開發者可以在任何地方，透過任何形式的證明，輕鬆地存取自訂的AI 推理服務，整合過程中幾乎沒有任何阻礙。

推理網路提供了開發者所需的全部基礎支持，包括按需生成和驗證證明、進行推理計算、推理資料的中繼和驗證、提供Web2 和Web3 的介面、一鍵式模型部署、系統監測、跨鏈操作、同步整合及定時執行等功能。

Source: IOSG Ventures

借助這些功能，開發者可以將推理服務無縫整合到他們現有的智能合約中。例如，在建構DeFi 交易機器人時，這些機器人會利用機器學習模型尋找特定交易對的買賣時機，並在基礎交易平台上執行對應的交易策略。

在完全理想的狀態下，所有的基礎架構都是雲端託管的。開發者只需將他們的交易策略模型以通用格式如torch 上傳，推理網路就會儲存並為Web2 和Web3 查詢提供模型。

所有模型部署步驟完成後，開發者可以直接透過Web3 API 或智慧合約呼叫模型推理。推理網路將持續執行這些交易策略，並將結果回饋給基礎智能合約。如果開發者管理的社群資金量很大，還需要提供推理結果的驗證。一旦收到推理結果，智能合約就會根據這些結果進行交易。

Source: IOSG Ventures

3.1.1 異步與同步

從理論上講，非同步執行的推理操作可以帶來更好的效能表現；然而，這種方式在開發體驗上可能會讓人感到不便。

在採用非同步方式時，開發者需要先將任務提交到推理網路的智在合約中。當推理任務完成後，推理網路的智能合約會將結果回傳。在這種程式模式下，邏輯被分成推理呼叫和推理結果處理兩個部分。

Source: IOSG Ventures

如果開發者有嵌套的推理呼叫和大量的控制邏輯，情況會變得更糟。

Source: IOSG Ventures

非同步編程模式使得它難以與現有的智能合約整合。這需要開發者編寫大量額外的程式碼，並進行錯誤處理和管理依賴關係。

相對地，同步編程對於開發者來說更加直觀，但它在響應時間和區塊鏈設計上引入了問題。例如，如果輸入資料是區塊時間或價格這種快速變動的數據，那麼在推理完成後數據已不再新鮮，這可能會導致在特定情況下智慧合約的執行需要回滾。想像一下，你用一個過時的價格來做交易。

Source: IOSG Ventures

大部分AI 基礎架構採用非同步處理，但Valence 正在嘗試解決這些問題。

3.2 現實情況

實際上，許多新的推理網絡仍在測試階段，例如Ritual 網路。根據他們的公開文件，這些網路目前的功能較為有限（諸如驗證、證明等功能還未上線）。他們目前沒有提供一個雲端基礎設施以支援鏈上AI 運算，而是提供了一個框架，用於自我託管AI 計算並將結果傳遞至鏈上。

這是一個運作AIGC NFT 的體系結構。擴散模型產生NFT 並上傳至Arweave。推理網絡會用這個Arweave 位址在鏈上鑄造該NFT。

Source: IOSG Ventures

這個過程非常複雜，開發者需要自行部署和維護大多數基礎設施，例如配備客製化服務邏輯的Ritual 節點、Stable Diffusion 節點及NFT 智慧合約。

推薦：目前的推理網路在整合和部署自訂模型方面相當複雜，且在這一階段大多數網路還不支援驗證功能。將AI 技術應用到前端會為開發者提供一個相對簡單的選擇。如果你非常需要驗證功能，ZKML 提供者Giza 是個不錯的選擇。

4. 代理網絡

代理網路讓使用者能輕鬆自訂代理程式。這樣的網路由能自主執行任務、相互交雲以及與區塊鏈網路互動的實體或智慧合約組成，這一切都無需人工直接幹預。它主要針對LLM 技術。例如，它可以提供一個深入了解以太坊的GPT 聊天機器人。這種聊天機器人目前的工具較為有限，開發者還無法在此基礎上開發複雜的應用。

Source: IOSG Ventures

但將來，代理網路將提供更多的工具給代理程式使用，不僅是知識，還包括呼叫外部API、執行特定任務的能力等。開發者將能夠將多個代理連接起來建置工作流程。例如，編寫Solidity 智能合約會涉及多個專門的代理，包括協定設計代理、Solidity 開發代理、程式碼安全審查代理以及Solidity 部署代理。

Source: IOSG Ventures

我們透過使用提示和場景來協調這些代理商的合作。

一些代理網絡的範例包括Flock.ai、Myshell、Theoriq。

推薦：現今大部分代理商的功能都相對有限。對於特定用例，Web2 代理程式能夠更好的服務，並且擁有成熟的編排工具，例如Langchain、Llamaindex。

5. 代理網絡與推理網絡的差異

代理網路更著重於LLM，提供如Langchain 這樣的工具來整合多個代理程式。通常情況下，開發者無需親自開發機器學習模型，代理網路已經將模型開發和部署的流程簡化。他們只需要連結必要的代理和工具。大多數情況下，最終用戶將直接使用這些代理程式。

推理網絡則是代理網絡的基礎設施支撐。它提供給開發者較低層次的存取權限。正常情況下，終端用戶不會直接使用推理網路。開發者需要部署自己的模型，這不僅限於LLM，並且他們可以透過鏈下或鏈上存取點使用它們。

代理網絡和推理網絡並非完全獨立的產品。我們已經開始看到一些豎向整合的產品。他們因為這兩種功能都依賴相似的基礎設施，所以同時提供代理和推理能力。

6. 新的機會之地

除了模型推理、訓練和代理網絡外，web3 領域還有很多值得探索的新領域：

• 資料集：如何將區塊鏈資料轉變為機器學習可用的資料集？機器學習開發者需要的是更具體、更專題的數據。例如，Giza 提供了一些高品質的、關於DeFi 的資料集，專門用於機器學習訓練。理想的數據應不僅僅是簡單的表格數據，還應該包括能夠描述區塊鏈世界互動的圖形數據。目前，我們在這方面還有不足。目前有些項目正透過獎勵個人創建新資料集來解決這個問題，例如Bagel 和Sahara，它們承諾保護個人資料的隱私。

• 模型儲存：有些模型體積龐大，如何儲存、分發及版本控制這些模型是關鍵，這關係到鏈上機器學習的效能和成本。在這一領域，Filecoin, AR 和0g 等先鋒項目已經取得了進展。

• 模型訓練：分散式且可驗的模型訓練是個難題。 Gensyn, Bittensor, Flock 和Allora 等已有顯著進展。

• 監控：由於模型推理在鏈上與鏈下都有發生，我們需要新的基礎設施來幫助web3 開發者追蹤模型的使用狀況，及時發現可能存在的問題和偏差。有了合適的監控工具，web3 的機器學習開發者可以及時調整，不斷優化模型精準度。

• RAG 基礎架構：分散式RAG 需要全新的基礎架構環境，對儲存、嵌入運算和向量資料庫有較高的需求，同時要確保資料的隱私安全。這與目前的Web3 AI 基礎設施大不相同，後者大多依賴第三方來完成RAG，例如Firstbatch 和Bagel。

• 專為Web3 客製化的模型：並非所有模型都適合Web3 情境。大多數情況下，需要對模型進行重新訓練，以適應價格預測、推薦等具體應用。隨著AI 基礎設施的繁榮發展，未來我們期望有更多web3 本地模型來服務AI 應用。例如Pond 正在開發區塊鏈GNN，用於價格預測、推薦、詐欺偵測和反洗錢等多種場景。

• 評估網絡：在缺乏人類回饋的情況下評估代理是不容易的。隨著代理創建工具的普及，市場上將會出現無數的代理。這就需要有一個系統來展示這些代理的能力，並幫助使用者判斷在特定情況下哪個代理程式的表現最佳。例如，Neuronets 是這個領域的一個參與者。

• 共識機制：對於AI 任務，PoS 不一定是最佳選擇。計算複雜度、驗證的困難和確定性的缺失是PoS 面臨的主要挑戰。 Bittensor 創造了一種新的智慧共識機制，獎勵網路中為機器學習模型和輸出做出貢獻的節點。

7. 未來展望

我們目前觀察到了垂直整合的發展趨勢。透過建構一個基礎的運算層，網路能夠為多種機器學習任務提供支持，包括訓練、推理及代理網路服務。這種模式意在為Web3 的機器學習開發者提供全方位的一站式解決方案。

目前，鏈上推理儘管成本高昂且速度較慢，但它提供了出色的可驗證性和與後端系統（例如智能合約）的無縫整合。我認為未來將走向混合應用的道路。一部分推理處理將在前端或鏈下進行，而那些關鍵的、決策性的推理則會在鏈上完成。這種模式已經在行動裝置上得到了應用。透過利用行動裝置的本質特點，它能夠在本地快速運行小型模型，並將更複雜的任務遷移到雲端，利用較大的LLM 處理。