Web3資料存取的發展：索引器及相關項目介紹

作者：Geng Kai, DFG

區塊鏈中數據的重要性

數據是區塊鏈技術的關鍵，也是開發去中心化應用程式(dApp) 的基礎。雖然目前的大部分討論都圍繞著數據可用性(DA)——確保每個網路參與者都可以存取最近的交易數據進行驗證——但還有一個同樣重要的方面經常被忽視：數據可訪問性。

在模組化區塊鏈時代，DA 解決方案已變得不可或缺。這些解決方案確保所有參與者都可以使用交易數據，從而實現即時驗證並維護網路的完整性。然而，DA 層的功能更像是廣告看板而不是資料庫。這意味著資料不會無限期地儲存；它會隨著時間的推移而被刪除，就像廣告看板上的海報最終會被新海報取代一樣。

另一方面，資料可存取性著重於檢索歷史資料的能力，這對於開發dApp 和進行區塊鏈分析至關重要。這一方面對於需要存取過去資料以確保準確表示和執行的任務至關重要。儘管數據可訪問性很重要，但討論得較少，但它與數據可用性一樣重要。兩者在區塊鏈生態系統中發揮不同但互補的作用，全面的數據管理方法必須解決這兩個問題，以支援強大而高效的區塊鏈應用程式。

區塊鏈資料之前是如何檢索的

自誕生以來，區塊鏈就徹底改變了基礎設施，並推動了遊戲、金融和社交網路等各個領域的去中心化應用程式(dApp) 的創建。然而，建立這些dApp 需要存取大量區塊鏈數據，這既困難又昂貴。

對於dApp 開發者來說，一種選擇是託管和運行自己的存檔RPC 節點。這些節點從一開始就儲存所有歷史區塊鏈數據，允許完全存取數據。但是，維護存檔節點的成本很高，查詢能力也有限，因此無法以開發人員所需的格式查詢資料。雖然運行較便宜的節點是一種選擇，但這些節點的資料檢索能力有限，這可能會妨礙dApp 的運作。

另一種方法是使用商業RPC（遠端過程呼叫）節點提供者。這些提供者負責節點的成本和管理，並透過RPC 端點提供資料。公共RPC 端點是免費的，但有速率限制，可能會對dApp 的使用者體驗產生負面影響。私有RPC 端點透過減少擁塞提供更好的效能，但即使是簡單的資料檢索也需要大量的來回通訊。這使得它們請求繁重，對於複雜的資料查詢效率低。此外，私有RPC 端點通常難以擴展，且缺乏跨不同網路的兼容性。

更好的替代方案：區塊鏈索引器

區塊鏈索引器在組織鏈上資料並將其發送到資料庫以便於查詢方面起著至關重要的作用，這就是為什麼它們經常被稱為「區塊鏈的Google」。它們的工作原理是索引區塊鏈資料並透過類似於SQL 的查詢語言（使用GraphQL等API）使其隨時可用。透過提供查詢資料的統一介面，索引器允許開發人員使用標準化查詢語言快速且準確地檢索所需的信息，從而大大簡化了流程。

不同類型的索引器透過各種方式優化資料檢索：

1. 完整節點索引器：這些索引器運行完整的區塊鏈節點並直接從中提取數據，確保數據完整準確，但需要大量的儲存和處理能力。

2. 輕量級索引器：這些索引器依靠完整節點根據需要獲取特定數據，從而減少儲存要求但可能會增加查詢時間。

3. 專用索引器：這些索引器專門針對某些類型的資料或特定的區塊鏈，可優化特定用例的檢索，例如NFT 資料或DeFi 交易。

4. 聚合索引器：這些索引器從多個區塊鏈和來源提取數據，包括鏈下信息，提供統一的查詢介面，這對於多鏈dApp 特別有用。

光是以太坊就需要3TB 的儲存空間，隨著區塊鏈的不斷成長，Erigon 存檔節點的資料儲存量也會不斷增加。索引器協定部署了多個索引器，可以有效地索引和高速查詢大量數據，這是RPC 無法實現的。

索引器還允許進行複雜查詢、根據不同標準輕鬆過濾資料以及提取後分析資料。一些索引器還允許聚合來自多個來源的數據，從而避免在多鏈dApp 中部署多個API。透過分佈在多個節點上，索引器提供了增強的安全性和效能，而RPC 提供者可能會因其集中式特性而中斷和停機。

總體而言，與RPC 節點提供者相比，索引器提高了資料檢索的效率和可靠性，同時也降低了部署單一節點的成本。這使得區塊鏈索引器協定成為dApp 開發人員的首選。

索引器用例

如前所述，建立dApp 需要檢索和讀取區塊鏈資料才能運行其服務。這包括任何類型的dApp，包括DeFi、NFT 平台、遊戲甚至社交網絡，因為這些平台需要先讀取資料才能執行其他交易。

DeFi

DeFi 協議需要不同的資訊才能為用戶報出特定的價格、比率、費用等。自動做市商(AMM) 需要有關某些資金池的價格和流動性資訊來計算掉期利率，而藉貸協議則需要利用率來確定借貸利率和清算的債務比率。在計算使用者執行的利率之前，將資訊輸入他們的dApp 是必不可少的。

遊戲

GameFi 需要快速索引和存取數據，以確保用戶流暢地玩遊戲。只有透過閃電般的資料檢索和執行，Web3 遊戲才能在效能上與Web2 遊戲相媲美，從而吸引更多用戶。這些遊戲需要土地所有權、遊戲內代幣餘額、遊戲內操作等數據。使用索引器，他們可以更好地確保穩定的資料流和穩定的正常運行時間，以確保完美的遊戲體驗。

NFT

NFT 市場和借貸平台需要索引資料存取各種信息，例如NFT 元資料、所有權和轉讓資料、版稅資訊等。快速索引此類資料可避免逐一瀏覽每個NFT 以尋找所有權或NFT 屬性資料。

無論是需要價格和流動性資訊的DeFi 自動做市商(AMM)，還是需要更新新用戶貼文的SocialFi 應用程序，能夠快速檢索資料對於dApp 正常運作至關重要。借助索引器，它們可以有效率、正確地檢索數據，從而提供流暢的使用者體驗。

分析

索引器提供了一種從原始區塊鏈資料（包括每個區塊中的智慧合約事件）中提取特定資料的方法。這為更具體的數據分析提供了機會，從而提供全面的見解。

例如，永續交易協議可以找出哪些代幣的交易量大，哪些代幣會產生費用，從而決定是否將這些代幣作為永續合約列在其平台上。 DEX 開發人員可以為自己的產品建立儀表板，深入了解哪些資金池的回報率最高或流動性最強。還可以建立公共儀表板，讓開發人員可以自由且靈活地查詢要在圖表上顯示的任何類型的資料。

由於有多個區塊鏈索引器可用，因此識別索引協議之間的差異對於確保開發人員選擇最適合其需求的索引器至關重要。

區塊鏈索引器概述

索引器概覽

The Graph

The Graph是第一個在以太坊上啟動的索引器協議，它可以輕鬆查詢以前不易存取的交易資料。它使用子圖定義和過濾從區塊鏈收集的資料子集，例如與Uniswap v3 USDC/ETH 池相關的所有交易。

使用索引證明，索引器質押原生代幣GRT 用於索引和查詢服務，委託人可以選擇將其代幣質押於此。策展人可以存取高品質的子圖，以幫助索引器確定要為哪些子圖編制資料以賺取最佳查詢費用。在向更大程度的去中心化過渡的過程中，The Graph 最終將停止其託管服務，並要求子圖升級到其網絡，同時提供升級索引器。

其基礎設施使每百萬次查詢的平均成本達到40 美元，這比自託管節點的成本要低得多。使用檔案資料來源，它還支援同時對鏈上和鏈下資料進行並行索引，以實現高效的資料檢索。

看看The Graph 的索引器獎勵，它在過去幾個季度中一直在穩步增長。這部分是由於查詢量的增加，但也歸因於代幣價格的成長，因為他們計劃在未來整合人工智慧輔助查詢。

Subsquid

Subsquid是一個點對點、水平可擴展的去中心化數據湖，可高效聚合大量鏈上和鏈下數據，並透過零知識證明進行保護。作為一個去中心化的工作器網絡，每個節點負責儲存來自特定區塊子集的數據，透過快速識別保存所需數據的節點來加快數據檢索過程。

Subsquid 還支援即時索引，允許在區塊最終確定之前對其進行索引。它還支援以開發人員選擇的格式儲存數據，從而便於使用BigQuery、Parquet 或CSV 等工具進行更輕鬆的分析。此外，子圖可以在Subsquid 網路上部署，而無需遷移到Squid SDK，從而實現無程式碼部署。

儘管仍處於測試網階段，Subsquid 已取得令人印象深刻的統計數據，擁有超過80,000 名測試網用戶，部署了超過60,000 個Squid 索引器，網路上有超過20,000 名經過驗證的開發人員。最近，6 月3 日，Subsquid 啟動了其資料湖的主網。

除了索引之外，Subsquid Network 資料湖還可以取代分析、ZK/TEE 協處理器、AI 代理程式和Oracle 等用例中的RPC。

SubQuery

SubQuery是一個去中心化的中間件基礎設施網絡，提供RPC 和索引資料服務。它最初支援Polkadot 和Substrate 網絡，現在已擴展到包括200 多個鏈。它的工作原理類似於使用索引證明的The Graph，索引器索引資料並提供查詢請求，委託人將股份質押給索引器。然而，它引入了消費者來提交購買訂單，以表明索引器的收入有保障，而不是管理者。

它將引入支援分片的SubQuery 資料節點，以防止每個節點之間不斷同步新數據，從而優化查詢效率，同時走向更大的去中心化。用戶可以選擇按每1000 個請求支付約1 SQT 代幣的計算費用，或透過協議為索引器設定自訂費用。

儘管SubQuery 在今年稍早才推出其代幣，但節點和委託人的發行獎勵也以美元價值環比增長，這也代表其平台上提供的查詢服務數量不斷增加。自TGE 以來，質押的SQT 總量已從600 萬增加到1.25 億，凸顯了其網路參與度的成長。

Covalent

Covalent是一個去中心化的索引器網絡，由區塊樣本生產者（BSP）網路節點透過批量導出的方式創建區塊鏈資料的副本，並在Covalent L1 區塊鏈上發布證明。這些資料再由區塊結果生產者（BRP）節點依照設定的規則進行細化，篩選出符合要求的資料。

透過統一的API，開發人員可以輕鬆以一致的請求和回應格式提取相關的區塊鏈數據，無需編寫自訂複雜查詢即可存取資料。可以使用在Moonbeam 上結算的CQT 代幣作為支付手段從網路營運商提取這些預先配置的資料集。

Covalent 的獎勵從23 年第一季到24 年第一季似乎整體呈現成長趨勢，部分原因是Covalent 代幣CQT 價格上漲。

選擇索引器的注意事項

數據的可自訂性

有些索引器（例如Covalent）是通用索引器，僅透過API 提供標準的預先配置資料集。雖然它們可能很快，但它們無法為需要自訂資料集的開發人員提供靈活性。透過使用索引器框架，它允許進行更多自訂資料處理以滿足特定於應用程式的需求。

安全

索引資料必須是安全的，否則基於這些索引器建構的dApp 也容易受到攻擊。例如，如果交易和錢包餘額可以被操縱，dApp 就有可能失去流動性，從而影響其用戶。雖然所有索引器都透過索引器質押代幣來採用某種形式的安全性，但其他索引器解決方案可能會使用證明來進一步提高安全性。

Subsquid 提供了使用樂觀和零知識證明的選項，而Covalent 也發布了包含區塊哈希值的證明。 Graph 以樂觀挑戰視窗期的方式針對索引器查詢提供爭議挑戰期，而SubQuery 為每個區塊產生Merkle Mountain 證明，以計算其資料庫中儲存的所有資料的每個區塊的雜湊值。

速度和可擴展性

隨著區塊鏈的不斷增長，交易量也隨之增加，這使得索引大量資料變得更加繁瑣，因為需要更多的處理能力和儲存空間。隨著區塊鏈網路的成長，保持效率變得更加困難，但索引器協議引入了解決方案來滿足這些日益增長的需求。

例如，Subsquid 透過添加更多節點來儲存數據，從而實現水平擴展，隨著硬體改進，它能夠擴展。 Graph 提供平行流數據，以更快地同步數據，而SubQuery 引入節點分片來加快同步過程。

支援的網路

儘管大多數區塊鏈活動仍在以太坊內進行，但隨著時間的推移，不同的區塊鏈越來越受歡迎。例如，Layer 2s、Solana、Move 區塊鏈和比特幣生態系統鏈都有自己的一套不斷成長的開發人員和活動，這也需要索引服務。

為其他索引器協議不支援的某些鏈提供支援可以獲得更多市場份額費用。索引資料密集型網路（如Solana）並非易事，到目前為止，只有Subsquid 成功為它們提供索引支援。

結論

儘管索引器在dApp 開發中被廣泛採用，但索引器的潛力仍然巨大，尤其是在整合AI 的情況下。隨著AI 在Web2 和Web3 中的不斷普及，其改進能力取決於存取相關資料以訓練模型和開發AI 代理。確保資料完整性對於AI 應用程式至關重要，因為它可以防止模型被輸入有偏見或不準確的資訊。

在索引器解決方案領域，Subsquid 在效能和使用者指標方面取得了重大進展。使用者已經開始嘗試使用Subsquid 建立AI 代理，展示了該平台在不斷發展的資料索引領域的多功能性和潛力。此外，AutoAgora 等工具可協助索引器使用AI 為The Graph 上的查詢服務提供動態定價，而SubQuery 支援多個AI 網路（如OriginTrail 和Oraichain），以實現透明的資料索引。

人工智慧與索引器的整合有望增強區塊鏈生態系統中的資料可存取性和可用性。透過利用人工智慧技術，索引器可以提供更有效率、更準確的資料檢索，使開發人員能夠建立更複雜的dApp 和分析工具。隨著人工智慧和索引器繼續共同發展，我們仍然對資料索引的未來及其在塑造去中心化數位格局中的作用持樂觀態度。