Dencun 升級後以太坊歷史資料的長期儲存與存取問題如何解決？

作者：0xNatalie 來源：ChainFeeds

以太坊狀態資料膨脹問題與解決方案

隨著以太坊網路的流行和應用需求的增加，其歷史狀態資料開始快速成長。為因應此問題，以太坊一步步改進，從最初的全節點到輕客戶端，再到近期的Dencun 升級引入狀態過期功能來自動清理長期未使用的資料。

以太坊的長期目標之一是透過實現分片將資料分散到不同的區塊鏈上，來減少單一區塊鏈的負載，Dencun 升級中實施的EIP-4844 是以太坊網路向全面實施分片的重要一步。 EIP-4844 引入了「blobs」臨時資料類型，讓Rollup 以更低的成本提交更多資料到以太坊主鏈。為了控制狀態資料膨脹，以太坊將blobs 資料在共識層節點儲存約18 天後刪除。

除了以太坊本身的改進，還有一些項目例如 Celestia、Avail 和 EigenDA 也在建立解決方案以改善數據問題。他們提供了有效的短期數據可用性（DA）解決方案，增強了區塊鏈的即時操作和可擴展性。然後這些方案並沒有解決那些需要長期存取歷史資料的應用，例如依賴長期儲存使用者驗證資料的dApp 或需要進行人工智慧模型訓練的dApp。

為了解決以太坊生態系統中長期資料儲存的挑戰，EthStorage、Pinax、Covalent 等專案提出了解決方法。 EthStorage 為Rollup 提供了長期的DA，確保資料可以長期存取和使用。 Pinax、The Graph 和 StreamingFast 共同開發了長期儲存和檢索blobs 封包的方案。 Covalent 的Ethereum Wayback Machine（EWM）不僅是長期資料儲存解決方案，也是可以實現資料查詢和分析的完整系統。

隨著人工智慧成為全球技術發展的主流趨勢，其與區塊鏈技術的結合也被視為未來的發展方向。這種趨勢導致了對歷史資料存取和分析需求不斷增長。在這種背景下，EWM 展現出其獨特的優勢。 EWM 提供了對以太坊歷史資料歸檔和資料處理，使得使用者可以檢索複雜的資料結構，對智慧合約的內部狀態、交易結果、事件日誌等進行深入分析和查詢。

Ethereum Wayback Machine (EWM) 簡介

Ethereum Wayback Machine（EWM） 借鑒了Wayback Machine 的概念，保存以太坊上的歷史數據，並使其可以被存取和驗證。 Wayback Machine 是由互聯網檔案館(Internet Archive) 創建的一個數位檔案項目，旨在記錄和保存互聯網的歷史。這個工具讓使用者可以查看過去不同時間點上某個網站的存檔版本，幫助人們了解網站內容的歷史變化。

歷史數據是區塊鏈誕生的根本原因，不僅支撐了區塊鏈的技術架構，也是其經濟模型的基石。區塊鏈設計之初，就是為了提供一個公開、不可更改的歷史記錄。例如比特幣，是為了創建一個不可篡改、去中心化的帳本，它記錄每一筆交易的歷史，以確保交易的透明性和安全性。歷史資料的需求場景非常廣泛，但目前缺乏一種高效且可驗證的儲存方式。 EWM 作為長期DA 解決方案，能夠永久儲存數據，包括blob 數據，可以應對因狀態過期和數據分片帶來的歷史數據可存取性問題。 EWM 專注於以太坊上歷史資料的歸檔和長期可存取性，支援複雜的資料結構查詢。接下來，我們將詳細探討EWM 如何透過其獨特的資料處理流程，實現這一目標。

EWM 的資料處理流程：擷取、精煉與索引

Covalent 是為用戶提供對區塊鏈資料的存取和查詢服務的平台。它透過捕獲和索引區塊鏈數據，並將其儲存在網路上的多個節點上，實現了數據的可靠儲存和快速存取。 Covalent 透過Ethereum Wayback Machine（EWM）來處理數據，確保區塊鏈歷史數據的持續可存取性。 EWM 資料處理流程包括三個關鍵步驟：提取和匯出（Extraction and Export）、精煉（Refinement）、索引和查詢（Indexing and Query）。

1. 提取和導出：這是流程的第一步，涉及從區塊鏈網路中直接提取歷史交易資料。這一步驟由專門的實體，即Block Specimen Producers（BSP），執行。 BSP 的主要任務是創建並保存「區塊樣本」，即區塊鏈資料的原始快照。這些區塊樣本作為區塊鏈歷史狀態的規範表示，關鍵在於保持資料的完整性和準確性。創建後，這些區塊樣本會被上傳到分散式伺服器（基於IPFS 建置），並透過ProofChain 合約進行發布和驗證。這樣不僅確保了資料的安全性，同時也為其他人提供了關於資料已被安全保存的訊號。

2. 精煉：在資料擷取後，由Block Results Producers（BRP）來精煉。 BRP 負責將基礎資料轉化為更有用的形式。傳統的區塊鏈資料存取方法通常只能提供有限的信息，且不易於查詢複雜的資料結構。透過重新執行和轉換數據，BRP 能夠提供更詳盡的信息，如合約內部狀態、交易執行路徑等。此外，BRP 透過預處理和儲存加工後的數據，顯著減少了對每次查詢或數據分析重新運行完整節點的需求，從而提高了查詢速度，並降低了儲存和計算成本。至此，原始的「區塊樣本」轉化為更容易被查詢和分析的形式「區塊結果」。這個過程不僅加快了Covalent 網路的效能，也為資料的進一步查詢和分析提供了更多的可能性。

3. 索引和查詢：最後查詢運營商（Query Operators）將處理好的資料整理並保存在方便查找的位置。根據API 用戶的需求，從分散式伺服器中提取數據，確保歷史和即時數據都可以用於回應API 查詢。這樣用戶便能夠有效地存取並利用儲存在Covalent 網路中的區塊鏈資料。

Covalent 提供統一的GoldRush API，支援從多個區塊鏈（如以太坊、Polygon、Solana 等）取得歷史資料。這個GoldRush API 為開發者提供一站式數據解決方案，讓開發者透過單一的呼叫來獲取帳戶的ERC20 代幣餘額和NFT 數據，從而輕鬆建立加密貨幣和NFT 錢包（如Rainbow、Zerion），極大簡化了開發流程。此外，使用API​​ 存取DA 資料需要消耗信用積分（Credit），不同類型的請求被分成不同類別（A 類、B 類、C 類等），每個類別都有自己特定的信用成本。這筆收入用於支持營運商網路。

未來展望

隨著AI 的快速發展，AI 與區塊鏈的結合趨勢愈發明顯。區塊鏈技術為AI 提供了一個不可篡改且分散式驗證的資料來源，增強了資料透明度和信任度，使AI 模型在資料分析和決策時更精確可靠。 AI 透過分析鏈上數據，能優化演算法和預測趨勢，進而直接執行複雜任務和交易，顯著提高dApp 的效率和降低成本。透過EWM，AI 模型可以存取廣泛的鏈上結構化Web3 資料集，並且這些資料具有完整性和可驗證性。 EWM 作為AI 模型與區塊鏈之間的橋樑，大大方便了AI 開發人員的資料檢索和利用。

目前已經有一些AI 專案整合了Covalent：

• SmartWhales：利用AI 技術優化複製交易（copy trading）投資策略的平台。複製交易依賴對歷史資料的分析來識別成功的交易模式和策略。 Covalent 提供全面且詳盡的區塊鏈資料集，SmartWhales 透過這些數據分析過去的交易行為和結果，識別出哪些策略在特定市場條件下表現良好推薦給用戶。

• BotFi：DeFi 交易機器人。透過整合Covalent 的數據來分析市場趨勢和自動化交易策略，並根據市場變化自動進行買賣操作。

• Laika AI：利用AI 進行全面的鏈上分析。 Laika AI 平台透過整合Covalent 提供的結構化區塊鏈數據，來驅動其AI 模型，幫助用戶進行複雜的鏈上數據分析。

• Entendre Finance: 自動化DeFi 資產管理，提供即時洞察和預測分析。其AI 利用Covalent 的結構化資料來簡化和自動化資產管理，例如監控和管理數位資產的持有情況、自動執行特定的交易策略等。

EWM 也在隨著需求的改變不斷的改進升級，Covalent 工程師Pranay Valson 表示，未來EWM 將擴展協議規範以支援其他區塊鏈如Polygon 和Arbitrum，並將BSP 分叉整合到如Nethermind 和Besu 等以太在坊客戶端中，以實現更廣泛的相容性和應用。此外，EWM 在信標鏈上處理blob 交易時，將使用KZG 承諾，以提升資料的儲存和檢索效率，減少儲存成本。