Dune AI評量:鏈上分析師會下崗嗎?

原創| Odaily星球日報

作者| 南枳

11 月初,Web3資料分析基礎架構 Dune 宣布推出 DuneAI,使用者可以使用其自然語言引擎以任何語言提出問題,無需了解 SQL 即可獲得加密資料見解。 Odaily 將透過從簡單到複雜的多個問題,對 Dune AI 進行測試,驗證其可用性和可靠性。

案例 1 ——特定協議交易量查詢

問題: Blur 過去七天的每日交易量(Find the Blur volume in the for last 7 days, by day)?

將 Dune AI 給出的答案與 Dune 上按讚最多的 Blur query(右下圖),數據對比如下,二者有接近1% 的差值。

案例 2 ——特定網路交易量查詢

問題: Arbitrum 網路今天執行了多少筆交易(How many transactions were processed today in arbitrum)?

左圖為Dune AI 給出的答案,右邊為Odaily 所編輯query,二者結果大致一致(差異來自query 執行時間不同)。

Dune AI評量:鏈上分析師會下崗嗎?

案例 3 ——帶有歧義的查詢

問題: Uniswap 上週日交易總量(Total volume on Uniswap last week by day)?

在這裡,出現了三個問題:

  • Dune AI 將查詢範圍限制在了以太坊上,而 Uniswap 部署於多個鏈上,並且原始提問並沒有這個要求。

  • 與DefiLlama 上的 Uniswap資料對比,差值較大, 24 日至26 日為例,分別相差6% 、 9% 和11% 。

Dune AI評量:鏈上分析師會下崗嗎?

  • 這裡原本想要查詢的是上一個星期週一至週日的數據,而此處的last week被解釋為過去七日,為進一步驗證,將查詢語句修改為「上一個完整週的Uniswap日交易量(The total volume on Uniswap for the previous full week by day)”,結果如下圖所示,仍然查詢的是過去七日的數據。

Dune AI評量:鏈上分析師會下崗嗎?

案例 4 ——多條件複雜查詢

問題:過去一週使用 Stargate 在以太坊和 Arbitrum 之間跨鏈的每日金額(The daily amount bridged between Ethereum and Arbitrum using Stargate over the past week)?

Dune AI評量:鏈上分析師會下崗嗎?

查詢結果為空,Odaily 對 query 進行查驗後,整體查詢內容和語法都沒有問題,查詢出錯的原因在於選擇了錯誤的資料集“stargate_arbitrum.ProxyOFT_evt_SendToChain”,這是一個只有 12 個資料的資料集。

案例 5 ——模糊查詢

問題:Uniswap 的收入、 Unibot 的收入?

Dune AI 要求進一步明確問題,而不會自主給出總交易量/日交易量等不同的query。

Dune AI評量:鏈上分析師會下崗嗎?

而進一步明確問題“Uniswap的日收入(daily revenue of Uniswap)”,Dune AI開始查詢,但最終給出了錯誤答案,將日交易量作為Uniswap的收入進行了計算。

Dune AI評量:鏈上分析師會下崗嗎?

案例 6 ——新概念查詢

問題:pols 的銘刻詳情(the inscription process of pols)?

Dune AI 不能理解銘刻(inscription)的概念,儘管車站內已有人寫過pols 的相關query。

Dune AI評量:鏈上分析師會下崗嗎?

小結

Dune AI 的 SQL 基本功紮實,只要有對應的資料能夠正確寫出對應的 query,但是還存在著自然語意處理能力不足、準確性不足、不存在抽象理解能力等問題。目前來看除了比較簡單的問題外,Dune AI 僅能作為query 的撰寫助手,答案是否可靠還需要人工對SQL 內容進行驗證。

Total
0
Shares
Related Posts