《沙丘AI評估:區塊鏈分析師將失業嗎? 》


11月初,Web3資料分析基礎架構Dune推出DuneAI,使用者可以使用其自然語言引擎以任何語言提出問題,只需了解SQL即可獲得加密貨幣資料感知。 Odaily透過多個問題對Dune AI進行測試,驗證其可用性和可靠性。測試結果顯示,Dune AI的SQL基本功準確,但有自然語意處理能力不足、準確度不足、不存在抽象理解能力等問題。除了簡單比較的問題外,Dune AI只能作為查詢的編寫助手,答案是否可靠還需要手動對SQL內容進行驗證。

原創| Odaily星球日報

作者|南枳

11月初,Web3資料分析基礎設施Dune宣布推出DuneAI,使用者可以使用其自然語言引擎以任何語言提出問題,只需了解SQL即可獲得加密貨幣資料感知。 Odaily將透過從簡單到複雜的多個問題,對Dune AI進行測試,驗證其可用性和可靠性。

案例1——特定協議交易量查詢

問題: Blur過去七天的每日交易量(按天找出Blur過去7天的交易量)?

將Dune AI 給出的答案與Dune 上按讚最多的模糊查詢(右下圖),數據對比如下,兩者有接近1% 的差值。

案例2-特定網路交易量查詢

問題: Arbitrum 網路今天執行了多少筆交易(Arbitrum 今天處理了多少筆交易)?

左圖為Dune AI 給出的答案,右邊為Odaily 編輯的查詢,兩者結果基本上一致(差異來自查詢執行時間不同)。

Dune AI評量:鏈上分析師會下崗嗎?

案例3-標註歧義的查詢

問題: Uniswap 上週日交易總量(Uniswap 上週按日總成交量)?

在這裡,出現了三個問題:

Dune AI 將查詢範圍限制在以太坊上,而Uniswap 部署在多個鏈上,且原問並沒有這個要求。

與DefiLlama上的Uniswap數據對比,差異增大,以24日至26日為例,分別外增6%、9%和11%。

Dune AI評量:鏈上分析師會下崗嗎?

這裡不清楚想要查詢的是上一個星期週一到週日的數據,而這裡上週被解釋為過去七日,為進一步驗證,將查詢語句修改為“上一個完整週的Uniswap日交易量” ( Uniswap 前一周的總交易量)”,結果如下圖所示,仍然查詢的是過去七日的數據。

Dune AI評量:鏈上分析師會下崗嗎?

案例4-多條件複雜查詢

問題:過去一週在以太坊和Arbitrum 之間使用Stargate 跨鏈的每日金額(過去一週使用Stargate 在以太坊和Arbitrum 之間橋接的每日金額)?

Dune AI評量:鏈上分析師會下崗嗎?

查詢結果為空,Odaily對查詢進行查驗後,整體查詢內容和語法都沒有問題,查詢出錯的原因提出選擇了錯誤的資料集“stargate_arbitrum.ProxyOFT_evt_SendToChain”,這是一個只有12條資料的資料集。

案例5——模糊查詢

問題:Uniswap 的收入、Unibot 的收入?

Dune AI 要求進一步明確的問題,而不會自主提出總交易量/日交易量等不同的查詢。

Dune AI評量:鏈上分析師會下崗嗎?

而進一步明確問題“Uniswap的日收入(Uniswap的每日收入)”,Dune AI開始查詢,但最終給出了錯誤答案,將日交易量作為Uniswap的收入進行了計算。

Dune AI評量:鏈上分析師會下崗嗎?

案例6—新概念查詢

問題:pols的銘刻詳情(pols的銘刻過程)?

Dune AI並不能理解銘刻(inscription)的概念,儘管站內已有人寫過pols的相關查詢。

Dune AI評量:鏈上分析師會下崗嗎?

小結

Dune AI 的SQL 基本功準確,只要有對應的資料能寫出對應的查詢,但仍有正確的自然語意處理能力不足、準確度不足、不存在抽象理解能力等問題。目前來看除了簡單比較的問題另外,Dune AI只能作為查詢的編寫助手,答案是否可靠還需要人工對SQL內容進行驗證。

資訊來源:0x資訊編譯自網際網路。版權歸作者Odaily星球日報所有,未經許可,不得轉載

Total
0
Shares
Related Posts