什麼是Data Availability
大家都知道,區塊鏈技術的一個特點就是:存放在鏈上的數據是安全可靠的,不可篡改的。那數據可用性是指的什麼呢?難道區塊鏈的共識不能保證數據的安全了嗎?顯然不是,區塊鏈數據的安全性,是大家都認可的,也是區塊鏈一直持續發展的一個動力之一。那麼DA(數據可用性)層是什麼,我們先來看看下面幾種情況。
一個節點如果想驗證某一筆交易或者某一個區塊,這個節點需要下載所有的區塊和交易數據。由於區塊鏈的持續運行,區塊和交易數據會持續增長,這個節點的成本也會越來越高。以至於越來越多的節點(特別是個人用戶)只能選擇運行輕節點。這些輕節點,沒有下載所有的交易數據,它們不能對交易和區塊進行驗證,只能相信它們選擇的共識節點(全節點)。因此,實際上這些輕節點是不知道獲得的數據是否可用。
同時區塊鍊網絡為了提高效率,一直在嘗試進行擴容。以太坊的L2 就是以太坊的一種擴容方案,從而提高以太坊的吞吐量。但L1 和L2 在本質上還是兩個網絡,L1 是不會參與L2 的共識,也不會驗證和執行L2 的交易,同理L2 也不會參與L1 的共識,亦不會驗證和執行L1 的交易。但是在此時,L1 與L2 之間其實是有信任問題的,例如:Rollup 要求將所有交易數據都記錄到以太坊的交易中,那麼Rollup 的用戶為了驗證自己的交易是否存入以太坊,他還需要運行一個以太坊的全節點嗎?
從目前區塊鏈的工作機制當中我們可以知道,當一個節點不參與共識的時候,特別是沒有存儲所有交易數據的時候,對於它自己獲得的數據是否有效它是無法驗證的,這些節點目前都只能相信自己連接的共識節點不會欺騙自己,或者多連接幾個共識節點,做一個小小的容錯。
因此DA層解決的問題是,在不參與共識、以及不用存儲所有交易數據的情況下,依然能夠對交易進行驗證,從而證明這個交易是否可用。
Celestia
在上面先介紹了什麼是DA,接下來,我們再來看看Celestia 項目是打算如何來解決這個問題的。
Celestia 項目圍繞二維Reed-Solomon 糾刪碼,設計了一套隨機抽樣來驗證數據、以及恢復數據的方案從而確保數據可用。
當一個全節點發現輕節點收到有問題的數據時,會構建一個欺詐證明並發送給這個輕節點,輕節點收到欺詐證明之後,從網絡中通過隨機抽樣的方式,獲得需要的數據,來驗證這個欺詐證明是否有效,從而能夠明確的知道自己之前獲得的數據是否可用。輕節點不需要信任給自己發送數據的節點,也不需要信任給自己發送欺詐證明的節點,這是因為輕節點是通過隨機抽樣的方式,來獲取進行此次驗證所需要的數據,因此安全性能是由整個網絡來提供的。這樣也使得DA 層的安全等級,能夠接近共識層的安全等級。
接下來,我們來了解一下Celestia 具體是如何工作的。由於Celestia 項目還處於開發測試階段,因此這裡採用的都是現階段的白皮書的介紹方案,可能會與實際的解決方案有出入。
準備
欺詐證明的驗證,必須是高效的,並且不需要全部的交易數據,也不需要執行具體的交易,因此Celestia 對於自己區塊的數據,進行了一些擴展。
1. stateRoot
狀態的稀疏默克爾樹的根,這種默克爾樹的葉節點,是一個key-value 對。
定義了一種變量,狀態見證(w):是一些key-value 對,以及他們在默克爾樹中的證明,組成的集合:
定義了一個函數,rootTransition :可以通過狀態根、交易、以及這些交易的狀態見證,轉換得到交易執行後的狀態的根。也就是每個交易執行後的狀態的默克爾根stateRoot`可以通過rootTransition(stateRoot, t, w) 得到
2. dataRoot
將交易,以及這些交易執行的中間狀態根,組合成一個固定大小與固定格式的shares 。這些所有的交易的shares ,按照二維RS糾刪碼,進行擴展,最後得到一個默克爾樹的根,即dataRoot。
-
具體步驟
-
將初始的交易數據,按照shares 的大小與格式進行封裝。
-
將shares 放入一個k×k 的矩陣,如果數量不夠,則填充補齊。
-
然後應用RS 糾刪碼,按照行和列進行3 次補齊,最終得到一個2k⋅2k 的矩陣。
-
對這個矩陣的每一行和每一列,都構建一個默克爾樹,得到2⋅k 個行根和2⋅k 個列根。
-
最後將這4⋅k 個根,組成一個默克爾樹,得到根dataRoot。
-
shares
shares 是Celestia 項目定義的一個固定大小和格式的數據結構。主要內容是交易,以及執行這些交易的中間狀態根。
由於沒有具體規定多少交易,需要生成對應的中間狀態根,項目方設定了一個Period變量,作為最大限制週期,這個限制可以是最大多少交易之內必須生成中間狀態根,也可以是多少字節,或者多少GAS。
還定義了兩個函數來幫助驗證:
parseShares 函數:輸入shares,得到消息m,可以是中間狀態根,也可能是交易。
parsePeriod 函數:輸入消息,得到前狀態根,執行後狀態根,以及交易列表。
-
固定256 字節
-
0-80:開始的交易
-
81-170:包含的交易
-
171-190:中間狀態根
-
191-256:下一批開始的交易
-
設定的格式舉例
白皮書中,介紹了兩種欺詐證明,下面將分別對此進行介紹:
3. 狀態轉換無效的欺詐證明
這是一個針對stateRoot 的一個欺詐證明。全節點利用dataRoot 中的shares,來幫助輕節點驗證收到的區塊頭中的stateRoot 是否有效。
狀態轉換無效的欺詐證明的組成:
-
對應塊的blockhash
-
相關的shares
-
這些shares 在dataRoot 對應的默克爾樹中的默克爾證明
-
這些shares 包含的交易的狀態見證。
證明的驗證:
-
驗證blockhash,確定是對於哪個區塊的欺詐證明。
-
驗證證明中的每個shares 的默克爾證明是否有效。
-
通過shares 的兩個解析函數,可以正確得到對應的交易列表,以及這批交易的執行前狀態根和執行後狀態根。並且如果執行前狀態根為空,則第一個交易一定是塊的第一筆交易;同時如果執行後狀態根為空,則最後一筆交易一定也是塊的最後一筆交易。
-
根據rootTransition 函數,來驗證得到的兩個狀態根。
4. 錯誤生成擴展數據的欺詐證明
這是一個針對shares 在網絡傳播時,當一個全節點從網絡中收到shares 恢復的數據,與自己的數據不匹配時,會向網絡回應欺詐證明。
錯誤生成擴展數據的欺詐證明的組成:
-
錯誤的shares 所在行或列的默克爾根。
-
這個行或列的默克爾根,在dataRoot 對應的默克爾樹中的默克爾證明。
-
這足夠恢復這一行或列的shares。 (大於等於k 個)
-
每個shares 在dataRoot對應的默克爾樹中的默克爾證明。
證明的驗證:
-
驗證blockhash,確定是對於哪個區塊的欺詐證明。
-
驗證證明中行或列的默克爾根的默克爾證明是否有效。注:VerifyMerkleProof(行或列的默克爾根,行或列的默克爾根的默克爾證明,dataRoot,長度,位置索引) 其中前面2個數據是證明攜帶的數據,後面3個是本地(之前接收的)數據。
-
驗證證明中每個shares 的默克爾證明是否有效。注:VerifyShareMerkleProof(shares,shares 的默克爾證明,dataRoot,長度,位置索引) 其中dataRoot是本地數據,另外數據都是從證明中獲得。
-
通過收到的shares,恢復這一行或列的所有數據,並驗證其默克爾根是否等於自己之前收到的對應行或列的默克爾根。
數據可用性
通過2 維RS 糾刪碼,Celestia 的輕節點通過隨機抽樣的方式,來獲取區塊數據,以及驗證欺詐證明的相關數據。同時隨機抽樣的數據,並在網絡中傳播,當達到一定的數量時,也可以幫助網絡恢復區塊數據。下面介紹一下具體的工作流程:
-
輕節點從任意一個連接的全節點中獲取一個新區塊的塊頭,以及2k 個行和2k 個列的默克爾根。先用這些默克爾根與區塊頭中的dataRoot 進行初步校驗。如果錯誤則拒絕這個區塊頭。
-
在這個2k × 2k 的矩陣中,輕節點隨機挑選一組不重複的坐標,將這些坐標發送給與自己相連的全節點們。
-
如果一個全節點擁有這些坐標所對應的所有數據,就會將這個坐標對應的shares,以及shares 的行或列的默克爾證明,回應給輕節點。
-
輕節點對於每一個收到的shares,都會驗證其默克爾證明是否有效。注:VerifyMerkleProof( shares,shares 所在行或列的默克爾證明,對應行或列的默克爾根,長度,坐標位置索引)其中前面2 個數據是證明攜帶的數據,後面3 個是本地(之前接收的)數據。
-
如果一個全節點沒有回應某一個坐標的shares,輕節點則會將自己收到的對應的shares、以及它的默克爾證明發送給這個全節點,這個全節點也會將收到的數據轉發給相連的其他全節點。
-
如果步驟4 中的驗證都沒有問題,並且步驟2 中抽樣的坐標都有收到回應,同時在一個設定的時間段內沒有收到關於這個區塊的欺詐證明,則輕節點認為這個區塊是數據可用的。