所有計算棧都需要存儲,否則一切都是空談。隨著計算資源持續增加,出現了大量未被充分利用的存儲空間。分佈式存儲網絡(DSN)能夠協調和利用這些潛在資源,將其轉化為生產性資產。這些網絡有潛力為Web 3生態引入第一個真正的商業垂直領域。
P2P發展史
Napster的出現標誌著嚴格意義上的P2P文件共享進入主流視線。此前也有其他文件共享方法,但Napster的MP3文件共享才帶動了P2P的普及。自此,分佈式系統開始迅猛發展。由於Napster模式的中心化(用於索引),它很容易因觸碰法律法規而被關停,但它為更強大的文件共享方法奠定了基礎。
Gnutella協議就是遵循這種思路,曾有許多不同前端以各自的方式利用該網絡。作為一個更接近分佈式的Napster式查詢網絡,Gnutella更能應對審查,這一點在當時也有驗證。 AOL收購了正在上升期的Nullsoft,意識到了其能量並果斷取消了發布。然而,產品已經流出並很快被逆向工程,帶來了Bearshare、Limewire和Frostwire等為人們熟知的前端應用。最終導致此類應用失敗的是帶寬要求(當時屬稀缺資源)以及缺乏活性和內容保證。
有印象嗎?沒有也沒關係,它已經重生為一個NFT市場(https://limewire.com/product)……
接下來出現的BitTorrent是一個升級,這得益於該協議的雙向性質和其維護分佈式哈希表(DHT)的能力。 DHT的重要性在於它類似一個分佈式的賬本,存儲文件的位置,可供網絡中其他參與節點進行查找。
比特幣和區塊鏈誕生後,人們開始展望這種新型協調機制是否能連接潛在的未使用資源和商品網絡,分佈式存儲網絡(DSN)開始萌芽。
其實,很多人沒有意識到,代幣和P2P網絡的起點並不是比特幣和區塊鏈。 P2P網絡的最初締造者已經意識到以下幾點:
-
因為分叉的存在,構建有用協議再變現十分困難。即使利用前端廣告投放等方式實現變現,也會被分叉壓價。
-
使用情況差異大。以Gnutella為例,70%的用戶不共享文件,而50%的請求集中在前1%的主機託管的文件。
冪定律
如何解決這些問題? BitTorrent是從分享率入手(下載/上傳比率),其他協議則引入了原始的代幣系統。它們通常將代幣稱為信用或積分,通過分發代幣激勵良好行為(促進協議的健康發展)和對網絡的維護(比如通過可信度評級來管理內容)。關於這方面的歷史,我強烈推薦閱讀John Backus(https://twitter.com/backus)的文章(現已刪除,但可通過互聯網檔案館閱讀):
-
Fat Protocols Aren’t New/胖協議不是新鮮事(https://qhexub4or3ek2jwgl7cokovs4yyb7pefuxpbum4v2ceptfzsis5q.arweave.net/gcl6B46OyK0mxl_E5Tqy5jAfvIWl3hozldCI-ZcyRLs)
-
What If BitTorrent had a Token?/如果BitTorrent當年選擇了代幣? (https://hwfgxuwbbbn5w2zay3tjplvhyuv2dhfep7wc7vnj4ledn6vy3e7q.arweave.net/PYpr0sEIW9trIMbml66nxSuhnKR_7C_VqeLINvq42T8)
值得一提的是,Ethereum的最初願景中就包含分佈式存儲網絡(DSN),並稱其為“三位一體”,旨在為世界計算機的繁榮發展提供必要工具。有傳言說,是Gavin Wood提出了Swarm作為存儲層,Whisper作為消息傳遞層的概念。
總之,主流的分佈式存儲網絡誕生。接下來的事大家都知道了。
分佈式存儲網絡格局
分佈式存儲網絡的市場格局非常有趣,頭部(Filecoin)的規模與新興存儲網絡之間存在鴻溝。在一般人的印像中,存儲領域由Filecoin和Arweave兩個巨頭主導,但按照使用量計算,Arweave排名第四,位於Storj和Sia之後(儘管Sia的使用量似乎下滑)。雖然我們可以對Filecoin上的數據真實性提出懷疑,但即使打折90%,Filecoin的使用量仍然是Arweave的約400倍。
從中可以推斷出什麼呢?
首先,目前市場上存在主導企業,但這種主導地位能否延續取決於存儲資源是否有用。
這些分佈式存儲網絡(DSN)大體使用相同架構,節點運營者擁有大量未使用的存儲資產(硬盤),他們可以將這些資產作為質押,通過存儲數據來挖掘區塊並獲得挖礦獎勵。定價和實現永久存儲的方法可以不同,最重要的差異化是讓用戶能夠輕鬆且以合理的成本檢索和處理存儲的數據。
存儲網絡容量和使用量對比
注:
1. Arweave的容量無法直接測量,不過,其機制鼓勵節點運營者確保足夠的緩衝區,增加供應滿足需求。那麼這個緩衝區有多大呢?由於無法測量,我們無法確定。
2. Swarm的實際網絡使用情況無法確定,能看到已支付的存儲空間量,是否使用不得而知。
表格中的項目都在持續運作中,此外還有一些計劃中的分佈式存儲網絡(DSN),比如ETH Storage、MaidSafe等。
FVM
討論FVM之前不得不提Filecoin最近推出的FEVM(Filecoin Ethereum虛擬機)。 FEVM是一個採用hypervisor概念,支持許多其他運行時的WASM虛擬機。例如,FEVM是基於FVM/FIL網絡的Ethereum Virtual Machine運行時。 FEVM值得強調的原因是它促進了FIL上智能合約(即stuff)相關活動的爆發。三月份FEVM推出之前,FIL上基本只有11個活躍的智能合約,而在FVM推出之後,智能合約數爆增。可組合性的好處凸顯出來,Solidity中完成的工作可用於在FIL之上建立新業務,種種創新因此成為可能,比如GLIF團隊開發的準流動型質押基元,以及市場金融化方面的創新。我們認為FVM會加速存儲提供者增長,因為資本效率提高了(存儲提供者需要FIL來積極地提供存儲/封裝存儲交易)。與傳統LSD不同,個體存儲提供者的信用風險需要評估。
永久存儲
我相信Arweave在這方面風聲最大,因為它的口號直擊Web 3參與者最深層次的願望:永久存儲。
但永久存儲究竟意味著什麼?它無疑是令人嚮往的特性,然而現實中,執行才是一切。能否執行關鍵在於可持續性和終端用戶的成本。 Arweave採用一次付費永久存儲的模式(200年的提前付款+ 存儲價值遞減的假設)。這種定價模型適用於處於通縮定價環境中的標的資產,依靠持續的商譽增值(即舊交易補貼新交易),但在通脹環境中則恰恰相反。歷史上這種定價模型沒有問題,因為計算機存儲的成本從出現起保持下降趨勢,但僅僅考慮硬盤成本是不全面的。
Arweave通過Succinct Proof of Random Access(SPoRA)算法的激勵機制來創建永久存儲,該算法鼓勵礦工存儲所有數據並證明他們可以隨機生成歷史區塊。這樣做可以增加礦工被選中創建下一個區塊(並獲得相應獎勵)的概率。
雖然這種機制會讓節點運營者想要存儲所有數據,但並不能保證他們會這麼做。即使設置了高冗餘度並使用保守試探法來確定模型參數,也永遠無法排除潛在的損失風險。
實現永久存儲唯一的方法就是明確強制某個人(或所有人)去執行,執行不利就會被剔除。如何激勵人們去承擔這種責任?試探法本身沒有問題,但最佳的永久存儲實現途徑和定價方式還需要我們去探尋。
經過一番鋪墊,我們最終要問,對於永久存儲,人們能接受怎樣的安全水平,然後再在給定時間範圍內考慮定價。現實中,消費者的偏好總會落在復制頻譜(永久性)內,他們應該要能夠選擇安全水平,並獲得相應的定價。
傳統投資文獻和研究充分展示了多樣化對降低投資組合整體風險的好處。最初的分散投資可以降低組合的風險,但隨著時間的推移,再增加一支股票的效益幾乎為零。
我認為,在分佈式存儲網絡中,如果復制量與存儲的成本和安全性不成正比,超出默認複製份數的存儲定價應該類似於圖中曲線,
對於未來的發展,我最期待擁有易於訪問的智能合約的DSN能為永久存儲市場帶來哪些機會。我認為,如果市場放開永久存儲的不同選項,消費者將從中獲益。
我們可以將上圖的綠色區域看作實驗領域,或許有可能在不大幅改變複製量和永久水平的情況下,實現存儲成本的指數級下降。
實現永久存儲也可以通過在不同存儲網絡之間進行複制,而不僅僅是在單個網絡內部進行複制。這種路徑更需要雄心壯志,但會自然產生不同層級的永久存儲。在這裡最大的問題是,我們是否可以讓永久存儲遍布分佈式存儲網絡,如同用股票組合分散市場風險一樣,讓永久存儲成為免費午餐。
可能性的確存在,但要考慮節點提供者重疊和其他復雜因素。也可以考慮保險的形式,比如讓節點運營者承擔更高級別的懲罰條件以換取保證。這樣的系統維護起來也不容易,因為涉及多個代碼庫需要協調。儘管如此,我們期待此類設計的推廣,為整個行業推動永久存儲理念的發展。
Web3首個商業市場
Matti最近在推文(https://twitter.com/mattigags/status/1627607780692484098?s=20)中表示存儲是為Web3帶來切實商業價值的應用案例。我覺得有可能。
最近我和一個Layer 1區塊鏈團隊聊了聊,我告訴他們,作為L1管理者,他們有義務將區塊空間填滿,但更重要的是,要通過經濟活動來實現這一點。這一行經常忽視其名稱的第二部分,即貨幣部分。
任何發行代幣的協議,如果想避免被做空,就需要讓代幣支持某種形式的經濟活動。對於L1協議來說,它們的原生代幣用於處理支付(執行計算)並收取相應的Gas費。經濟活動越多,Gas越多,對代幣的需求也越大。這是加密經濟模型,其他協議可能會選擇作為中介層提供SaaS。
當加密經濟模型與特定商品結合時,效果尤為顯著,對於Layer 1 協議來說,這個商品就是計算。然而,當面對金融交易,執行的價格浮動對用戶體驗是巨大打擊。在掉期交換等金融交易中,執行費用應該是最不重要的部分。
鑑於糟糕的用戶體驗,依靠經濟活動填充區塊空間十分困難。雖然擴容解決方案正在不斷出現,有助於解決這個問題(強烈推薦閱讀《Interplanetary Consensus白皮書》(https://raw.githubusercontent.com/consensus-shipyard/IPC-design-reference-spec/main/main.pdf),PDF格式),但Layer 1 市場氾濫,任何協議想獲得足夠的經濟活動都不容易。
而當計算能力與某種額外的商品結合起來時,問題就變得簡單一些。就分佈式存儲網絡而言,商品顯然是存儲空間。數據存儲及其衍生出的金融以及證券化可以立即填補經濟活動的空白。
但分佈式存儲還需要為傳統企業提供有效解決方案,特別是需要滿足數據存儲相關規定的企業。這就需要考慮審計標準、地理限制以及優化用戶體驗等方面。
我們在中介層論文第2部分(https://zeeprime.capital/web-3-middleware)中討論過Banyan(https://banyan.computer/),他們的產品在這方面其實走在了正軌。他們與DSN的節點運營商合作,為所提供的存儲獲得SOC認證,並提供簡單的用戶界面來優化文件上傳。
但這樣還不夠。
存儲的內容還要能通過高效的檢索市場輕鬆訪問。 Zee Prime看好在DSN上構建內容分發網絡(CDN)的前景。基本上,CDN是一種將內容緩存在用戶附近,並在檢索內容時降低時延的工具。
我們認為這是DSN普及的下一個關鍵,因為它可以實現視頻快速加載(就像分佈式的Netflix、YouTube、TikTok)。我們投資組合中的Glitter是這個領域的代表,它專注於DSN索引。它屬於關鍵基礎設施,能供提高檢索市場效率,帶來更豐富的使用案例。
這類產品已經展現出了很高的產品市場匹配度,在Web 2中有大量需求。儘管如此,許多產品仍面臨一些摩擦,而Web 3的無需許可性質可能會成為它們的福音。
可組合性的意義
其實,我們認為在DSN領域的絕佳機會就在眼前。在Jnthnvctr.eth(https://twitter.com/jnthnvctr)的這兩篇文章中,他談到了市場如何發展以及即將推出的一些產品(以Filecoin為例):
-
Filecoin現狀和方向(https://blog.filecointldr.io/state-and-direction-of-filecoin-summarized-4b90c59e3cca)
-
FVM上的商業模式(https://blog.filecointldr.io/business-models-on-the-fvm-23cd71fdd3f1)
其中最有意思的觀點時是在存儲和鏈上計算之外,與鏈下計算相結合的潛力。這是因為提供存儲資源本身就需要算力。這種自然的結合能增加DSN中的商業活動,同時開啟新的使用案例。
FEVM的推出使得許多新嘗試成為可能,也給存儲領域帶來了趣味和競爭。想要創造新產品的創業者可以通過資源庫(https://rfs.fvm.dev/)查看Protocol Labs希望人們搭建的所有產品,搭建有可能獲得獎勵金。
Web 2讓人們發現了數據引力,那些收集/創建大量數據的公司可以獲得回報,它們會封閉數據從而保護自身利益。
如果我們理想中的由用戶控制的數據解決方案成為主流,價值積累的場景就會變化。用戶成為主要受益者,以數據交換現金流,解鎖這一潛力的變現工具能夠受益,數據的存儲和訪問方式也發生了巨大變化。這種類型的數據自然可以存儲在DSN上,DSN可以通過強大的查詢市場利用數據獲利。這是從剝削到流動的轉變。
可能還有更神奇的發展等著我們。
暢想分佈式存儲的未來時,不妨考慮它與未來的操作系統(如Urbit)如何互動。 Urbit是一種使用開源軟件構建的個人服務器,允許用戶參與P2P網絡。它是一個真正的分佈式操作系統,可以進行自我寄宿並與互聯網以P2P方式進行交互。
如果未來像Urbit的追隨者們所希望的那樣,分佈式存儲解決方案無疑將成為個人技術棧中的關鍵組成部分。用戶可以將所有個人數據加密存儲在一個DSN上,並通過Urbit操作系統協調行動。此外,我們可以預期分佈式存儲與Web 3和Urbit的進一步融合,尤其是Uqbar Network(https://uqbar-network.gitbook.io/uqbar/)等項目,可以將智能合約引入到Nook環境中。
這就是可組合性的威力,緩慢的累積最終會帶來令人欣喜的成果。從小打小鬧演變為一場革命,指明了一種在超連通的世界中的存在方式。雖然Urbit可能不是問題的最終答案(人們對它也有批評),但它向我們展示了這些嘗試如何匯聚成一條通向未來河流。