Gensyn是加密貨幣行業中一個備受關注的分佈式AI項目,最近正式上線測試網,雖晚於預期一年多,但標誌著其進入新階段。該平台專為機器學習設計,核心應用為RL Swarm,一個基於去中心化網絡的模型協同訓練系統。不同於傳統單一模型,RL Swarm允許多個模型互相交易所與改進,並通過自我批評促進優化。 Gensyn的基礎設施重點在執行、通信與驗證,以確保在全球設備上的高效碎片化訓練,實現分佈式機器學習的未來。
作者:Zen,Panews
ai是如今加密貨幣行業最受關注的細分賽道,其中a16z 領投、總融資規模達5000萬美元的分佈式ai gensyn無疑是個具有競爭力的項目。近日,gensyn正式上線測試網,雖然比原計劃時間晚了一年多,但隨著測試網上線終於進入新的階段。
作為一款專為機器學習打造的作為一款專為機器學習打造的以太坊成交量,Gensyn測試網集成了測試網集成了,旨在為去中心化ai系統提供系統提供
測試網的第一階段重點關注在rl群內追踪參與情況。 rl群,其節點可與鏈上身份綁定,其節點可與鏈上身份綁定,從而確保每個參與節點的貢獻得到準確記錄。 ,從而確保每個參與節點的貢獻得到準確記錄。
RL群:核心功能與協同訓練
在gensyn測試網中,作為核心應用的rl swarm是一個基於去中心化網絡構建的模型協同訓練系統。與傳統單一模型獨立訓練不同,rl swarm 讓多個模型在網絡中相互交易所、批評和改進
可以簡單理解為,deepSeek-r1,能夠通過自我批評來迭代提升推理表現,而
基於rl swarm系統,模型不僅依賴自身反饋,還通過觀察和評價其他模型的表現,識別出自身的不足並進行優化。每一個加入:識別出自身的不足並進行優化。每一個加入:首先獨立完成問題並輸出思路與答案,然後查看其他節點的答案並提供反饋,最終模型投票選出最優解,並據此修正自己的輸出。這種協同機制不僅提高了每個模型的表現,也推動了整個群體模型的進化。加入
此外,gensyn對rl swarm的代碼進行了開源,任何人都可以運行節點,swarm,無需許可。 swarm的底層通信使用了hivemind gossip協議八,支持模型間的去中心化消息傳遞與學習信號,共享。不論是家用筆記本,還是在雲端
基礎設施三大支柱:執行、通信與驗證
目前rl swarm仍然只是一個實驗性演示,它展示了一種大規模、可擴展的機器學習方法,而非最終的產品形態。在過去四年,gensyn的核心工作實際上是構建底層基礎設施,在發布測試網後便進入了v0.1階段,已經可以實際運行。根據官方介紹
(執行)):一致性與分佈式算力
Gensyn認為,未來的機器學習不再局限於傳統的單體模型,而是由分佈在全球各個設備上的碎片化參數組成。為了實現這一目標,Gensyn團隊開發了能夠確保跨設備一致性的底層執行架構。其中的關鍵技術包括:
分佈式參數存儲與訓練:通過將大規模模型分割成多個參數塊並分佈於不同設備上,Gensyn實現了模型的碎片化部署,降低了單個節點對內存的要求。 ,降低了單個節點對內存的要求。 強化學習後訓練( rl(訓練後):研究表明,當模型以群體方式協同訓練、互相溝通並批判彼此的答案時,gensyn利用rl swarm演示了這一概念,讓模型在集體討論中快速進步,進一步驗證了分佈式執行的有效性。,進一步驗證了分佈式執行的有效性。 可複現算子((recops):為了確保不同硬件(如nvidia a100與h100),gensyn開發了recops庫(溝通):高效信息交互
在大規模分佈式訓練場景中,各節點間的高效通信至關重要。傳統的數據並行方法雖然能在一定程度上降低通信開銷,但由於要求每個節點存儲完整模型,其擴展性受到內存限制。為此
Skippipe – 動態跳躍管道並行:Skippipe(Microbatch)經過的計算層,將傳統流水線中的部分階段跳過Gensyn構建了一套類似於tcp/ip的通信協議,使得全球各地參與者無論使用何種設備,都能高效、無縫地進行數據傳輸和信息交互。這種開放標準為分佈式協同訓練提供了堅實的網絡基礎。 ,都能高效、無縫地進行數據傳輸和信息交互。這種開放標準為分佈式協同訓練提供了堅實的網絡基礎。 (驗證)):確保信任與安全
在一個無需信任的分佈式網絡中,如何確認各參與方提交的計算結果真實有效,是一大挑戰。 gensyn為此引入了專門的驗證協議
verde:verde是首個專為現代機器學習設計的驗證系統。其核心在於利用輕量級爭議解決機制,快速定位出訓練過程中模型與驗證者之間產生分歧的那一步驟。與傳統需要重新運行整個任務的驗證方式不同,verde只需對爭議操作重新計算,從而大幅降低了驗證開銷。 (審代委派):採用這種方法後,若某個供應商的輸出存在問題,驗證者便能通過高效的爭議解決遊戲說服中立Arbitrum方,確保至少有一位誠實節點存在時,整個計算結果的正確性得以保障。 存儲與哈希中間狀態:為了支持上述驗證過程,參與者只需存儲並哈希部分中間訓練檢查點,而非全量數據,這既降低了資源佔用,也提升了系統的擴展性和實時性。 ,也提升了系統的擴展性和實時性。
資訊來源:由0x資訊編譯自互聯網。版權歸作者所有,未經許可,不得轉載