一文讀懂a16z領投4300萬美元的AGI算力市場協議Gensyn

作者:金色財經cryptonaitive

2023年6月12日,基於區塊鏈的AGI算力市場協議Gensyn宣布完成4300萬美元A輪融資,a16z 領投,Eden Block、CoinFund、Galaxy、Protocol Labs等參投。

Gensyn是個什麼項目?為何能拿到頂級VC巨額投資?金色財經帶你一文讀懂。

a16z:為何領投Gensyn 4300萬美元A輪融資

a16z發文解釋了為何領投Gensyn 4300萬美元A輪融資。 a16z表示,人工智能最近的進步令人難以置信,並且有拯救世界的力量(參閱金色財經此前報導“a16z創始人萬字長文:為什麼AI會拯救世界”)。但是構建AI 系統需要部署更大的計算能力來訓練和推理當今最大、最強大的模型。這意味著大型科技公司在從人工智能中獲取價值的競爭中比初創公司更具優勢,這要歸功於對計算能力的特權訪問和大型數據中心的規模經濟。為了在公平的競爭環境中競爭,初創公司需要能夠負擔得起地使用自己的大規模計算能力。

區塊鏈作為一種新型計算機,其獨特之處在於,開發人員可以編寫代碼,對代碼在未來的行為方式做出堅定的承諾。區塊鏈的這種無需許可的組件可以為算力的買賣雙方創建一個市場——或任何其他類型的數字資源如數據或算法——在全球範圍內無需中間商進行交易。

Gensyn,是一個基於區塊鏈的AGI算力市場協議,將開發人員(任何能夠訓練機器學習模型的人)與解題者(Solver,任何想用自己機器訓練機器學習模型的人)聯繫起來。通過利用世界各地閒置的、具有機器學習能力的長尾計算設備例如小型數據中心、個人遊戲電腦、M1 和M2 Mac甚至是智能手機,Gensyn 可以將可用計算能力提高10-100 倍用於機器學習。

AGI(通用人工智能)面臨的問題:高度中心化

經過近半年的發展,市場普遍承認AGI是未來。但是AGI行業目前看起來高度壟斷,國家之間是中美的貿易和人才戰,公司之間是大型科技公司(微軟、Google、Meta)的遊戲。因為AGI 的三個關鍵資源(計算能力、知識和數據)目前高度中心化。

計算能力:越來越大和復雜的模型需要使用高算力的處理器訓練。國家之間:中美之間的芯片戰,美國一直在積極阻止中國獲取高算力芯片。公司之間:產能不足,英偉達最新AI芯片全部被某些大客戶購買,其他公司根本無法買到。在技術棧上:一些公司甚至創建了自己的深度學習專用硬件,例如穀歌的TPU 集群。這些在深度學習方面的性能優於標準GPU,並且不出售,僅供出租。

知識:許多公開的突破都源於研究人員開發的新的大模型架構,但在底層知識產權和人才方面存在著一場戰鬥。比如,美國吸引了超過50%的中國AI人才,而利用這些人才開發大模型的大公司正越來越多地降低這項技術的可及性;OpenAI的GPT-3.5或者4名義上可以公開使用,但它位於API後面,只有Microsoft可以訪問其源代碼。

數據:AGI深度學習模型需要大量數據——包括標記的和未標記的——並且通常隨著數據量的增加而改進。 GPT-3 接受了3000 億個單詞的訓練。標記數據尤為重要,訓練AGI需要的數據集集中在一些大公司手中。比如一個冷知識:每次你解決reCaptcha訪問網站時,你都在標記訓練數據以改進谷歌地圖。

去中心化AGI計算存在的困難

去中心化計算可以創造一個更便宜、更自由的基礎來研究和開發人工智能。但去中心化AGI存在著工作驗證難題,如何知道第三方已完成你請求的計算?

工作驗證難題有兩個因素:狀態依賴,高計算費用。

狀態依賴:神經網絡中的每一層都連接到它之前的層中的所有節點。這意味著它需要前一層的狀態。更糟的是,每一層的所有權重都由前一個時間步決定。因此,如果你想驗證是否有人訓練了一個模型——比如,通過在網絡中選擇一個隨機點並查看你是否得到相同的狀態——你需要一直訓練模型直到那個點,這計算量非常大。

高計算費用: 2020 年GPT-3 單次訓練的成本約為1200 萬美元,比2019 年GPT-2 訓練的估計值約43,000 美元高出270 倍以上。一般來說,最好的神經網絡的模型複雜度(大小)目前每三個月翻一番。如果神經網絡更便宜,和/或如果訓練代表更少的模型開發過程,那麼可能來自狀態依賴的驗證開銷是可以接受的。

如果想降低深度學習訓練的價格並去中心化控制權,需要一個系統來不信任地管理狀態相關的驗證,同時在開銷和獎勵那些貢獻計算的人方面也很便宜。

Gensyn如何去中心化AGI計算

Gensyn協議將世界上所有的計算聯合到一個全球機器學習超級集群中,任何人都可以隨時使用。它通過結合兩件事來實現以超大規模和低成本無需信任地訓練神經網絡:

1、創新的驗證系統

有效解決任意規模神經網絡訓練中狀態依賴問題的驗證系統。該系統將模型訓練檢查點與終止於鏈上的概率檢查相結合。它以無需信任的方式完成所有這些工作,並且開銷與模型大小成線性比例(保持驗證成本不變)。

根據Gensyn Litepaper,Gensyn主要通過三個概念解決驗證問題:概率proof-of-learning(使用基於梯度的優化過程中的元數據來構建所執行工作的證書並通過某些階段的複制來快速驗證)、基於圖的精確定位協議(使用多粒度、基於圖的精確定位協議和交叉評估器一致執行,以允許驗證工作重新運行並比較一致性,並最終由鏈本身確認)、Truebit 式激勵遊戲(使用staking 和slashing 來構建一個激勵遊戲,確保每個財務理性的參與者誠實行事並執行他們的預期任務)

該系統主要由四個主要參與者:提交者、解題者、驗證者和吹哨者。提交者:系統最終用戶,提供將要計算的任務並為完成的工作單元付費;解題者:系統主要工作部分,執行模型訓練並生成證明以供驗證者檢查;驗證者:將非確定性訓練過程鏈接到確定性線性計算、複製解題者證明的一部分並將距離與預期閾值進行比較;吹哨者:最後一道防線,檢查驗證者的工作並挑戰以期獲得累積獎金。

2、新的算力供應

利用未充分利用和未充分利用/未優化的計算設備資源。這些設備包括從目前未使用的遊戲GPU到之前以太坊PoW時代的GPU礦機。而且該協議的去中心化意味著它最終將由社區多數管理,未經社區同意不能“關閉”;與web2對應物不同,這使其具有抗審查性。

eSYM8rcGL8caaKg9sO6OayhLMYOKBAErhl4VGTGQ.png

大規模+低成本:Gensyn 協議提供了與數據中心擁有的GPU相似的成本,其規模可以超過AWS

Total
0
Shares
Related Posts