作者：Daniel Barabander，Variant Fund總法律顧問兼合夥人；編譯：0xjs@黃金財經
本文要點
-
目前，基礎AI開發由少數科技公司主導，處於封閉和反競爭的狀態。
-
開源軟體開發是另一種選擇，但基礎AI無法作為傳統的開源軟體專案（例如Linux）進行開發，因為它存在“資源問題”，開源貢獻者還被要求捐獻超出個人能力範圍的計算和數據成本。
-
加密透過所有權激勵資源提供者為基礎開源AI 專案做出貢獻，從而解決資源問題。
-
開源AI與加密相結合，可以支援更大的模型並推動更多創新，從而帶來更好的AI。
引言
皮尤研究中心2024 年的一項民調顯示，64% 的美國人認為社群媒體對美國產生了負面而非正面的影響，78% 的人表示社群媒體公司在當今政治中擁有過大的權力和影響力，83% 的人表示這些平台很可能或很有可能故意審查他們不同意的政治觀點。對社群媒體平台的厭惡是少數能團結美國人的問題之一。
回顧過去20 年社群媒體實驗的進展，我們似乎不可避免地會落得如此境地。你們都知道這個故事。少數幾家大型科技公司最初吸引了人們的注意，最重要的是，他們獲得了用戶數據。雖然最初人們希望這些數據能夠公開，但這些公司在利用這些數據建立牢不可破的網路效應後，很快就改變了方向，關閉了存取權限。這基本上導致了目前的狀況，不到十家大型科技社群媒體公司在寡占下像小封建領地一樣存在，沒有動力去改變，因為現狀利潤極高。它是封閉的，反競爭的。
看看AI實驗目前的進展，我感覺自己就像在重複看同一部電影，但這次涉及的更多。少數幾家大型科技公司已經累積了GPU 和數據來建立基礎AI模型，並封鎖了對這些模型的存取。對於新進業者（沒有籌集數十億美元）來說，已經不可能建立出競爭版本，因為進入門檻太高了——僅預訓練一個基礎模型的計算資本支出就高達數十億美元，而從上一次科技繁榮中獲益的社群媒體公司正在利用他們對專有用戶資料的控制來建立競爭對手無法做到的模式。我們正全力以赴地在AI領域重現我們在社群媒體上所做的事情：封閉和反競爭。如果我們繼續沿著這條封閉AI的道路前進，少數科技公司將對資訊和機會的存取擁有不受限制的控制。
開源AI與“資源問題”
如果我們不想要一個封閉的AI世界，我們的替代方案是什麼？答案顯而易見，那就是將基礎模型建構為開源軟體專案。我們有無數開源專案的例子，它們建立了我們每天依賴的基礎軟體。如果Linux 顯示像作業系統這樣基本的東西也可以開源構建，那麼LLM 又有什麼不同呢？
不幸的是，基礎AI模型存在一些限制，使它們不同於傳統軟體，這嚴重阻礙了它們作為傳統開源軟體專案的可行性。具體來說，基礎AI模型本身就需要超出任何個人能力的運算和資料資源。結果是，與依賴人們捐贈時間的傳統開源軟體專案（這已經是一個具有挑戰性的問題）不同，開源AI還需要人們以計算和數據的形式捐贈資源。這就是開源AI的「資源問題」 。
為了更好地理解資源問題，讓我們來看看Meta 的LLaMa 模型。 Meta 與其競爭對手（OpenAI、Google 等）的不同之處在於，它不會將模型隱藏在付費API 後面，而是公開提供LLaMa 的權重供任何人免費使用（有一些限制）。這些權重代表了模型從Meta 的訓練過程中學到的東西，是運行模型所必需的。有了權重，任何人都可以對模型進行微調，或將模型的輸出用作新模型的輸入。
雖然Meta 公佈了LLaMa 的權重值得稱讚，但它並不是一個真正的開源軟體專案。 Meta 在私下使用自己的計算、數據和決策來訓練模型，並單方面決定何時向全世界開放該模型。 Meta 不邀請獨立研究人員/ 開發人員參與社區，因為單一社區成員無法負擔訓練或重新訓練模型所需的計算或資料資源——數以萬計的高記憶體GPU、容納它們的資料中心、大量冷卻基礎設施，以及數萬億的訓練資料代幣。正如史丹佛大學2024 年AI指數報告所述，「培訓費用的不斷上漲實際上已經將大學（傳統上是AI研究中心）排除在開發自己的前沿基礎模型之外。」為了了解成本，Sam Altman 提到GPT-4 的培訓成本為1 億美元，可能還不包括資本支出；Meta的資本支出年增21 億美元（2024 年第二季vs. 2023 年第二季），主要來自對與訓練AI模型相關的伺服器、資料中心和網路基礎設施的投資。因此，雖然LLaMa 的社群貢獻者可能具有在基本模型架構上做出貢獻和迭代的技術能力，但他們仍然缺乏這樣做的手段。
總而言之，與傳統的開源軟體專案不同，開源軟體專案僅要求貢獻者貢獻時間，而開源AI 專案的貢獻者則被要求以計算和資料的形式貢獻時間和大量成本。依靠善意和志願服務來激勵足夠多的各方提供這些資源是不切實際的。他們需要進一步的激勵。 176B 參數開源LLM BLOOM的成功可能是善意和志願服務對開發開源AI 的優點的最佳反例，它涉及來自70 多個國家和250 多個機構的1000 名志願研究人員。雖然這無疑是一項令人印象深刻的成就（我完全支持），但協調一次訓練運行花了一年時間，並從法國研究機構獲得了300 萬歐元的資助（而且這筆費用不包括用於訓練模型的超級電腦的資本支出，其中一個法國機構已經可以使用它）。協調和依靠新撥款來迭代BLOOM 的過程過於繁瑣和官僚主義，無法與大型科技實驗室的步伐相媲美。雖然BLOOM 發布已有兩年多時間，但我不知道這個集體是否製作了任何後續模型。
為了讓開源AI成為可能，我們需要激勵資源提供者貢獻他們的計算和數據，而無需開源貢獻者承擔費用。
為什麼Crypto可以解決開源AI的資源問題
Crypto 的突破在於利用所有權使資源成本較高的開源軟體專案成為可能。 Crypto 透過激勵具有網路潛在上升空間的投機資源提供者，而不是要求開源貢獻者預先支付成本來提供這些資源，從而解決了開源AI 固有的資源問題。
要證明這一點，只需看看最初的加密項目比特幣。比特幣是一個開源軟體專案；運行它的程式碼是完全開放的，從專案開始的那一天起就一直如此。但程式碼本身並不是秘密武器；下載並運行比特幣節點軟體來創建僅存在於本地電腦上的區塊鏈並沒有多大用處。只有當計算挖掘區塊的數量足夠超過任何單一貢獻者的運算能力時，該軟體才有用。只有這樣，軟體的增值才能實現：維護一個無人控制的帳本。與基金會開源AI 一樣，比特幣也代表了一個開源軟體項目，它需要超越任何單一貢獻者能力的資源。他們可能出於不同的原因需要這種計算——比特幣是為了使網路防篡改，而基金會AI 是為了迭代模型——但更廣泛的一點是，它們都需要超出任何單一貢獻者需求的資源才能作為可行的開源軟體專案發揮作用。
比特幣，或任何加密網絡，用來激勵參與者為開源軟體專案提供資源的魔術技巧是以代幣形式提供網路所有權。正如Jesse早在2020 年為Variant 撰寫的創始論文中所寫的那樣，所有權激勵資源提供者為專案貢獻資源，以換取網路的潛在上行空間。這類似於如何利用汗水股權來啟動一家剛起步的公司——透過主要透過對企業的所有權來支付早期員工（例如創辦人）的工資，新創公司可以透過獲得原本無法負擔的勞動力來克服啟動問題。加密將汗水股權的概念擴展到資源提供者，而不僅僅是那些奉獻時間的人。因此，Variant 專注於投資利用所有權建立網路效應的項目，例如Uniswap、Morpho 和World。
如果我們想讓開源AI 成為可能，那麼透過crypto實現所有權就是解決其面臨的資源問題的辦法。研究人員可以自由地將他們的模型設計想法貢獻給開源項目，因為實現他們的想法所需的資源將由計算和數據提供者提供，以換取他們對項目的所有權，而不是要求這些研究人員支付高昂的前期成本。所有權在開源AI 中可以採取多種不同的形式，但我最興奮的是模型本身的所有權，就像Pluralis提出的方法一樣。
Pluralis 將這種方法稱為協議模型，其中計算提供者可以貢獻計算資源來訓練特定的開源模型，並獲得該模型未來推理收入的所有權。由於所有權屬於特定模型，且所有權的價值是基於推理收入，因此計算提供者有動機選擇最佳模型，而不是欺騙訓練（因為提供無用的訓練會降低未來推理收入的預期價值）。那麼問題就變成了：如果需要將權重發送給計算提供者進行訓練，如何在Pluralis 上強制執行所有權？答案是模型並行性用於在工作者之間分配模型分片，從而允許利用神經網路的一個關鍵屬性：可以為訓練更大的模型做出貢獻，同時只能看到總權重的一小部分，從而確保完整的權重集仍然不可提取。而且由於在Pluralis 上訓練了許多不同的模型，訓練者將擁有許多不同的權重集，這使得重新創建模型變得極其困難。這是協議模型的核心概念：它們是可訓練的，可以使用，但無法從協議中提取（不使用比從頭訓練模型所需的更多的計算能力）。這解決了開源AI批評者經常提出的一個擔憂，即封閉的AI競爭對手將佔用開放專案的勞動成果。
為什麼Crypto+開源=更好的AI
我在這篇文章的開頭描述了大科技公司控制的問題，以從規範的角度說明為什麼封閉式AI是壞的。但在一個我們的線上體驗帶有宿命論色彩的世界裡，我擔心這對大多數讀者來說可能毫無意義。所以最後我想給出兩個理由，由加密支援的開源AI實際上將帶來更好的人工智慧。
首先，Crypto和開源AI 的結合將使我們能夠達到下一層基礎模型，因為它將比封閉式AI 協調更多的資源。我們目前的研究表明，以計算和數據形式存在的更多資源意味著更好的模型，這就是基礎模型通常會變得越來越大的原因。比特幣向我們展示了開源軟體加上加密在運算能力方面所釋放的東西。它是世界上最大、最強大的運算網絡，比大型科技公司的雲大幾個數量級。加密將孤立的競爭變成了合作競爭。資源提供者被激勵貢獻他們的資源來解決集體問題，而不是囤積他們的資源來單獨（和冗餘地）解決這個問題。使用加密的開源AI 將能夠利用世界集體計算和數據來建立遠遠超出封閉式AI 可能的模型大小。像Hyperbolic這樣的公司已經展示了利用集體運算資源的力量，任何人都可以以更低的價格在他們的開放市場上出租GPU。
其次，將Crypto和開源AI 結合起來將推動更多創新。這是因為，如果我們能夠克服資源問題，我們就可以回歸機器學習研究的高度迭代和創新的開源性質。在最近推出基礎LLM 之前，機器學習研究人員幾十年來一直公開發布他們的模型和複製模型的藍圖。這些模型通常使用更有限的開放資料集，並且具有可管理的計算要求，這意味著任何人都可以對它們進行迭代。正是透過這種迭代，我們在序列建模方面取得了進展，例如RNN、LSTM 和注意力機制，這使得目前基礎LLM 所依賴的「Transformer」模型架構成為可能。但隨著GPT-3 的推出（它逆轉了GPT-2 開源的趨勢）和ChatGPT 的巨大成功，這一切都改變了。這是因為OpenAI 證明，如果你在海量模型上投入足夠的計算和數據，你就可以建立似乎能理解人類語言的LLM。這造成了資源問題，導致學術界無法負擔高昂的價格，並導致大型科技公司實驗室基本上停止公開發布其模型架構以保持競爭優勢。目前主要依賴個別實驗室的狀態將限制我們突破最先進技術界限的能力。透過加密技術實現的開源AI 將意味著研究人員將再次能夠在尖端模型上繼續這一迭代過程，以發現「下一個transformer」。
