出品 | 虎嗅科技組
作者 | 齊健
編輯 | 廖影
圖片來源：由無界AI生成
8月7日，國內又一家AI創業公司發布了自己的開源且免費可商用的AI大模型：XVERSE-13B。這家名為元象XVERSE的公司，由前騰訊副總裁、騰訊AI lab創始人姚星創立。
自從Meta在7月發布了開源可免費商用的LLaMA 2系列大模型，AI大模型市場上正在醞釀一波“開源”的新浪潮。
8月2日，百度旗下的AI大模型平台文心千帆，宣布接入LLaMA2全系列開源模型，平台可調用的大模型數量增至33款，除了3款文心模型，其他30款均為開源模型，其中包括ChatGLM2、RWKV、MPT、Dolly、OpenLLaMA、Falcon等。
此後一天，阿里雲也宣布加入開源模型行列。開源通義千問70億參數模型，包括通用模型Qwen-7B和對話模型Qwen-7B-Chat，兩款模型已上線魔搭社區，開源、免費、可商用。
有趣的是，這種對開源開放的積極態度，正是始於閉源大模型ChatGPT的大東家——微軟。 7月18日，微軟宣布攜手Meta發布開源可商用版本的LLaMA 2模型，為企業提供OpenAI和谷歌模型的平替產品。 OpenAI在AI大模型市場的壟斷地位，似乎正在遭到全行業的“針對”，甚至是自己最親密的合作夥伴。
作為全球公認的大語言模型第一名，OpenAI的GPT-4是目前唯一一個有大量用戶願意為其買單的大語言模型。
班裡第一名的同學，通常沒有參加學習小組的動力。同樣，OpenAI也沒有什麼開源的理由和動力。
然而，隨著LLaMA 2的全面開源，越來越多的開發者投入了Meta以及各種開源模型的陣營。就像Android用開源對抗iOS一樣，一眾開源AI大模型，正在繞過GPT-4的技術壁壘，以開源生態包圍OpenAI。
為什麼開源？
OpenAI剛剛推出插件功能的時候，就有很多人把AI大模型比做未來的Windows、iOS、Android。如今，隨著LLaMA 2的發布，AI大模型不只是功能，連市場格局也正在朝著操作系統的方向發展。
由UC伯克利主導的組織LMSYS Org發起的，一項針對大語言模型（LLMs）的排位賽；截至7月20日的最新版排名共統計了40款AI大模型，前五名仍是閉源模型（Proprietary），分別是GPT-4、GPT-3.5-turbo和Claude的三款模型。不過，後邊的34款模型，除了谷歌的PaLM-Chat-Bison-001，均為開源模型，其中15款為不可商用（Non-commercial）。
7月20日發布的LMSYS Org大語言模型（LLMs）的排行榜
Chatbot Arena：使用超過50000 名用戶投票來計算Elo 評級。
MT-Bench：一組具有挑戰性的多回合問題。
MMLU（5-shot）：衡量模型在57 項任務上的多任務準確性的測試。
雖然論模型能力，縱觀整個市場，無論開源閉源都沒有一款模型能敢跟GPT-4正面較量。但猛虎頂不住狼多，打不過GPT-4的大模型們，選擇了“換道超車”，利用開源搶占應用生態，這似乎與Android對抗iOS時有些相似。
“現在，所有開源大模型只有一個目的，就是營銷。”
一位國內開源大模型研發公司的創始人對虎嗅坦言，現下主推開源大模型和開源Android系統的理由，主要是靠免費搶市場。 “很多大公司發布了AI大模型，甚至只是做了一款基於已有模型的應用，就開始大張旗鼓地宣傳。實際上，對於基礎大模型的用戶來說，花再多錢打廣告，也比不上模型開源來得實在。”這也是，AI公司證明自己實力的最好方法。
首先，開源模型比封閉模型更容易評估。因為開源模型的代碼和數據集是公開的，研究人員可以直接檢查模型的架構、訓練數據和訓練過程，從而對模型進行更深入的分析，以了解模型的優缺點。
“有的AI大模型看似能力很強，但它不開源，你只能看到他輸出的結果。”
相比於開源模型，閉源模型只能通過模型的性能評估來了解模型的優缺點。這導致閉源模型的性能可能被人為誇大，或者其缺點被隱藏。而開源模型的透明性，則可以幫助開發者更深入地了解模型，並對其進行更公正的評價。
對於後發者來說，閉源模型還有一個問題：容易被質疑技術的原創性。多位大模型研發者曾對虎嗅表示，“對於那些不開源的模型，說句不好聽的，就算是套殼LLaMA，或者乾脆後台調用ChatGPT接口，又有誰知道呢？”
在第一波國產AI大模型剛剛問世時，這樣的質疑聲音就在網絡上廣為流傳。對於那些沒有開源的AI大模型來說，則很難自證清白，為了證明自己不是調用ChatGPT的API，有的公司甚至搬出推理服務器，現場拔網線演示。
開源無疑是AI大模型自證能力最好的途徑之一。但開源的真正價值，並不是自證能力，而是要搶占生態。
“LLaMA 2出來以後，肯定會迅速搶占OpenAI的生態。”一位大模型開發者對虎嗅表示，雖然GPT-4能力最強幾乎是業界公認的，但GPT-3以後的模型都沒有開源，且GPT-4的API接口開放程度也很低，所以對GPT模型的開發是有很多限制的。由此，很多開發者選擇了LLaMA等開源模型，這些開源模型不僅可以進行指令微調，還可以對底層模型進行研究。
“LLaMA在開發者中肯定比OpenAI更受歡迎。”
7月19日LLaMA 2剛發佈時，GitHub上關鍵詞包括“LLaMA”的項目有5600多個，包括“GPT-4”的有4100多個。發布兩週後，LLaMA的增速更快，截至發稿，“LLaMA”為6200多個，“GPT-4”為4400多個。
另一方面，開源模型可以下載到本地進行私有化部署，這給商業化公司的AI訓練提供了便利。這類公司的AI應用需要基於自己的業務數據進行訓練，私有化部署的AI大模型，可以最大程度地保護數據安全。同時，私有化部署的算力選擇更多，不管是雲服務，還是本地部署，甚至是多個IDC的分佈式算力，大大拉低了模型的訓練、推理成本。
雖然ChatGPT僅用2個月就收穫了1億月活用戶，但在開發者生態中，開源模型搶占用戶心智的速度，似乎更快。
目前，國內很多AI公司都選擇發布了開源模型。其中包括，智譜AI發布的開源模型ChatGLM-6B，復旦大學發布的MOSS，智源研究院發布的悟道天鷹Aquila，以及百川智能的Baichuan-7B（13B）等。其中智譜AI發布的開源大模型ChatGLM-6B全球下載量超過400萬，在GitHub上獲得3.2萬顆星，比LLaMA還多3000顆星。
“如果我們不做開源模型，那市場很快就全是LLaMA的了。”一位已經推出開源模型的AI公司高管告訴虎嗅，開源是中國AI大模型發展的重要一步。
部分國內開源AI大模型
事實上，在LLMs風潮刮起來以前，生成式AI就已經打過一場開源成交量死閉源的仗了。
開源文生圖模型Stable Diffusion憑藉大量的開發者和產品應用，幾乎把OpenAI先發的閉源模型Dall-E 2逼到了牆角。雖然用戶普遍認為Stable Diffusion的模型能力不如另一款閉源產品MidJourney，但Stable Diffusion憑藉開源免費的屬性，搶占了大量文生圖市場，成為最主流的文生圖模型，其開發公司RunwayML和Stability AI也因此收穫了大量關注和融資。
LLaMA 2的開源模型，似乎也正有意在LLMs領域逼OpenAI一把。
開源帶貨
LLaMA 2目前開源了，系列模型中全部三款：70億、130億和700億參數版本。不過坊間也有傳聞認為，“Meta實際上還有更大參數的版本並未放出，下一個版本或將有更大參數版本，但不一定會開源。”
值得關注的是，目前很多開源模型都不是全部開源。智源研究院發布的悟道3.0模型中，只開源了“天鷹”基礎語言模型；智譜AI發布的ChatGLM，也只開放了系列模型中的一部分，更大的1300億參數模型目前仍是閉源的。
不管LLaMA 2是不是“留了一手”給更大的模型，但“免費”的形式無疑會加速Meta在大模型市場中的形成，並推著它走上Android的“老路”。
通過開源生態，Android系統在全球增持了大量的開發者和用戶。在技術生態方面極大地制衡了先行的閉源系統iOS，甚至在一些市場形成了自己的壟斷。從2018年開始，歐盟就因Android系統的壟斷機制對谷歌開出了超40億歐元的罰單。從這張天價罰單，也能看出開源的Android系統有多賺錢。
調研機構Sensor Tower的報告顯示，2022年Google Play上的用戶支出約為530億美元，這個數字在2023年將增至600億美元。另一家研究機構Statista發布的報告，截至2022年1月，Google Play商店中約有14萬個應用程序。
現階段，開源AI大模型顯然還達不到手機的普及程度。不過，即便AI真的像手機一樣普及了，如Meta這樣的巨頭，也不會輕易放過那些借助LLaMA 2賺了大錢的公司。
LLaMA 2的開源協議中，有這樣一條約定：如果月活用戶超過7億，則必須向Meta申請許可證。 Meta可以自行決定是否授權給你，並且你無權行使任何權利。
同時，開源模型除了可以“帶貨”閉源版本，以及AI大模型應用，還可以幫算力“帶貨”。
國內首推AI大模型的兩個廠商，百度和阿里，都是雲廠商。另外兩家云廠商，騰訊雲和華為雲，雖然沒有像文心一言和通義千問一樣的LLMs產品，但他們也都在持續高喊AI大模型。這背後最主要的原因就是，大模型對雲的“帶貨作用”。
“宣布一些AI大模型方面的動作，也是市場和客戶共同推動的。過去幾個月裡，來問大模型的客戶實在是太多了。”某騰訊雲業務負責人告訴虎嗅，算力排隊，就是AI大模型帶貨能力的最好證明。
模型可以不賺錢，但算力一定是賺錢的。阿里開源通義千問，百度在文心千帆大模型平台上引入30個開源模型，這兩個動作都是要把“免費”的AI能力交付給用戶。用上開源模型的用戶，雖然不再為AI付費，但只要他們的AI跑在阿里雲和百度智能雲上，他們就要為算力付錢。
“AI也要回到雲的思路，賺雲的錢。”百度智能雲AI與大數據平台總經理忻舟表示，開放大模型平台的初心，是為了給客戶的業務創造價值，創造價值的同時可以增強老客戶的黏性，並拓展更多新客戶。這對於擴大雲廠商的規模效應，有很大的幫助。
免費的更貴
“1000萬吧，要定制大模型起步報價差不多就是這個數。”
一位開源大模型公司創始人在電話中給前來諮詢的中間人報價。
“開源模型收穫了用戶認可以後，就可以去跟別人談定制開發的服務費。”這位創始人掛斷電話後，向虎嗅解釋說，像LLaMA 2這樣的模型，開發費用少說也要幾千萬美元。所以他瞄準的市場，肯定是開發成本的幾十、上百倍。
從目前來看，AI公司要想靠開源模型賺錢，最好的途徑就是從服務入手。
好在，多數AI大模型的用戶，都很需要這些服務。
“模型開源，免費可商用。那就意味著從下載模型開始，模型部署、訓練、調優，以及實際應用中的應用開發，所有的工作都需要自己來完成。”一位LLaMA應用開發者告訴虎嗅，閉源模型的供應商大多會提供訓練和部署的服務，且可以根據用戶需求定制開發功能。但使用開源模型的話，這些工作就都要自己做，沒人幫你訓練，沒人給你找算力，也沒人幫你定制開發。
“其實閉源模型的廠商們賣的就是服務。”某曾基於LLaMA模型做過AI應用研究的在線教育機構負責人告訴虎嗅，“開源模型看似免費，但部署過程中，很多錢還是要花的。”加入了AI大模型之後，IT部門的人力、算力成本都有明顯上浮。
雖然根據開源模型做訓練、調優對於多數IT人員來說並不困難。但要對模型進行深入研究和開發，仍需要在算法、AI等方面有一些技術儲備。而隨著AI大模型概念日益升溫，這方面的人才價格也水漲船高。
“人力成本的提升其實是浮動的，但服務器和硬件成本是實打實的。從投入大模型到現在，我們的成本上漲了大概20%-30%。”前述在線教育機構負責人表示，目前他的機構還處在AI場景探索階段，最大的困難是需要一個個場景地實驗。 “一個不行就再換一個，這個過程中，每一步都要花錢。”
對此，虎嗅向某位百度智能雲內部人士諮詢了百度文心千帆在部署方面的服務與成本問題，“大模型的項目一定是系統工程，是算總帳的，選擇開源並不會特別省錢。”
事實上，不管是開源模型還是閉源模型，模型部署工作的成本都是按人/天算的，後續投入到訓練、推理上的算力成本也不會有本質的差別。 “但是用開源模型自己訓練、部署、開發，只會使這個過程變得很麻煩。”該百度內部人士表示，具體部署成本要看具體項目，差異很大。不過，開源和閉源在部署和使用成本上其實沒有本質差別。且從數據安全角度來說，多數閉源模型也可以進行私有化部署。
現階段AI還很難做到普惠。
對於多數從事互聯網業務的公司來說，它們本身有IT研發團隊，在大模型當來之際，很快就能組建一支“成建制”的團隊開發AI應用。但對於很多零售、傳統製造，以及服務行業來說，數字化轉型都是個難題，要讓他們去研究AI大模型的訓練、部署和推理，實在是有點強人所難。
對於這部分企業來說，最好的AI產品，就是通用型的AI插件。 “我們需要的只是一個對話看起來不那麼白痴的客服機器人而已，我讓去學習怎麼訓練模型，實在是有點興師動眾了。”某電商品牌業務線經理告訴虎嗅，這半年裡，他只是聽說AI對話能力比以前強了，但還沒試用過ChatGPT。雖然他也願意擁抱新技術，但是現在就讓他花時間學習，還得投錢買AI，動力實在不足。
“除非是在我現在用的平台或者軟件裡有個插件，拿起來就能用，不然我不會太考慮馬上花錢升級AI助手。”AI大模型對於很多初級用戶來說，上手門坎並不低。
“商家需要AI可以做到，無感應用和賦能。”SaaS廠商微盟在數字化營銷方面做了這樣一款應用WAI，以嵌入已有應用的形式幫商家調用AI能力。為商家提供基於大語言模型的AI對話和文本、圖片生成能力。
將大模型開放性地接入SaaS服務工具，與百度文心千帆的模型調用有些異曲同工。雖然只做了接口調用、Finetune，但給用戶提供了更多、更快速、更穩定的AI落地能力。
“開源模型可以讓用戶更容易上手，而且現在很多開源模型的更新速度甚至比大廠都快。”微盟集團首席運營官COO尹世明認為，開源開放可以迅速把AI能力交付到用戶手中，而用戶真正需要的是“即插即用”的AI。
對於多數還處在試驗、實驗、體驗AI大模型階段的用戶來說，開源模型的門檻顯然更低，啟動成本更是幾乎為零。
很多用戶從一開始就使用開源模型，後續也就會選擇一直沿用。而前邊提到的部署和訓練上的問題，則正在催生一條針對開源模型的服務產業鏈。
陳冉在這波大模型熱潮中，新創的OpenCSG就正在圍繞開源大模型做服務的生意。
OpenCSG提供的大模型服務主要針對企業的開源模型訓練和落地。從開源模型的選型，到混合的分佈式的算力，結合業務的模型訓練，以及後端的應用開發等，都可以給企業提供服務。
“大模型在我看來就跟所有的SaaS差不多，上下游產業會逐步豐富，客戶的關注點也不會只聚焦在模型能力上。”陳冉認為，客戶的終極需求不是找到能力最強的模型，而是要更好、更輕鬆，更簡單地把AI大模型用起來，服務他的業務。
圍繞AI的開源生態
在整個AI產業鏈中，開源遠不止於模型。從研發到部署，再到應用，幾乎每個環節都離不開，開源的話題。
算法、算力、數據，AI三要素每項都需要開源的支持。
在算法層面，開源AI大模型處在相對後期的階段。在早期AI研發中，幾乎所有AI模型都要用到機器學習框架，它就相當於打造AI的工具箱。而目前主流的機器學習框架，包括TensorFlow，Pytorch，PaddlePaddle（飛槳）等均為開源框架。
在數據層面，Commen Crowl開源數據集是GPT模型訓練過程中很重要的一個數據來源。目前很多機構和數據公司都在AI訓練數據集方面發布了開源產品，包括智源研究院的COIG-PC數據集，以及海天瑞聲的DOTS-MM-0526多模態數據集。
對於數據集的發布者來說，開源不僅可以提升影響力和品牌價值，開源後的數據集也可以收集來自開源社區的正向反饋，發現並修復數據中的錯誤或不一致性。這種外部審核有助於提高數據質量，同時進一步豐富發布者的產品生態系統。
“算法工程師在研發中，經常面臨沒有數據的煩惱，高質量數據可以對模型評測帶來質的提升。我國目前面臨著高質量數據集的稀缺問題，這也阻礙了中文大模型技術的發展。 ”海天瑞聲是開源模型LLaMA 2的訓練數據提供者之一，海天瑞聲首席運營官李科表示。
在AI發展最大的瓶頸——算力方面，開源芯片框架也正在刺激產業發展。
8月4日，高通宣布與4家半導體公司共同成立合資公司，加速基於開源RISC-V 架構的芯片商業化。目前市面上主流的芯片框架有3個：英特爾CPU使用的x86，英偉達GPU使用的Arm，以及開源芯片框架RISC-V。
“RISC-V可以提供一個可編程的環境，芯片研發團隊可以利用RISC-V做很多預處理和後處理的工作，也可以加入符合用戶需求的特色加速器，或者功能模塊，去滿足用戶的需求。 ”SiFive企業營銷與業務開發資深副總裁剛至堅表示，RISC-V的生態系統為芯片研發提供了豐富的選擇，對於如今需求增長迅速的AI芯片來說有很大助力。
與RISC-V相比，Arm和x86的生態系統相對封閉。在Arm生態中，用戶只能選擇Arm提供的有限選項，而RISC-V生態則有眾多公司參與，產品種類和選擇會更多。
基於開源的架構也正在刺激芯片行業加速競爭，剛至堅說：“作為開源芯片架構的服務商，我們也會與其他公司競爭。但不論是我們勝出，還是其他公司勝出，這種競爭最終都會促進RISC-V生態的繁榮和進步。”
雖然RISC-V指令集架構是免費開源的，但芯片設計廠商基於RISC-V指令集架構二次開發形成的核心IP具有自主知識產權，可以通過外部收費進行授權。據RISC-V國際基金會數據顯示，2022年會員數量同比增長超過26%，會員單位總數超過3180家，遍布70個國家/地區，其中包括高通、英特爾、谷歌、阿里平頭哥、華為、紫光展銳等眾多領先的芯片公司。
開源對於RISC-V來說是優勢，但相應地也會產生一些問題。 RISC-V只有40多個基本指令集，再加上數十個基本模塊擴展指令，任何企業和開發者都可以免費使用RISC-V來創建具有獨立知識產權的芯片。
然而，開源、高度可定制和模塊化等特性，也使得RISC-V的生態更加碎片化，更加複雜。
“每家芯片研發公司對RISC-V的指令集進行升級後，其實都會產生一個新的架構。都叫RISC-V，但不同公司對RISC-V互相不能兼容，開源生態其實也是割裂的。”擬未科技總裁、大中華區總經理盧濤認為，芯片架構的開源和軟件生態很重要，但是不同的團隊，要在開放、定制和碎片化之間找到一個平衡點，這很考驗研發團隊的智慧和能力。
除此以外，Arm架構已經產生了GPU、IPU等適合AI訓練、推理的芯片，技術生態更為完善、成熟。而RISC-V的初衷是用來設計CPU的，雖然其開放性很強，但目前來講對於AI芯片的設計尚在探索階段。
據調研機構Counterpoint Research預測，到2025年，RISC-V處理器累計出貨量將超過800億顆，複合年增長率為114.9%。屆時，RISC-V將佔據全球CPU市場14%、物聯網市場28%、工業市場12%、汽車市場10%的份額。
高通已經在2019年將RISC-V應用到了其驍龍865 SoC中的微控制器中，目前出貨超過6.5億個RISC-V芯片。在2022年9月的AI Hardware Summit論壇上，RISC-V的發明者Krste Asanovic教授曾透露，目前谷歌已經開始使用基於RISC-V的SiFive Intelligence X280，開發其專為機器學習框架TensorFlow研製的TPU芯片。在此之前，谷歌在TPU芯片架構方面已經開展了超過10年的自研工作。
雖然從零開始做RISC-V芯片研發有一定的難度，但RISC-V的開源屬性，給同樣從零開始的中國芯片在封鎖、壟斷當中爭取到了多一線生機，“從我的視角看，中國的芯片公司是全球成長最快的。中國芯片公司更加激進，願意麵對挑戰。”剛至堅表示，市場是刺激芯片行業發展的關鍵。中國的芯片市場很龐大，例如中國的車用芯片算力需求，已經遠超歐美市場。隨著中國企業對AI算力需求的增長，未來中國的AI芯片產業肯定也會迎來更多的機會。
結語
除了商業方面的考慮，開源還可以幫助技術發布者優化模型。
“ChatGPT其實是工程的勝利。”如今大語言模型的成功，其實是建立在對模型的反複訓練和調教之上的。如果在建立基礎模型之後，把模型推廣到開源社區中，有更多的開發者參與模型優化工作中，那麼對於AI大模型的進步來說，無疑會產生很大的幫助。
除此以外，“開源大模型可以避免重複造輪子。”北京智源人工智能研究院副院長兼總工程師林詠華在2023年智源大會期間接受采訪時曾表示，假設所有人都去自研通用大模型，需要耗費大量的算力、數據、電力，完全是重複造輪子，不利於社會資源的合理化利用。
對於智源研究院這樣的非盈利機構來說，不管模型是開源還是閉源，可能都沒有太多商業化的考慮。但對於商業化AI公司來說，無論是微軟、谷歌、Meta、OpenAI，還是國內的智譜AI、百川智能，任何一款AI大模型肯定不會只以“科研”為目的。
OpenAI的產品雖然在技術上佔據了絕對的優勢，但以插件形式構建的ChatGPT生態，在生態建設方面卻競爭乏力。在AI的開源、閉源之爭中，未來或許會看到與手機操作系統不一樣的格局。
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載