來源：鈦資本研究院
在ChatGPT席成交量全球後，人工智能被推到了新的風口，作為顛覆性的智能生產力工具，早已成為熱門話題。當前，全球發達國家和地區均把人工智能產業發展上漲到國家戰略，相關新興技術和應用不斷落地。隨著新一輪AI浪潮的深入發展，一場由數智化技術引領的工業革命呼之欲出，同時也拉開了各行各業“大模型時代”的序幕。
為何大型語言模型能夠引領AI的潮流？國內AI有哪些投資機會？近期，鈦資本邀請到容億資本投資總監林駿超進行分享，主題是：從一級市場角度看AI的投資機會。林先生擁有英國倫敦大學學院（UCL）的電子電氣工程學士學位和一等榮譽碩士學位，有三年創業經驗和六年股權投資經驗。其投資重點包括基礎軟件開發工具、元宇宙和AIGC等領域，其中包括景業智能、智能開源中國等項目。本次分享主持人是鈦資本董事總經理吳凱，以下為分享實錄：
大語言模型為何能獨領AI潮頭
AI發展簡史
自香農在1950年提出計算機博弈以來，AI已經歷了超70年的發展歷程。我們大致可將其分為四個階段：早期啟蒙+專家系統時代（50-70年代）、機器學習+計算機視覺時代（80-90年代）、深度學習時代（2006-2017）、多模態+大語言模型時代（2018-至今）。
早期啟蒙階段的里程碑事件發生在1956年的達特茅斯學院夏季研討會，會上首次提出了人工智能概念，正式拉開了人工智能的序幕，期間相繼出現了1966年MIT開發的首個聊天機器人ELIZA，首個專家系統DENDRAL，以及1976年David Marr提出計算機視覺和計算神經學概念。
機器學習時代，有一位里程碑式的人物，就是前段時間從谷歌離職的AI教父——杰弗裡·辛頓。他在1986年提出反向傳播算法，使得大規模神經網絡訓練成為可能，為後來的神經網絡和深度學習鋪平了道路。同時，在這一階段內，也出現了許多里程碑事件和人物，例如1979年的西洋雙陸棋比賽，以及1997年深藍戰勝國際象棋世界冠軍卡斯特羅夫。 2006年，杰弗裡·辛頓等人正式提出深度學習的概念，從而將AI引入了第三階段——深度學習時代。
在深度學習時代中，杰弗裡·辛頓在2012年提出成交量積神經網絡AlexNet並在ImageNet圖像分類競賽上奪魁，整體錯誤率比第二名低了10.8%，正式開啟了計算機視覺的深度學習元年。 2013年3月，谷歌將杰弗裡·辛頓的創業公司DNNResearch以4400萬美元收購，自此谷歌開始引領全球AI的發展；2015年全球最具影響力的深度學習框架TensorFlow開源；2016年AlphaGo以4：1戰勝九段圍棋高手李世石；2017年推出Transformer模型，自此拉開了當下大語言模型時代的巨幕。同時，伴隨著這波谷歌引領的AI浪潮，Scale AI、HuggingFace、OpenAI等AI獨角獸也相繼於2016年成立。互聯網巨頭Meta也在2017年開源了更好用的深度學習框架Pytorch。
大語言模型時代的主導者OpenAI，最早於2019年4月初露頭角，其研發的OpenAI Five以2:0的絕對優勢擊敗了Dota2世界冠軍OG戰隊，隨後分別於2020年5月發布了1750億參數的GPT-3、2022年11月推出ChatGPT（GPT-3.5）、2023年3月推出GPT-4，自此正式接棒谷歌，開始引領全球大語言模型的發展。而谷歌、Meta、微軟等互聯網/軟件巨頭也調整戰略，積極參與到大模型競賽之中。自2022年年底ChatGPT以來，我們看到全球各大廠商紛紛入局大模型，國內高校、科技巨頭、初創企業等，也不斷推出各類大模型產品和應用。
國內的AI發展史最早可以追溯到1998年成立的微軟亞洲研究院，如今國內熟知的創新工場、百度、金山軟件、阿里巴巴、商湯、曠世等公司，背後的創始人和核心團隊都來自於微軟亞洲研究院。國內第一批AI公司科大訊飛、大華、海康威視於2008年-2010年前後在A股上市。 2011年-2015年，國內湧現出不少計算機視覺創業企業，例如AI四小龍曠視（2011年成立）、依圖（2012年成立）、商湯（2014年成立）、雲從（2015年成立）等。 2018年，國家隊——北京智源人工智能研究院成立。這次大型模型的發展也受益於這股浪潮。 2002年以來，寒武紀、商湯、海天瑞聲、雲從等AI相關企業相繼在科創板和港股上市。
ChatGPT和GPT-4的魅力
為什麼ChatGPT和GPT-4能讓我們直觀的感受到這波AI與過往的與眾不同和強大之處？主要可以從以下幾個方面來看：
第一，從用戶角度來看，這次屬於非常類人的交互方式。與ChatGPT進行對話時，內容是逐字逐句生成的，一邊在思考，一邊在生成回答。同時，它還具備多輪對話的能力。此外，它還能扮演一些角色，例如翻譯官、心理諮詢師等。
第二，泛化能力，主要體現在沒有上下文的情況下，能夠快速理解需求，並給出相對準確的回答。這背後依賴於海量的預訓練語料和提示工程的支持。
第三，思維鏈。能夠理解上下文和語境，甚至是長文本。如最新發布的Claude2，上下文處理能力達到10萬token，基本可以將整本書餵進去讓它處理。同時，還有強大的邏輯推理能力，能夠將問題按照人類的思維處理方式逐步拆解和推導。
這些能力其實都是伴隨著模型參數的增加以及訓練時間的延長，才湧現出來的。此外，我們可以看到GPT-4在人類各項考試方面，成績也非常優秀，基本上可以達到準大學生的水平。
大語言模型的構成
回到大語言模型本身，推薦大家去看OpenAI聯合創始人Andrej Karpathy之前在微軟開發者大會上分享的State of GPT主題演講。他將大模型的訓練過程拆解成了四個階段：
預訓練階段，需要龐大的、相對低質量的訓練數據（包括書籍、互聯網爬取、論文等）和整個大模型訓練過程中的99%的算力和時間，來訓練出一個基礎模型。例如，訓練一個6500億參數的LLaMA基礎模型，需要2048張英偉達A100 GPU，耗時21天，整個訓練成本在500萬美元左右。因此，訓練一個基礎模型對於初創企業來說並不友好，這樣的資源和成本一般只有大廠才具備。
第二步是在基礎模型上進行有監督、微調，從而訓練出SFT model，例如Vicuna-13B等常見的開源模型，都是經過監督微調的模型。在這個階段，只需要提供少量的、高質量的數據，算力需求也比較少。
第三、第四階段是獎勵建模和強化學習階段，也就是RLHF人類強化反饋學習。通過這兩個階段，模型的輸出結果會遠遠優於監督微調模型和基礎模型，但會犧牲掉基礎模型的熵。
從一級市場產業角度看AI機遇
從一級市場投資角度系統性地看AI投資機遇，主要可以將其分為基礎層、部署層和應用層，AI模型社區貫穿了這三層。
基礎層又可以分為基礎設施層、數據層和算法層。
基礎設施層的最底層是算力，也是目前面臨最直接卡脖子的地方，如今英偉達和AMD的GPU都存在對國內禁運的問題。國內算力龍頭華為鯤鵬，也面臨流片難題，未來中國在高端算力方面可能會面臨越來越大的壓力。同時，這裡還存在GPU利用率的問題，即便是OpenAI，有大量英偉達工程師常駐在現場人工調優，但其GPU利用率也只有50%-60%。算力之上是圍繞著大模型的基礎軟件層，例如AI原生的數據存儲、數據傳輸、數據安全等圍繞著數據的各類工具和開發運維平台，具體包括向量數據庫、LLMOps、MLOps等。
數據層可能存在較多機遇，因為基礎模型未來可能是頭部公司在做，同時還會有大量開源的基礎模型存在，所以沒有必要花大量資金去開發自己的基礎模型。應該將精力放在垂直行業和企業自身的數據增持，以及如何形成客戶願意付費的大模型應用上。目前，大模型最大的痛點是如何獲得高質量數據集和垂直行業數據集，大家看到了大模型在工業、科學、醫療、法律、金融、教育等領域的潛力。未來的機會可能就在如何高效地獲取高質量數據，如何處理多模態數據，如何標識符化，如何讓數據資產化，如何確權，如何交易，如何保護安全等方面。
算法層的核心在於深度學習框架和基礎模型
深度學習框架可謂是AI的操作系統，向下統籌調用算力資源，向上承接AI算法模型的構建能力，提供大量的算子庫、模型庫以及文檔教程等，本質上也是一種生態，降低開發門檻。目前，全球主流的深度學習框架主要是谷歌的TensorFlow和Meta的Pytorch，國內主要有百度飛槳、華為昇思和之前被光年之外收購的Oneflow。
基礎模型本身也存在著多樣性，例如從技術路徑上來說有CNN、RNN、GAN、Transformer等，Transformer模型又可以分為自編碼模型、自回歸模型、編碼器-解碼器模型等，從形式上又可分為閉源和開源等。這個方向是最有可能誕生出市值千億，甚至萬億的公司，但同時也是競爭最激烈的主戰場。
在百模大戰的時代，模型評測成為了衡量各類模型能力的核心工具。目前，市面上已出現面向傳統小模型（GLUE、SuperGLUE等）、針對大語言模型（HELM、BIG-Bench等）和針對中文大語言模型（SuperCLUE、C-Eval等）的各類評測工具。像SuperCLUE和C-Eval，在其評測集內增加了大量具有中國特色的問題（毛澤東思想、馬斯克主義基本原理等）和中文特性（成語、詩詞、文言文等）等維度。從評測結果來看，除了GPT-4、GPT-3.5和Claude，國內大模型產品在整體評測表現上都優於其他海外模型，因此訓練中文大模型的必要性非常高。
應用層可以分為通用大模型和垂直行業大模型，我們主要關注通用大模型領域內的新一代AI賦能生產力工具和各垂直行業領域的大模型應用機遇。
to C—AI賦能生產力工具
疫情時代，Notion、Figma、Canva等以協作為主題的生產力工具發生了變革。同樣，在這波AI浪潮下，生產力工具也將迎來新一次的變革。
如今我們看到大模型已在文本、代碼、圖像、音樂、視頻、3D等方面不同程度的滲透，各類新產品和新應用層出不窮，例如文本領域的聊天機器人和辦公產品copilot，代碼領域的GitHub copilot，圖像領域的Midjourney和Stable Diffusion，之前音樂領域火爆一時的AI孫燕姿，視頻領域的runway等等，國內如百度、金山辦公、印象筆記、智譜華章等也紛紛推出了類似的AI產品，都在不同程度地改變傳統生產力工具的形態，但目前還僅限於各領域工業生產過程中的效率工具，無法實現真正意義上的AGI。
同時，可以看到微軟office、Adobe Photoshop、Unity、Notion等廠商也在積極擁抱這波AI浪潮，將AGI能力嵌入到自家的產品和工具鏈中。原以為Midjourney和Stable Diffusion的出現會完全替代Photoshop，但後來發現AGI因為在可控性等方面的問題，反而讓結合AI生成能力的Photoshop，變得更加強大和好用。
3D領域是目前最難實現AI化的領域之一，核心因素主要在於高質量的3D數據太少。目前，3D內容的AGI主要還是NVIDIA、Unity、Stability.ai和科研院所在探索和引領，但現階段都還是Demo和散點狀的工具為主，離真正能夠應用到影視特效、遊戲、元宇宙等工業領域還有很長的路需要走。
to B—垂直行業大模型
目前，各大廠推出的大模型產品，大多屬於通用大模型，但面向垂直行業時，B端客戶需要的是高準確性、高一致性、輕部署的大模型，能夠用較少的數據、較低的算力、高效地解決具體場景問題。華為最新發布的盤古3.0大模型就在基礎大模型之上，增加了N個L1行業大模型和X個L2場景模型能力。
垂直行業大模型的核心關鍵點在於高質量的行業數據集和模型調優、壓縮和部署的工程化能力。這也是投資機會點，就如同雲原生時代下的容器機遇一樣，大量傳統行業中小B企業，需要依靠專業化的容器廠商幫助自己走上雲原生的道路。
目前，海外在垂直行業大模型領域已有大量的探索和實踐，例如FinGPT領域的彭博社GPT，彭博社將過去40年增持的金融數據轉換成了3650億token的金融數據集，並結合通用數據集訓練了自己的500億參數彭博社GPT；LawGPT領域的EvenUp（個人傷害索賠案件文件處理）、Casetest（被湯森路透以6.5億美元收購）等；MedGPT領域，谷歌的Med-PaLM 2、微軟的Nuance（集成GPT-4發布支持語音的醫療病歷生成應用程序—DAX Express）等。
最後談一下海外AGI賽道的資本關注點：從投資數量來看，前五大分別是營銷類文本應用、音頻、客戶支持/客服機器人、圖像和MLOps平台；從融資金額角度來看，資金更多地流向了MLOps平台，它的核心價值在於降低開發大模型門檻，其次是客服機器人、音頻、數字人及配音、圖像。
問答
Q1:做數據標註、輔助AI發展的外包服務公司，最近好像生意也非常好，你們的投資傾向會是怎樣？
A:這兩個方向目前我們都在關注。數據標註領域主要關注這些公司如何借助大模型的能力來提高標註效率，例如使用GPT-4來標註文本，使用SAM來標註圖片等。因為數據標註領域目前的核心競爭點是效率和毛利，誰能夠借助大模型能力實現更高效的標註。大模型服務方面，會類似雲原生時代下的容器機遇，需要有專業廠商來降低大模型的訓練、開發和部署門檻，幫助每個企業實現大模型自由。
Q2: AI現在有TO C和TO B兩大類方向，你覺得TO C機會更大還是TO B機會更大？
A:我們更關注TO B。因為TO C領域，有太多的互聯網巨頭，特別像國內APP應用生態這麼強的地方，大廠能夠更容易地在自己的APP中嵌入AI能力。因此，我們更關注他們的數據整合能力、商業化理解和工程化能力。
Q3:即便是十億參數以上的大模型，國內已報告的有80多家。在大模型這塊的投資趨勢怎麼樣？開源和閉源的比較會如何選擇？
A:對於開源和閉源，要思考如何用好開源以及如何用好開源模型進行商業化，比如LLaMA在開源協議內就有商業化的限制。閉源就需要自己做生態和支持，這可能只有大廠才有能力和財力來維持。
Q4:從AI創業者的角度，可以分成三大類。一類來自大廠，已經有很大名氣的創始人。另一類是學院派，來自清華系或其他領域的院士和專家。還有一類偏向草根派的創業者。對於這三類，你更看好哪一類？
A:國內這波大模型浪潮，很多是在Open AI發布了ChatGPT，LLaMA和Bloom等大模型開源之後才出現的，我們目前持觀望態度。當然，國內也有不少前瞻性較強的大廠、學院派創業公司在這波大模型熱潮出現之前，就已經在探索。
對於學院派團隊來說，如何實現商業化，最具挑戰。所以我認為未來沒有必要自己做到底，如OpenAI和微軟的合作，可以將大模型能力賦予大廠。我們現在就在圍繞開源中國尋找標的，因為它有IDE產品線，需要代碼的copilot，所以在尋找與學院派團隊的合作可能性，我認為這種方式更走得通一些。
Q5:在B端有哪些垂直行業最有可能實現商業化突破？
A:由於大模型的能力具有泛化和多模態的特點，像法律領域是一個非常常見的場景，對文字內容的需求非常大。大模型正好具備這種能力，儘管準確性方面仍需要解決一些問題。另外，個人助理類的產品也是一個可以遐想的場景，儘管發展週期可能較長。
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載