《生成式AI》報告:應用、研究、監管合力開闢生成式人工智能的創新之路

以GPT-4發佈為標誌,生成式人工智能,朝著通用人工智能的方向,進入了創新應用的階段。

來源:啟明創投

在2023世界人工智能大會(WAIC)啟明創投論壇“生成式AI與大模型:變革與創新”上,啟明創投攜手未盡研究,共同發布重磅報告《生成式AI》| State of Generative AI 2023。

如果說2022年被稱為生成式人工智能之年,擴散模型應用取得突破,ChatGPT出世,一系列開創性的研究論文發表,2023年則把大模型推向了一個高峰,以GPT-4發佈為標誌,生成式人工智能,朝著通用人工智能的方向,進入了創新應用的階段。

這一階段最重要的特徵,是應用、研究、監管,合力開闢著生成式人工智能的創新之路。

創新應用

人們很快從生成式人工智能中看到了新的商業生態的出現,看到了一層又一層的技術,如計算、模型和應用;看到了生成的內容,如文、圖、視頻、代碼、3D結構、多模態;也看到了公開數據、垂直數據、合成數據、向量數據,用於大大小小的模型。

生成式人工智能,在中國似乎受到了更加熱情的接納:政府鼓勵發展通用人工智能;任何一家大企業都無法不關注它;許多從事知識工作的中小企業,已經先用起來再說。面對這一革命性的技術,所有企業都被捲入。它們節奏不同,介入程度不同,成為新技術浪潮下的守成者、創新者、採納者。它們的利潤率被永久的改變了。

算力目前是最稀缺的資源,也處於最容易獲利的要津。算力是大模型成本結構中最大的一塊,GPU的性能,實際上決定了這個新興行業的步調。隨著算力與模型的進步,更多初創企業正在湧入,它們搶到了時間的紅利,但也面臨競爭和可能的巨頭碾壓。可以說,這是初創企業的藍海,也有航道下的暗礁。

競爭促進了創新。與2022年快速湧現出的生產力工具方向的創業公司不同,2023 年,有更多比例的新公司聚焦在底層技術的創新;大模型創業公司也開始分化,在通用大模型創業公司方興未艾的同時,許多面向醫療、電商、科研、工業、自動駕駛和機器人等特定方向的垂直大模型公司開始出現。

前沿研究

2022年和2023年,是生成式人工智能技術取得突破的兩年,我們梳理了論文,發現生成式人工智能領域的一個突出特徵,是研究與創新過程的密切結合,許多在企業內部實現,迅速推出用例和產品。這種研究與創業的一體化,初創企業和風險資本起到了重要的作用,而美國科技巨頭和主要人工智能企業的研究投入與人才,包括一些底層技術的研究,這些年來已經超過了大學等研究機構。

人工智能的前沿正在向未來推進。儘管從GPT-4的技術報告,到微軟的研究論文,都展示出它所具有的接近於人類的文字處理能力、數學推理能力,以及諸多專業領域的知識。 “我們認為它可以合理地被視為人工通用智能(AGI)系統的早期(儘管仍不完整)版本。”但是,在通往通用人工智能的道路上,需要研究和解決的問題反而更多了。如信心校準、長期記憶、持續學習、個性化、規劃和概念跨越、透明度、認知謬誤和非理性,等等。

過去半年最重要的研究方向,是破解和理解大模型神秘而又令人興奮的智能“湧現”。大模型既需要超越對下一個詞的預測能力,也需要一個更豐富、更複雜的“慢思考”深層機制,來監督“快思考”預測下一個詞的機制。

那些最好的前沿研究,一定是研究和解決技術規模應用中遇到的問題。研究如何減少幻覺,調教大模型更加準確地輸出真實的內容,訓練出更強的推理能力;如何更集約地訓練模型,降低門檻,推出新產品,讓更多的各行各業和消費者都能用上;如何能像人一樣,與真實的物理世界互動;如何成為人類複雜工作的助手,設計並幫助執行科學實驗;如何影響就業,從而做出政策的響應;如何讓人工智能安全和可信。

監管| 安全| 政策| 人才

政府對於生成式人工智能的監管反應相當及時,各國也出現了不同的特點。中國在迅速推出生成式人工智能的監管辦法並徵求意見的同時,也在鼓勵發展通用人工智能,北京、上海、深圳是最具雄心的第一梯隊,均提出了較具雄心的人工智能科研、創新與產業目標。歐盟繼續在監管和立法方面領先,一如其5年前率先推出GDPR。美國更在意人工智能技術的領先地位,正在形成以風險管理為原則的監管框架。

長期來看,人才對人工智能未來的影響,超過了算力。中國研究人員發布的論文在數量上已經超過了美國,但金字塔頂端,無論是研究還是創業,美國仍然佔據明顯的優勢。在全球範圍內,人工智能研究創新的重心正從高校轉移至企業,美國擁有頂尖學者最多的前三大機構,分別是谷歌、微軟與Meta,合計招攬了美國頂級學者的30%。中國仍以高校為主,僅阿里巴巴躋身前10。

科技部已經提出了人工智能企業,應該接受科技倫理審查;審查主體應該設立科技倫理(審查)委員會。美國人工智能企業較早開始設立負責任與可信人工智能部門,從去年到今年以來經過一些調整,反映出在生成式人工智能發生變革之際,企業正在尋求用更好的技術和方案,來安全和負責地部署新技術。

十大前瞻

大語言模型

1. 2024年中國將出現比肩GPT-4的多語言通用大模型;

2. 超長上下文(Long Context)將引領下一次LLM技術突破;

3. 在出現更有前景的大語言模型之前,為實現垂直領域更好的效果,以下三種方式將共存:

i)在不改變數據分佈的情況下,利用更多通用數據進行通用大模型預訓練,不特別引入行業數據,

ii)利用行業專屬數據微調(Fine-Tuning)通用大模型,

iii)利用行業數據佔比更高的數據集進行垂直模型預訓練。

多模態模型

4. 當前CLIP + Diffusion的文生圖模型是過渡態,未來2年內將出現一體化的模型結構;

5. 下一代Text-to-Image模型將具備更強的可控性,它將結合底層模型能力和前端控制方式,對模型的設計將注重與控制方式的結合;

6. 2025年之前,Video和3D等模態將迎來里程碑式的模型,大幅提高生成效果;

7. 以PALM-E為代表的具身智能(Embodied AI)展現出在機器人的感知、理解和決策等方向上的巨大潛力,但當前訓練和可靠性存在較大挑戰;

8. 短期內Transformer正成為多個模態的主流網絡結構,但壓縮整個數字世界的通用方法尚未出現,Transformer並不是人工智能技術的終點。

商業機會

9. 3年內,顛覆式的AI應用的核心驅動力來自於底層模型的創新,兩者無法解耦,模型的作用將大於產品設計的作用;

10. 當前生成式AI市場處於技術主導的早期階段,存在千億美元市值的平台性企業的機會。

展開全文打開碳鏈價值APP 查看更多精彩資訊

Total
0
Shares
Related Posts