來源：騰訊研究院
作者：騰訊研究院
國產大模型進入長跑期，從參數至上轉向實用優先。
9月7日，在2023騰訊全球數字生態大會上，騰訊混元大模型正式亮相，並宣布通過騰訊雲對外開放。
騰訊混元大模型是由騰訊全鏈路自研的通用大語言模型，擁有超千億參數規模，預訓練語料超2萬億tokens，具備強大的中文創作能力，複雜語境下的邏輯推理能力，以及可靠的任務執行能力。
值得關注的是，騰訊混元大模型是“從實踐中來，到實踐中去”的實用級大模型。騰訊雲、騰訊廣告、騰訊遊戲、騰訊金融科技、騰訊會議、騰訊文檔、微信搜一搜、QQ瀏覽器等超過50個騰訊業務和產品，已經接入騰訊混元大模型測試，並取得初步效果。
據了解，騰訊混元大模型將作為騰訊雲MaaS服務的底座，客戶不僅可以直接通過API調用騰訊混元，也可以將騰訊混元大模型作為基底模型，為不同產業場景構建專屬應用。
騰訊集團高級執行副總裁、雲與智慧產業事業群CEO湯道生表示：“以大模型生成技術為核心，人工智能正在成為下一輪數字化發展的關鍵動力，也為解決產業痛點帶來了全新的思路。大模型需要基於產業場景，與企業數據融合，才能釋放出最大的價值。”
久久為功，全鏈路技術自研
據騰訊集團副總裁蔣傑介紹，騰訊混元大模型從第一個token開始從零訓練，掌握了從模型算法到機器學習框架，再到AI基礎設施的全鏈路自研技術。
騰訊集團副總裁蔣傑
從2021年開始，騰訊先後推出千億和萬億參數的NLP稀疏大模型，打破CLUE三大榜單紀錄，實現在中文理解能力上的新突破。
目前，業界大模型在場景中的應用依然有限，主要中心化在容錯率高、任務簡單的休閒場景。騰訊在算法層面進行了一系列自研創新，提高了模型可靠性和成熟度。
針對大模型容易“胡言亂語”的問題，騰訊優化了預訓練算法及策略，讓騰訊混元大模型的幻覺相比主流開源大模型降低了30%至50%；通過強化學習的方法，讓模型學會識別陷阱問題；通過位置編碼優化，提高了超長文的處理效果和性能；提出思維鏈的新策略，讓大模型能夠像人一樣結合實際的應用場景進行推理和決策。
此外，騰訊還自研了機器學習框架Angel，使訓練速度相比業界主流框架提升1 倍，推理速度比業界主流框架提升1.3倍。
騰訊混元大模型全鏈路自研
得益於全鏈路自研技術，騰訊混元大模型能夠理解上下文的含義，並且有長文記憶能力，可以流暢地進行專業領域的多輪對話。除此之外，它還能進行文學創作、文本摘要、角色扮演等內容創作，做到充分理解用戶意圖，並高效、準確的給出有時效性的答复。
在中國信通院《大規模預訓練模型技術和應用的評估方法》的標準符合性測試中，騰訊混元大模型共測評66個能力項，在“模型開發”和“模型能力”兩個重要領域的綜合評價均獲得了當前的最高分。在主流的評測集MMLU、CEval和AGI-eval上，騰訊混元均有優異的表現，特別是在中文的理科、高考題和數學等子項上表現突出。
上海財經大學校長劉元春認為：“借助於全鏈路自研，中國將不斷增持大模型相關人才和技術，逐漸形成體系化的產業鏈、人才鏈、技術鍊和創新鏈，最終走出一條發展通用人工智能的中國路徑，助力我們在數字技術的創新上取得突破性進展。”
騰訊全面擁抱大模型
蔣傑表示：“我們研發大模型的目標不是在評論上獲得高分，而是將技術應用到實際場景中。騰訊將全面擁抱大模型。”
在此次大會上，蔣傑展示了騰訊會議、騰訊文檔、騰訊廣告等多個業務，在接入騰訊混元大模型後的實際應用情況。
比如騰訊會議基於騰訊混元大模型打造了AI小助手，只需要簡單的自然語言指令，就能完成會議信息提取、內容分析等複雜任務，會後還能生成智能總結紀要。據實測，在指令理解、會中問答、會議摘要、會議待辦項等多個方面，騰訊混元均獲得較高的用戶採納率。
騰訊混元大模型在騰訊會議中的應用
在文檔處理方面，騰訊混元大模型支持數十種文本創作場景，在騰訊文檔推出的智能助手功能中已有應用。同時，騰訊混元還能夠一鍵生成標準格式文本，精通數百種Excel公式，支持自然語言生成函數，並基於表格內容生成K線走勢圖，目前這些功能正在內測階段，將在成熟後面向用戶開放。
在廣告業務場景，騰訊混元大模型支持智能化的廣告素材創作，能夠適應行業與地域特色，滿足千人千面的需求，實現文字、圖片、視頻的自然融合。此外，基於騰訊混元大模型的能力，廣告智能導購能夠幫助商家在企業微信等場景，提升服務質量和服務效率。
騰訊混元大模型在騰訊廣告中的應用
據了解，今年6月，騰訊雲推出了模型即服務（MaaS）解決方案，提供涵蓋模型預訓練、模型精調、智能應用開發等一站式的行業大模型服務。
最近，騰訊雲也全面接入Llama 2、Bloom等20多個主流模型，和騰訊混元一樣，都支持直接部署調用。客戶可以根據實際需求，基於騰訊混元大模型、也可以基於開源模型，打造自己專屬的行業大模型。
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載