商湯「書生・浦語」2.0 大語言模型開源：200K 上下文，一次可讀30 萬漢字

根據IT 之家1 月17 日報道，商湯科技與上海AI 實驗室聯合香港中文大學和復旦大學今日發布了新一代大語言模型書生・浦語2.0（InternLM2）。據介紹，InternLM2 是在2.6 兆token 的語料上訓練得到的。沿襲第一代書生・浦語（InternLM）設定，InternLM2 包含7B 及20B 兩種參數規格及基座、對話等版本，繼續開源，提供免費商用授權。目前，浦語背後的資料清洗過濾技術已經歷三輪迭代升級，號稱僅使用約60% 的訓練資料即可達到使用第二代資料訓練1T tokens 的效能表現。據介紹，透過拓展訓練視窗大小和位置編碼改進，InternLM2 支援20 萬tokens 的上下文，能夠一次性接受並處理約30 萬漢字（約五六百頁的文件）的輸入內容。 InternLM2 在20B 參數的中等規模上，整體表現接近ChatGPT。