北大開源70 億參數程式碼大模型CodeShell，號稱“同等規模最強程式碼基座”

根據IT 之家消息，10 月19 日，北京大學軟體工程國家工程研究中心知識計算實驗室聯合四川天府銀行AI 實驗室正式開源旗下70 億參數的代碼大模型CodeShell，號稱「同等規模最強代碼基座」。據悉，CodeShell-7B 基於5000 億Tokens 進行了冷啟動訓練，上下文視窗長度為8192，架構設計上融合了StarCoder 和Llama 兩者的核心特性。在程式碼評估基準HumanEval 和MBPP 中，CodeShell 超過了CodeLlama-7B 和StarCodeBase-7B，在humaneval 的其它程式語言評測中，如JavaScript、Java、C++，CodeShell 依然效能領先。