據機器之心報導，Meta 已開源專攻代碼生成的基礎模型Code Llama，可免費用於研究以及商用目的。根據研究，Code Llama 的不同版本在HumanEval 和MBPP 數據集上的一次生成通過率（pass@1）都超越GPT-3.5。此外，Code Llama 的「Unnatural」34B 版本在HumanEval 數據集上的pass@1 接近了GPT-4（62.2% vs67.0%）。不過Meta 沒有發布這個版本，但通過一小部分高質量編碼數據的訓練實現了明顯的效果改進。來自Phind（一個組織，旨在構造一款為開發人員而生的AI 搜索引擎）的研究者向GPT-4 發起挑戰，該研究用微調的Code Llama-34B 在HumanEval 評估中擊敗了GPT-4。 Phind 聯合創始人Michael Royzen 表示：“這只是一個早期實驗，旨在重現（並超越）Meta 論文中的「Unnatural Code Llama」結果。將來，我們將擁有不同CodeLlama 模型的專家組合，我認為這些模型在現實世界的工作流程中將具有競爭力。 ”此前報導，。
dark