DeepSeek今日於AI開源社區Hugging Face上發布了一個名為DeepSeek-Prover-V2-671B的新模型。據悉，DeepSeek-Prover-V2-671B 使用了更高效的safetensors文件格式，並支持多種計算精度，方便模型更快、更省資源地訓練和部署，參數達6710億，或為去年發布的Prover-V1.5數學模型升級版本。在模型架構上，該模型使用了DeepSeek-V3架構，採用MoE（混合專家）模式，具有61層Transformer層，7168維隱藏層。同時支持超長上下文，最大位置嵌入達16.38萬，使其能處理複雜的數學證明，並且採用了FP8量化，可通過量化技術減小模型大小，提高推理效率。 (金十)
dark