微軟亞洲研究院提出全新大模型基礎架構：推理速度提升8 倍，內存佔用減少70%

據量子位報導，來自微軟亞洲研究院（MSRA）的學者在“Retentive Network: A Successor to Transformer for Large Language Models”論文中提出新的大模型架構Retentive Network（RetNet），這被視作大模型領域Transformer 的繼任者。實驗數據顯示，在語言建模任務上：RetNet 可以達到與Transformer 相當的困惑度（perplexity），推理速度達8.4 倍，內存佔用減少70%，具有良好的擴展性。並且當模型大小大於一定規模時，RetNet 表現會優於Transformer。

巴比特訊