Odaily星球日報訊在WWDC24 之前，蘋果在Hugging Face 平台上發布了一個“具有開源訓練和推理框架的高效語言模型”，名為OpenELM。這是一項開源語言模型，其原始碼及預訓練的模型權重和訓練配方可在蘋果Github 庫中取得。據介紹，OpenELM 使用分層縮放策略，可以有效地分配Transformer 模型每一層的參數，從而提高準確率。例如，在參數量約10 億的情況下，OpenELM 與OLMo 相比準確率提升了2.36%，同時所需的預訓練tokens 數量僅有原來的50%。與以往只提供模型權重和推理程式碼並在私有資料集上進行預訓練的做法不同，蘋果公司發布的版本包含了在公開資料集上訓練和評估語言模型的完整框架，包括訓練日誌、多個檢查點和預訓練配置。此外還發布了將模型轉換為MLX 庫的程式碼，以便在蘋果設備上進行推理和微調。此次全面發布旨在增強和鞏固開放研究社區，為未來的開放研究工作鋪平道路。 （IT 之家）
dark