Together 聯合斯坦福等機構開啟RedPajama 計劃，旨在創建完全開源的大型語言模型

據VentureBeat 報導，總部位於加州的專注於建立去中心化雲和開源模式的公司Together 近日宣布了RedPajama 計劃。據悉，RedPajama 是Together、Ontocord.ai、ETH DS3 Lab、斯坦福CRFM、Hazy Research 和MILA 魁北克人工智能研究所之間的一個合作項目，旨在創建領先的、完全開源的大型語言模型（LLM）。其訓練將基於LLaMA 的1.2 萬億token 數據集。這些數據使任何組織都能對模型進行預訓練，並可獲得許可。在未來幾週，Together 將發布一整套LLM 和基於RedPajama 數據集的指令調整版本。該公司強調，即將推出的模型將是完全開源的，並且在商業上是可行的。