據VentureBeat 報導,總部位於加州的專注於建立去中心化雲和開源模式的公司Together 近日宣布了RedPajama 計劃。據悉,RedPajama 是Together、Ontocord.ai、ETH DS3 Lab、斯坦福CRFM、Hazy Research 和MILA 魁北克人工智能研究所之間的一個合作項目,旨在創建領先的、完全開源的大型語言模型(LLM)。其訓練將基於LLaMA 的1.2 萬億token 數據集。這些數據使任何組織都能對模型進行預訓練,並可獲得許可。在未來幾週,Together 將發布一整套LLM 和基於RedPajama 數據集的指令調整版本。該公司強調,即將推出的模型將是完全開源的,並且在商業上是可行的。