據IT 之家6 月13 日報導，近日，阿聯酋科技創新研究所（TII）打造出了400 億參數的語言模型Falcon-40 B，在Hugging Face 的OpenLLM 排行榜上排名第一，並持續霸榜，贏過此前LLaMA、StableLM 和RedPajama 等競爭者。據稱，Falcon-40 B 使用了384 顆GPU 來進行2 個月的訓練、利用將近5 億個Token 訓練而成。為提高訓練過程的質量，團隊還自己組建了一套工作流程來篩選出“最高質量的的資料”供給AI 模型訓練。經多個基準測試，表現比LLaMA、Vicuna 和Alpaca 更加出色。此外，團隊還採用了“多重查詢注意力”（Multiqery attention）機制，來提高模型的效率。 “多重查詢注意力”機制即模型可以對每個Token 進行多個查詢，來更好表示同一序列中，不同token 之間的關係，以在加速模型運算效率的同時，降低模型的複雜性，進而提高模型整體的可維護性。阿聯酋科技創新研究所首席執行官Ray O. Johnson 博士表示：“2023 年將是人工智能之年。Falcon 模型對我們來說具有里程碑意義，但這僅僅是個開始”。
dark