根據IT 之家9 月27 日消息，DeepMind 研究人員日前評估大型語言模型（LLM）的壓縮能力時，發現這些模型的“壓縮能力”相當驚人，除了常規文字資料外，還可以壓縮圖像音頻，相關內容已經發佈在ArXiv 上。據悉，DeepMind 在研究中，使用了一個名為「Chinchilla 70B」的模型，雖然這個模型主要使用文字訓練，但是研究人員發現該模型也可用於壓縮ImageNet 圖片，可將檔案壓縮至原始大小的43.3% ，甚至可將LibriSpeech 語音樣本壓縮至原始的16.4%。 DeepMind 的研究證明，模型的“預測”能力和“壓縮”能力之間存在“等價性”，因此研究人員可以使用任何壓縮演算法，建立一個更強大的條件生成模型。研究也發現，若要將模型用於壓縮上，模型並非越大越好，過大的模型可能反而對壓縮能力產生負面影響。
dark