谷歌DeepMind 背後的科學家稱，JEST 方法在訓練AI 方面比傳統方法快13 倍。新技術的效率提高了10 倍，這意味著能源需求更低。
DeepMind 的研究人員稱，新方法可以加速AI 訓練，同時節省所需的時間和運算資源。新方法讓科學家從能源密集過程中解脫出來，促進更快、更便宜的AI 開發。
DeepMind 研究人員在最近的一篇論文中指出，聯合範例選擇(JEST) 比現有模型高出13 倍。此外，使用JEST 進行多模態對比學習的計算量減少了10 倍。
人工智慧的大量能源和資源消耗
人工智慧領域是一個能源密集產業，其大型系統（例如OpenAI 的ChatGPT）的能耗居高不下。 ChatGPT 具有強大的處理能力，需要能源和水來冷卻系統。
隨著微軟內部人工智慧運算的增加，該科技公司的用水量從2021 年到2022 年大幅上漲了34%。據傳，ChatGPT 每5 到50 次提示會消耗0.5 公升水。
國際能源總署(IEA) 預測，到2026 年，資料中心的電力消耗將增加一倍。它比較了人工智慧和經常受到批評的加密貨幣挖礦領域的能源需求。
JEST 方法為優化AI 訓練過程中的資料選擇提供了一個解決方案。 JEST 將大幅降低迭代次數和運算能力，從而降低整體能耗。
JEST 方法與提高人工智慧技術的效率和減輕其對環境的影響一致。
此技術有效性的證明將降低訓練模型的功耗。這意味著JEST 方法可以利用相同的資源或更低的開發新模型的成本來產生更強大的AI 工具。
JEST 功能
JEST 方法透過選擇互補資料批次來優化AI 模型的可學習性。與確定單一範例的傳統方法相比，該演算法考慮了整個集合。
JEST 方法支援同時學習多種語言。它消除了分別學習挪威語、德語和英語的需要，因為它支援透過一種語言來學習另一種語言。
谷歌採用了類似的方法，並且取得了成功，研究人員在論文中指出了聯合選擇資料批次的可行性。與獨立選擇不同，這種方法可以支持學習。
Google 研究人員利用JEST 流程進行多模態對比學習，協助辨識資料點中出現的依賴關係。這種方法提高了速度和訓練效率，同時消耗更少的電力。
DeepMind 強調JEST 訓練速度和效率
主要方法是從引導資料選擇過程所需的預訓練參考模型開始。該技術有助於模型優先考慮高品質且精心策劃的資料集，以優化訓練效率。
除了數據點的總質量之外，還要自主考慮組合物的批次品質功能。
該出版物解釋說，這項研究的實驗證實了相對於多個基準的穩固性能提升。特別是，它利用JEST 針對常見的WebLI 資料集進行訓練，並顯著提高了學習速度和資源效率。
研究人員透露，該演算法實現了可學習子批次的快速發現。透過優先考慮相容的資料片段，可以加速訓練過程。
DeepMind 的研究人員認為該技術是一種資料品質引導技術，重視品質而不是數量。此方法證實了其適用於AI 訓練。
文章稱，參考模型在小型精選資料集上成功訓練，可有效指導大型資料集的精選。參考模型使模型訓練在多個下游任務中大大超越參考模型品質。
同時，Google研究人員在6 月的研究中指出，人工智慧在喜劇創作方面受到多重限制。這些限制超出了典型的內容產生範圍。
這項研究的發現支持了對有效AI 模型的需求，喜劇演員們哀嘆人類從生活經驗中缺乏細微差別、情感和微妙之處。 JEST 方法能否克服這一不足尚不確定。
編輯資料來源：Photo For Everything / Shutterstock.com
資訊來源：0x資訊編譯自HERALDSHEETS。版權歸作者Michael Scott所有，未經許可，不得轉載