射線與人工智能計算框架的發展歷程與未來展望


根據Enyscale,AI的快速發展對現有計算框架構成重大挑戰,尤其是在處理非結構化數據和GPU需求方面。傳統框架如Apache Spark在應對這些需求時表現不佳,存在計算瓶頸。為了滿足以Python為基礎的AI工作負載,Ray作為分佈式計算框架應運而生,支持多模式數據和異質計算。大公司如Uber和Spotify已採用Ray,提升其AI能力。隨著AI的進步,對能有效管理複雜數據和工作負載的框架的需求將持續增長,Ray的開源社區也在不斷優化其性能。


費利克斯·平克斯頓(Felix Pinkston),2025年6月24日13:19

根據Enyscale的說法,探索射線如何解決AI框架中的計算瓶頸,因為非結構化數據和GPU要求挑戰舊系統。

射線和AI計算框架的演變

人工智能(AI)的快速發展給現有的計算框架帶來了重大挑戰,尤其是因為非結構化數據和GPU需求揭示了遺留系統的局限性。根據Enyscale的說法,非結構化數據(例如文本,圖像和視頻)的增長超過了傳統的結構化數據,因此需要更健壯和靈活的計算框架。

向非結構化數據的轉變

組織越來越多地認識到非結構化數據的價值,該數據現在超過了十倍或更多的數量。這種轉變是由處理圖像,音頻和聊天日誌(以增強用戶體驗和自動化過程的複雜數據類型)的需要驅動的。但是,主要關注結構化數據和SQL式工作負載的現有數據和AI基礎架構努力跟上這些需求。

當前框架挑戰

傳統框架(例如Apache Spark)在處理非結構化數據和AI模型時有效地面臨限制。 Spark以CPU為中心的架構以及對Java虛擬機(JVM)的依賴創建瓶頸,尤其是在處理處理現代AI模型所需的以GPU為中心的任務時。此外,在Python和Scala環境之間序列化數據的需求進一步阻礙了性能。

雷的崛起

為了應對這些挑戰,Ray是作為AI-NATIANITE分佈式計算框架開發的,旨在滿足基於Python的AI工作負載的特定需求。 Ray的體系結構支持多模式數據和異質計算,從而允許CPU和GPU任務的無縫編排。這種靈活性使Ray成為希望現代化其AI基礎架構的組織的重要工具。

行業採用和影響

雷的影響很大,像Uber,Spotify和Pinterest這樣的主要公司採用該框架來增強其AI功能。 Ray使這些組織能夠將生成AI集成到其係統中,同時優化現有的機器學習管道。該框架處理大規模,複雜的AI模型的能力已在OpenAI的GPT-3.5等備受矚目的項目中得到了證明,強調了其革新AI計算框架的潛力。

前景

隨著AI的繼續發展,對可以有效管理多模式數據和復雜工作負載的框架的需求只會增加。雷的開源社區正在積極努力進一步簡化各種異質群集的AI工作負載的分佈式處理和編排。 Anyscale致力於使對Ray能力的訪問權限,以確保AI團隊可以迅速利用其權力來滿足對高級AI用例的不斷增長的需求。

圖像來源:Shutterstock

資訊來源:由0x資訊編譯自BLOCKCHAINNEWS。版權歸作者所有,未經許可,不得轉載

Total
0
Shares
Related Posts