蘋果成為人工智慧開發人員運行最大開源LLM(大語言模型)的新寵


文章來源:AI猿

圖片來源:由無界AI生成

蘋果最近為人工智慧開發人員提供了M3 晶片,現在他們可以在MacBook 上無縫地處理具有數十億參數的大型模型。蘋果在其部落格文章中表示:“對高達128GB 內存的支援可以解鎖以前在筆記型電腦上無法實現的工作流程。”

目前,僅14 吋MacBook Pro 支援M3、M3 Pro 和M3 Max 晶片,至於16 吋MacBook Pro 僅支援M3 Pro 和M3 Max 配置。蘋果還聲稱,其增強的神經引擎有助於加速強大的機器學習(ML)模型,同時保護隱私。

開發者現在可以在14 吋筆記型電腦上以較低的品質損失運行最大的開源LLM(擁有1800 億個參數的Falcon)。

然而,在筆記型電腦上運行開源LLM並不是什麼新鮮事。此前,人工智慧人士也嘗試過M1。 Invideo 的共同創辦人兼CTO Anshul Khandelwal 在他的MacBook(由M1 提供支援)上試驗了650 億參數的開源LLM。他說現在大約每週一次都會改變一切。 「未來每個技術人員都擁有本地的LLM並不遙遠」他補充道。

Perplexity.ai 聯合創始人兼首席執行官Aravind Srinivas 開玩笑地表示,一旦MacBook 在每個M1 晶片的FLOPs 方面足夠強大,每個人都使用MacBook 和高速內聯網的大型組織就會受到監管,需要向其報告其存在政府。

適用於AI 工作負載的M3

蘋果聲稱M3系列晶片目前比M2系列晶片快15%,比M1系列晶片快60%。顯然,M2 和M3 在性能和其他規格方面僅存在明顯差異。 Apple 的最新晶片具有相同的核心數量,但性能和效率核心的平衡不同(各6 個核心,8 個P 和4 個E),並支援高達36GB 的內存,而不是32GB。

M3 晶片支援高達128GB 的​​統一內存,與前身M1 和M2 晶片相比,容量增加了一倍。這種擴展的記憶體容量對於需要大量記憶體資源來訓練和執行大型語言模型和複雜演算法的AI/ML 工作負載尤其重要。

除了增強的神經引擎和擴展的記憶體支援之外,M3 晶片還採用了重新設計的GPU 架構。

該架構專為實現卓越的性能和效率而構建,結合了動態快取、網格著色和光線追蹤功能。這些進步是專門為加快AI/ML 工作負載並優化整體運算效率而設計的。

與傳統GPU 不同,新款M3 突顯採用具有「動態快取」功能的GPU,即時使用本地內存,提高GPU 使用率,並顯著提高要求苛刻的專業應用程式和遊戲的性能。

對於遊戲開發者和Photoshop 等圖形密集型應用程式或與照片相關的AI 工具的用戶來說,GPU 的功能將是有益的。 Apple 聲稱其速度最高可達M1 系列晶片的2.5 倍,具有硬體加速的網格著色功能,並以更低的功耗提高了效能。

蘋果與世界

蘋果並不孤單,AMD、英特爾、高通和英偉達等其他廠商也在大力投資增強邊緣功能,使用戶能夠在筆記型電腦和個人電腦上運行大型人工智慧工作負載。

例如,AMD最近推出了AMD Ryzen AI,其中包括第一個用於x86 Windows筆記型電腦的內建AI引擎,也是同類中唯一的整合AI引擎。

另一方面,英特爾則寄望於第14 代Meteor Lake。它是首款採用平鋪架構的英特爾處理器,可混合搭配不同類型的核心,例如高效能核心和低功耗核心,以實現效能和功耗效率的最佳平衡。

近期,高通還推出了Snapdragon X Elite。該公司執行長Cristiano Amon 聲稱,其性能優於蘋果的M2 Max 晶片,且峰值性能相當,功耗均降低了30%。同時,NVIDIA 也投資於邊緣用例,並利用Arm 技術默默致力於設計與微軟Windows 作業系統相容的CPU。

人工智慧開發人員越來越多地在本地運行和試驗語言模型,觀察這個領域的發展確實令人著迷。鑑於該領域的最新進展,蘋果正在緩慢但肯定地成為人工智慧開發人員的首選。

資訊來源:由0x資訊編譯自8BTC。版權所有,未經許可,不得轉載

Total
0
Shares
Related Posts