NVIDIA最近的博客文章探討了浮點8（FP8）如何通過提高計算效率而不犧牲準確性，推動AI培訓的進展。 FP8優化了AI模型培訓中的速度和內存，採用E4M3和E5M2兩種變體以滿足深度學習需求。 FP8在NVIDIA H100架構中通過Tensor Core集成實現效率。與INT8相比，FP8的浮點設計減少量化噪聲，使得模型訓練更加高效。 NVIDIA的Blackwell架構進一步支持低精度格式，且FP8的量化技術顯著加速訓練過程。總體而言，FP8為AI培訓方法帶來了重大進步。
Felix Pinkston Jun 04，2025 17：05
探索如何通過平衡計算速度和準確性來提高浮點8（FP8），這是NVIDIA的見解所詳述的。
NVIDIA最近的一篇博客文章顯示，浮點8（FP8）的引入有望通過提高計算效率而不犧牲準確性來大大提高AI培訓。隨著大型語言模型（LLM）的不斷增長，對創新培訓方法的需求變得至關重要，而FP8正成為有前途的解決方案。
了解FP8
FP8旨在優化AI模型培訓中的速度和內存使用量。它利用了兩個變體：E4M3，優先考慮向前傳球的精度和E5M2，它為向後傳球提供了更廣泛的動態範圍。這些格式經過精心調整以滿足深度學習工作流程的需求。
NVIDIA H100體系結構中FP8張量核的集成是實現這一效率的關鍵因素。這些核心通過策略性地利用較低的精度格式來促進訓練過程的加速，從而提高了計算速度和記憶力保護。
FP8與INT8
雖然INT8格式還提供內存節省，但其固定點性質與變壓器體系結構中典型的動態範圍鬥爭，通常會導致量化噪聲。相比之下，FP8的浮點設計允許單個數字縮放，可容納更大的值並減少諸如梯度傳播等操作的錯誤。
Nvidia的Blackwell建築
NVIDIA的Blackwell GPU體系結構進一步擴展了低精度格式的支持，引入了FP4和FP6（例如FP4和FP6）的良好粒度sub-fp8格式。該體系結構採用了獨特的塊級縮放策略，將不同的縮放因子分配給張量中的小塊，從而增強精度而不會增加複雜性。
收斂和加速
FP8的量化技術通過減少張量表示的位計數來大大加速LLM訓練和推斷，從而節省了計算，內存和帶寬。但是，需要仔細的平衡來維持融合，因為過多的減少可以降低培訓結果。
實施策略
FP8的有效實施涉及張量表和塊縮放等策略。張量縮放量表跨張量施加單個縮放係數，而塊縮放率將因子分配給較小的塊，從而可以根據數據范圍進行更多細微的調整。這些技術對於優化模型性能和準確性至關重要。
總而言之，FP8代表了AI培訓方法的重大進步，為更有效的模型開發提供了一種途徑。通過平衡精度和計算需求，FP8將在AI技術的未來中發揮至關重要的作用，正如NVIDIA持續的創新所強調的那樣。
有關更多詳細信息，請訪問原始的NVIDIA博客文章。
圖像來源：Shutterstock
資訊來源：由0x資訊編譯自BLOCKCHAINNEWS。版權歸作者所有，未經許可，不得轉載