原文來源：科創板日報
圖片來源：由無界AI 生成
7月11日，英特爾在中國市場推出雲端AI訓練芯片——Habana® Gaudi®2。該芯片可滿足大規模語言模、多模態模型及生成式AI模型的需求。據現場介紹，該芯片性能在一些關鍵指標上勝過英偉達A100。
據了解，該Gaudi2處理器及Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構為基礎，具有24個可編程Tensor處理器核心（TPCs）。
每顆芯片集成了21個專用於內部互聯的100Gbps（RoCEv2 RDMA）以太坊接口，配備配置96GB HBM高速內存及2.4TB/秒的總內存帶寬，滿足大規模語言模型、多模態模型及生成式AI模型的需求。
據現場介紹，英特爾Gaudi2運行ResNet-50的每瓦性能約是英偉達A100的2倍，運行1760億參數BLOOMZ模型的每瓦性能約達A100的1.6倍。
在發布會上，浪潮信息高級副總裁、AI和HPC總經理劉軍現場發布搭載Gaudi2的新一代AI服務器NF5698G7。
目前，英特爾已與浪潮信息合作，打造基於Gaudi2深度學習加速器的AI服務器NF5698G7。該服務器集成了8顆Gaudi2加速卡HL-225B，還包含雙路第四代英特爾至強可擴展處理器，支持AMX/DSA等AI加速引擎。當日，該款AI服務器也正式發布。
浪潮信息高級產品經理王磊強調，NF5698G7是專為面向生成式AI市場開發的新一代AI服務器，支持8顆OAM高速互聯的Gaudi2加速器，將為AI客戶提供大模型訓練和推理能力。
新華三集團計算存儲產品線副總裁劉宏程表示，基於英特爾Gaudi2 AI加速器，新華三正與英特爾合作，開發適合大模型訓練和推理的高性能AI服務器。
同時，超聚變數字技術有限公司算力基礎設施領域總裁唐啟明指出，超聚變將與英特爾，共同推出基於Gaudi2的全新產品與解決方案。
此前，英特爾中國區董事長王銳在接受《科創板日報》記者採訪時指出，ChatGPT浪潮帶來計算需求的大幅度提升，目前正與包括百度、阿里等在內的中國的客戶開展共同研究。王銳透露，不管是高性能的計算還是分佈式的計算，都已經進行了佈局。
一位英特爾技術專家《科創板日報》記者分享了英特爾在大模型領域的佈局情況。在訓練層面，針對CPU、GPU、IPU、Habana等異構計算，英特爾用oneAPI以及XPU平台來提供更多的選擇。在推理方面，第四代Sapphire Rapids發布後，基於AMX加速器，可在行業中解決80%以上的客戶推理需求。同時，也充分利用CPU，包括用於訓練的Ponte Vecchio，和用於推理的Arctic Sound等。
伴隨著大模型的熱潮，雲計算的商業模式正朝著MaaS（模型即服務）的方向演進，其所帶來的算力需求也值得關注。
“它的理念是利用預訓練模型，對行業數據進行訓練，從而形成針對特定場景的、面向各行業的細分模型。我們知道通用模型的參數量非常大，例如GPT-3可達到1750億，部署這些模型會比較麻煩，因此，可能需要對大模型進行蒸餾和壓縮，形成行業可部署的模型。”上述技術專家稱。
此外，把大模型進行私有化部署是不少行業的潛在需求。 “很多細分行業不接受SaaS服務，尤其金融等行業。因此，英特爾正在探討如何把這個模型小型化之後，在本土落地做私有化部署，使其真正在行業落地。”
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載