Intel 跑步進入AI PC 時代，13 代酷睿支持160 億參數大模型

據快科技8 月20 日報導，Intel 正在大力推動PC AIGC 應用的落地，從硬件到軟件提供全方位支持。目前在PC 平台上，Intel 已發布的12/13 代酷睿、Arc A 系列顯卡，以及即將發布的下一代酷睿，都能滿足AIGC 對於高算力的需求。 Intel 13 代酷睿通過XPU 加速、low-bit 量化，以及其它軟件層面的優化，可以讓最高達160 億參數的大語言模型，通過BigDL-LLM 框架運行在16 GB 及以上內存容量的個人電腦上。已經驗證過的模型包括但不限於：LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper 等，並通過Transformers、LangChain API 接口支持Windows、Linux 的操作系統。