中國電信申請基於GPU 網路拓撲的大模型容量編排專利，

根據金融界1 月13 日消息，據國家智慧財產權局公告，中國電信股份有限公司申請一項名為“基於GPU 網路拓撲的大模型容量編排方法、系統及介質“，公開號CN117391163 A，申請日期為2023 年10 月。專利摘要顯示，本發明公開了基於GPU 網路拓撲的大模型容量編排方法、系統及介質，方法包括檢測多個設備之間的網路頻寬信息，設備包括GPU 和第一設備，根據網路頻寬信息，以GPU 和第一個設備作為節點，以連接兩個設備的通道作為初始鏈路，以每條初始鏈路的網路頻寬資訊和類型作為邊，構建設備網路拓撲；獲取訓練請求，根據設備網路拓撲選擇與訓練請求對應的訓練網路拓撲；根據訓練網路拓撲建立大模型容器，透過配置大模型容器執行與訓練請求對應的訓練任務。本發明透過設備網路拓撲能夠發現GPU 之間的網路頻寬，使得容器的編排能夠滿足GPU 之間的頻寬需求，提高了大模型訓練的訓練性能和訓練效率及訓練資源的利用率。本發明應用於大模型訓練技術領域。