中國電子工業標準化技術協會

一、工作簡況

根據中國電子工業標準化技術協會2022年第六批團體標準制修訂通知（中電

標通〔2022〕018號），團體標準《人工智能異構人工智能加速器統一接口》制

定工作下達立項通知，計劃號CESA-2022-040。

本標準由中國電子技術標準化研究院牽頭，華為技術有限公司、北京航空航

天大學聯合發起，主要參編單位包括上海人工智能研究院、英特爾（中國）有限

公司、商湯集團股份有限公司、上海依圖科技有限公司、深圳云天勵飛技術股份

有限公司、浪潮電子信息產業股份有限公司、南京沐曦科技有限公司、四川華鯤

振宇智能科技有限公司、上海天數智芯半導體有限公司、上海燧原科技有限公司、

上海壁仞智能科技有限公司、北京格靈深瞳信息技術股份有限公司、小視科技（江

蘇）有限公司、超聚變數字技術有限公司、深圳鯤云信息科技有限公司、北京曠

視科技有限公司、阿里云計算有限公司、百度在線網絡技術（北京）有限公司、

昆侖芯（北京）科技有限公司、北京第四范式智能技術股份有限公司、北京希姆

計算科技有限公司、西門子（中國）有限公司、騰訊控股有限公司等國內外人工

智能加速器和機器學習框架企業。標準的歸口單位是中國電子工業標準化技術協

會和中國電子技術標準化研究院。

本標準主要工作過程如下：

2022年5月-7月，《人工智能異構人工智能加速器統一接口》標準編制組成

立，對該標準的立項達成共識，共同收集相關資料，多次組織專家進行討論，形

成標準草案大綱。

2022年6月17日，參加中國電子工業標準化技術協會團體標準立項答辯，團

體標準通過立項評審。2022年07月11日，中國電子工業標準化技術協會下達標準

計劃任務（中電標通（2022）018號）。

中國電子工業標準化技術協會

2022年8月-10月，《人工智能異構人工智能加速器統一接口》標準編制工

作組成立。召開首次標準研討會，確定標準范圍、目的、標準化對象、章節目錄，

及各章節的初步內容范圍。

2022年11月-2023年03月，中國電子技術標準化研究院組織標準起草工作組

多次召開標準研討會，針對產學研單位對標準文本提出的意見建議，持續對標準

草案進行討論、迭代。

2023年3月22日-2023年3月24日，召開信標委AI分委會全會，分委會成員單

位就異構人工智能加速器統一接口標準的范圍和關鍵問題，進行廣泛討論，標準

起草工作組聽取意見，并做修改。

2023年3月-4月，召開標準研討會，組內審查標準草案，形成征求意見稿。

二、標準編制原則和確定主要內容的論據及解決的主要問題

《人工智能異構人工智能加速器統一接口》標準定義異構人工智能加速器

的統一接口及其語義和使用方法，提出各加速器為實現此接口所需的接入方法和

試驗方法。標準適用于人工智能加速器接口的設計和實現，也可為人工智能加速

器應用提供參考。

編制原則：

異構人工智能加速器統一接口旨在在各人工智能加速器使能軟件之上與機

器學習框架之下，建立中間層。對上，屏蔽加速器的異構性，對下，屏蔽機器學

習框架的多種接入方式，以達到讓加速器或機器學習框架快速對接而建立或復用

生態的目標。基于此，本標準有以下編制原則：

1）以各人工智能加速器使能軟件為基礎，研究共同性，并對使用人工智能

加速器執行機器學習計算任務（模型訓練、模型推理）執行的必要過程和接口實

施分析，明確人工智能加速器統一接口的范圍；

2）接口解決使用各類人工智能加速器訓練和推理的問題，標準涉及人工智

能加速器執行控制（如運行時），模型操作（如編譯、轉化），模型構建等。在

研制過程中，盡量兼容各類人工智能加速器公共或極其類似的接口，率先實施標

準化，跑通系統，并最大程度地降低人工智能加速器接入所需開發資源，加快接

入過程。

擬解決的主要問題：

中國電子工業標準化技術協會

據2020年不完全統計，我國人工智能加速處理器研發機構多達2800多家。每

種加速器都有自建軟件及應用生態的任務。這種現象將給人工智能計算企業和產

業帶來沉重負擔。其核心問題如下：

1）技術生態：人工智能計算生態的嚴重割裂，加速器的技術生態林立，小

且脆弱；

2）兼容適配：眾多加速器需與眾多計算框架（如深度學習軟件框架）一一

適配，產業整體適配工作量巨大；

3）用戶使用：異構加速器整合、使用的復雜度很高。加速器之間的兩兩互

操作在如此大的規模上，較難實現和維護。

人工智能應用的建立，需要實現各種計算框架及各類加速器相對靈活搭配，

但需盡可能少地侵入各類人工智能加速器的已有技術路線（各種加速器的已有指

令級和算子實現庫），不限制創新。

三、主要試驗[或驗證]情況分析

異構人工智能加速器統一接口的定義參考了國內主流的人工智能加速器使

能軟件的設計。在試驗方面，標準定義了接入符合性驗證方法和指標。基于團體

標準建立周期較短、靈活等特點，本標準的主要目標是跑通系統，完成從加速器

及其使能軟件，到統一接口，再到上層機器學習框架和應用全棧跑通的目標，達

成驗證的目的。標準的參與企業幾乎包含國內和國際所有的（有產品化、商用能

力的）人工智能加速器研制企業及其國內代理。當前已有人工智能加速器企業對

接和使用此接口，已形成了一定產業遵從效益。

四、知識產權情況說明

本標準不涉及知識產權的產出或使用。

五、產業化情況、推廣應用論證和預期達到的經濟效果

本標準預計達成以下產業預期：

1）技術生態：為異構人工智能加速器提供接入方案。在不要求異構人工智

能加速器改動指令級或算子實現庫的情況下，幫助人工智能加速器快速建立生態

2）兼容適配：為機器學習軟件框架提供統一接口，為多種加速器與多種框

架的兼容適配提供方案。降低產業整體的適配工作量

3）用戶使用：為用戶提供統一接口，屏蔽異構加速器的復雜度，降低使用、

中國電子工業標準化技術協會

維護難度。

AI新興技術領域，此領域的技術發展較快，尤其是芯片領域，正是國內近

兩年大力發展的方向；另外，利用中間層屏蔽異構性，是技術界常用的方法，但

針對廣泛AI異構加速器統一接口的標準化，在國內尚屬首次。ISO/IECTR17903

（中國代表團牽頭，在編）討論過程中，各國專家認為新中間層有利于解決產業

問題，認為此系未來重要的標準化方向。在ISO/IECTR17903中設置了相關章

節，擬描述概念框架和關鍵問題。國內AI加速器研制機構眾多，芯片產業發展

迅速，有大量生態發展需求。國內深度學習框架（5+）或其它工具軟件數量較多，

有大量加速器適配工作量。國內AI應用逐步深化，應用逐漸增多，需求強烈。

利用標準化的技術方案降低應用、維護復雜度，是產業效能升級的必要項。

通過人工智能加速器統一接口的研制和產業應用，有望降低產業中各人工智

能加速器與各機器學習框架對接及維護的整體成本。當有m個框架，n種加速器

時，兩兩對接需要m*n的總體工作量。在使用人工智能加速器統一接口后，m

個框架和n種加速器可分別對接本接口。一旦對接，就天然享有已對接的對側支

持（如加速器對接后，就能被已對接的框架調用。反之亦然。）使用統一接口，

并不阻礙特定框架對特定加速器的適配和使用。對加速器來講，對統一接口的接

入，即可獲得多框架的支持。對框架來講，對統一接口的適配，即可獲得多加速

器的運行能力。本標準提出一種非侵入式的解決方案，降低產業整體復雜度。

六、轉化國際標準和國外先進標準情況

《人工智能異構人工智能加速器統一接口》在《國家新一代人工智能標準

體系建設指南》（國標委[2020]35號文）中，屬于C類（基礎軟硬件平臺）。本

標準不轉化國外標準。

標準與國外相關標準的比較如下：

標準主要內容與本標準的關系

KhronosOpenCL跨處理器的并KhronosOpenCL3.0Specification不專門針

3.0行編程接口對AI計算，不能覆蓋深度神經網絡相關操作及

Specification相關推理、訓練控制過程。本標準專為人工智能

（鏈接）領域計算研制，在并行計算方面，與Khronos

OpenCL3.0保持一定兼容。國內機構對Khronos

OpenCL標準的參與受國際關系因素影響較大

中國電子工業標準化技術協會

InteloneAPI1.2Intel企標，定oneAPI標準主要為IntelCPU服務，定義接口

（鏈接）義了跨處理器的顆粒度和選擇，以Intel指令集和調用作為

（主要為第一參考。在并行計算方面，oneAPI與Khronos

CPU-GPU）的編OpenCL3.0保持一定程度的兼容。本標準為公

程接口共標準，且不著重針對CPU-GPU間計算任務的遷

移

ISO/IECTR17903提供機器學習ISO/IECTR17903由ISO/IECJTC1/SC42中

Overviewof計算設備的概國代表團（SAC）牽頭，不涉及接口，但在國際

machinelearning覽，包含機器學標準討論中，認為統一接口是技術發展的重要方

computing習設備性能相向，ISO/IECTR17903為本標準提供國際高水

devices（鏈接）關的特性及其平標準上的理論鋪墊

使用方法和指

標

IEEE2937定義了AI服務IEEE2937規定典型AI計算設備的性能測試方

Standardfor器，AI服務器集法，不涉及接口定義。但在系統使用統一接口層

performance群，AI計算中心時，性能可能稍有損失，使用IEEE2937及相關

benchmarkingfor（AIHPC設施）工具（由電子四院等單位研制）實施性能損失評

artificial性能測試方法估，為調優提供依據

intelligence

serversystems

（鏈接）

七、與現行相關法律、法規、規章及相關標準的協調性

《人工智能異構人工智能加速器統一接口》與現行法律、法規、強制性國

家標準及相關標準協調配套情況如下：

文件相關內容分析、討論

2020.8，國務從財稅、投融資、IPO、研究因國際局勢影響，國內芯片產業在2019

院:《新時期促開發、進出口、人才、知識年后，因國內需求拉動，進入了投資、

進集成電路產產權、市場應用、國際合作產業活動高增長階段。小生態林立，生

業和軟件產業等多角度對半導體產業的發態建設困難，投資見效慢、風險大的矛

高質量發展的展提供政策支持，提出中國盾十分突出。

若干政策》芯片自給率要在2025年達異構加速器統一接口，有利于幫助小企

到70%。業快速建立應用生態，減少因為建立生

態或在技術路線上的誤判和盲目投入，

可能帶來的損失等問題

中國電子工業標準化技術協會

2021.12，國務搶先布局前沿技術融合創國內AI加速器研制機構，在2021年總

院：《“十四五”新，推進言學科和交叉研究[1]

數達到2800多家，異構化明顯，小

數字經濟發展平臺建設，重點布局下一代

規劃》移動通信技術、量子信息、生態林立，生態建設總體困難，群體性

第三代半導體等新興技術，矛盾突出。

推動信息、生物、材料、能異構加速器統一接口，有利于解決群體

源等領域技術融合和群體性性問題。

突破

2021.11，工信推動芯片企業豐富產品體國家政策要求豐富芯片產品體系，是從

部：《“十四五”系，加快模組分級分類研發，芯片應用角度，對芯片研制提出了需

信息通信行業優化模組環境適應性，降低求。部署在相同計算系統中的異構芯片

發展規劃》功耗及成本，增強原始創新的協同，需要統一的編程模式和數據交

能力和產業基礎支撐能力換方法。

異構加速器統一接口，有利于降低應用

復雜度，也是我國AI產業解決自身問

題原始創造力的體現。降本增效，對產

業發展起到支撐作用。

[1]魏少軍.實干推動設計業不斷進步.中國半導體行業協會集成電路設計業分會年會

的報告.2021.（鏈接）

標準與國內相關標準的比較如下：

標準主要內容與本標準的關系

GB/T42018－2022定義了各類人工智能GB/T42018－2022標準在內容上與本

《信息技術人工智能物理計算資源的形標準無覆蓋關系，但提出的人工智能

平臺資源供給》態、組成、基礎技術計算設備可使用各類人工智能加速處

參數，虛擬計算資源理器。本標準旨在促進異構加速器應

的基本特征，并針對用的簡化，使其更好地服務于各類人

各類計算設備形態，工智能計算設備

提出了測試方法

20203869-T-469《人工定義了機器學習系統20203869-T-469標準在內容上與本標

智能面向機器學習的的基礎架構準無覆蓋關系，但提出的機器學習系

系統規范》統的參考架構，為本標準所定義的統

一接口，明確上下層部件、組件及運

行時關系

GB/T42382.1－2023定義了離線模型的表GB/T42382.1－2023標準定義的離線

《信息技術神經網絡示和壓縮方法模型表示方法針對離線模型，即訓練

表示與模型壓縮第1好的模型。用于不同格式離線模型的

部分：卷積神經網絡》互轉。本標準定義異構人工智能加速

器統一接口，與已有標準不存在沖突

中國電子工業標準化技術協會

T/CESA1228.1－2022定義了典型（CPU，T/CESA1228.1－2022標準僅定義典

《信息技術人工智能GPU，NPU，FPGA）人型人工智能加速處理器的虛擬化方法

計算設備調度與協同工智能加速處理器的和基礎調度模式，在過程和功能層面，

第1部分：虛擬化與調虛擬化方法和基礎調而非接口層面。本標準完成統一接口，

度》度模式可相互配套使用。AI系統的建設，可

使用本標準，而不必實施虛擬化過程，

也可實施虛擬化，形成更精細的算力

切分和調度

CESA-2021-3-018《信定義了深度學習框架CESA-2021-3-018不定義異構加速器

息技術人工智能深與各種人工智能加速統一接口。本標準定義的統一接口，

度學習框架多硬件平器直接適配的技術要可作為一種“抽象”的加速器接入使

臺適配技術要求與評求和指標用。

價指標》

八、重大分歧意見的處理經過和依據

無。

九、貫徹標準的要求和措施建議

本文件可作為推薦性標準，標準發布后實施。

標準發布后，將盡快推出、實施人工智能加速器統一接口接入符合性測試，

將對接的技術細節和流程普及到產業，豐富人工智能加速器應用生態，加速國內

各人工智能加速器技術生態的建立，降低產業整體成本。

十、替代或廢止現行相關標準的建議

無。

十一、其它應予說明的事項

無。

《人工智能異構人工智能加速器統一接口》

團體標準編制起草組

2023-5-8

中國電子工業標準化技術協會

一、工作簡況

根據中國電子工業標準化技術協會2022年第六批團體標準制修訂通知（中電

標通〔2022〕018號），團體標準《人工智能異構人工智能加速器統一接口》制

定工作下達立項通知，計劃號CESA-2022-040。

本標準由中國電子技術標準化研究院牽頭，華為技術有限公司、北京航空航

天大學聯合發起，主要參編單位包括上海人工智能研究院、英特爾（中國）有限

公司、商湯集團股份有限公司、上海依圖科技有限公司、深圳云天勵飛技術股份

有限公司、浪潮電子信息產業股份有限公司、南京沐曦科技有限公司、四川華鯤

振宇智能科技有限公司、上海天數智芯半導體有限公司、上海燧原科技有限公司、

上海壁仞智能科技有限公司、北京格靈深瞳信息技術股份有限公司、小視科技（江

蘇）有限公司、超聚變數字技術有限公司、深圳鯤云信息科技有限公司、北京曠

視科技有限公司、阿里云計算有限公司、百度在線網絡技術（北京）有限公司、

昆侖芯（北京）科技有限公司、北京第四范式智能技術股份有限公司、北京希姆

計算科技有限公司、西門子（中國）有限公司、騰訊控股有限公司等國內外人工

智能加速器和機器學習框架企業。標準的歸口單位是中國電子工業標準化技術協

會和中國電子技術標準化研究院。

本標準主要工作過程如下：

2022年5月-7月，《人工智能異構人工智能加速器統一接口》標準編制組成

立，對該標準的立項達成共識，共同收集相關資料，多次組織專家進行討論，形

成標準草案大綱。

2022年6月17日，參加中國電子工業標準化技術協會團體標準立項答辯，團

體標準通過立項評審。2022年07月11日，中國電子工業標準化技術協會下達標準

計劃任務（中電標通（2022）018號）。

中國電子工業標準化技術協會

2022年8月-10月，《人工智能異構人工智能加速器統一接口》標準編制工

作組成立。召開首次標準研討會，確定標準范圍、目的、標準化對象、章節目錄，

及各章節的初步內容范圍。

2022年11月-2023年03月，中國電子技術標準化研究院組織標準起草工作組

多次召開標準研討會，針對產學研單位對標準文本提出的意見建議，持續對標準

草案進行討論、迭代。

2023年3月22日-2023年3月24日，召開信標委AI分委會全會，分委會成員單

位就異構人工智能加速器統一接口標準的范圍和關鍵問題，進行廣泛討論，標準

起草工作組聽取意見，并做修改。

2023年3月-4月，召開標準研討會，組內審查標準草案，形成征求意見稿。

二、標準編制原則和確定主要內容的論據及解決的主要問題

《人工智能異構人工智能加速器統一接口》標準定義異構人工智能加速器

的統一接口及其語義和使用方法，提出各加速器為實現此接口所需的接入方法和

試驗方法。標準適用于人工智能加速器接口的設計和實現，也可為人工智能加速

器應用提供參考。

編制原則：

異構人工智能加速器統一接口旨在在各人工智能加速器使能軟件之上與機

器學習框架之下，建立中間層。對上，屏蔽加速器的異構性，對下，屏蔽機器學

習框架的多種接入方式，以達到讓加速器或機器學習框架快速對接而建立或復用

生態的目標。基于此，本標準有以下編制原則：

1）以各人工智能加速器使能軟件為基礎，研究共同性，并對使用人工智能

加速器執行機器學習計算任務（模型訓練、模型推理）執行的必要過程和接口實

施分析，明確人工智能加速器統一接口的范圍；

2）接口解決使用各類人工智能加速器訓練和推理的問題，標準涉及人工智

能加速器執行控制（如運行時），模型操作（如編譯、轉化），模型構建等。在

研制過程中，盡量兼容各類人工智能加速器公共或極其類似的接口，率先實施標

準化，跑通系統，并最大程度地降低人工智能加速器接入所需開發資源，加快接

入過程。

擬解決的主要問題：

中國電子工業標準化技術協會

據2020年不完全統計，我國人工智能加速處理器研發機構多達2800多家。每

種加速器都有自建軟件及應用生態的任務。這種現象將給人工智能計算企業和產

業帶來沉重負擔。其核心問題如下：

1）技術生態：人工智能計算生態的嚴重割裂，加速器的技術生態林立，小

且脆弱；

2）兼容適配：眾多加速器需與眾多計算框架（如深度學習軟件框架）一一

適配，產業整體適配工作量巨大；

3）用戶使用：異構加速器整合、使用的復雜度很高。加速器之間的兩兩互

操作在如此大的規模上，較難實現和維護。

人工智能應用的建立，需要實現各種計算框架及各類加速器相對靈活搭配，

但需盡可能少地侵入各類人工智能加速器的已有技術路線（各種加速器的已有指

令級和算子實現庫），不限制創新。

三、主要試驗[或驗證]情況分析

異構人工智能加速器統一接口的定義參考了國內主流的人工智能加速器使

能軟件的設計。在試驗方面，標準定義了接入符合性驗證方法和指標。基于團體

標準建立周期較短、靈活等特點，本標準的主要目標是跑通系統，完成從加速器

及其使能軟件，到統一接口，再到上層機器學習框架和應用全棧跑通的目標，達

成驗證的目的。標準的參與企業幾乎包含國內和國際所有的（有產品化、商用能

力的）人工智能加速器研制企業及其國內代理。當前已有人工智能加速器企業對

接和使用此接口，已形成了一定產業遵從效益。

四、知識產權情況說明

本標準不涉及知識產權的產出或使用。

五、產業化情況、推廣應用論證和預期達到的經濟效果

本標準預計達成以下產業預期：

1）技術生態：為異構人工智能加速器提供接入方案。在不要求異構人工智

能加速器改動指令級或算子實現庫的情況下，幫助人工智能加速器快速建立生態

2）兼容適配：為機器學習軟件框架提供統一接口，為多種加速器與多種框

架的兼容適配提供方案。降低產業整體的適配工作量

3）用戶使用：為用戶提供統一接口，屏蔽異構加速器的復雜度，降低使用、

中國電子工業標準化技術協會

維護難度。

AI新興技術