中國電子工業標準化技術協會

一、工作簡況

1、項目背景

隨著5G與AI的快速發展，邊端設備上運行AI算法成為了IoT的主流方式。對

于移動終端和IoT設備，由于硬件資源限制，云側的模型和推理運行框架體積太

大，無法直接部署，因此模型的壓縮和運行框架的輕量化成為移動終端和IoT設

備上部署的關鍵。在AIoT的趨勢下，邊端設備資源受限的條件下，需部署輕量的

AI算法模型用于語音、視覺等應用。致力于圍繞該產業的各個廠商設計生產了針

對深度學習從訓練、優化、部署、硬件加速的各種工具。如主流的模型訓練框架

TensorFlow、Pytorch、Caffe和MXNet等。硬件上如超低算力的MCU，定制化的AI

芯片等以及語音模組、視覺模組等封裝模塊產品。該產業應用范圍廣泛，但缺少

標準化流程及規范。

本標準針對以上問題，致力于解決AIoT產業所面臨的碎片化問題，加速AI

的部署和普及，極大地降低了面對不同硬件和場景而遷移平臺的成本和開發周

期。

2、任務來源

根據中國電子工業標準化技術協會2022年下達的團體標準制修訂計劃的通

知（中電標通〔2022〕018號），團體標準《人工智能邊端設備模型部署工具鏈

功能要求》由中國電子技術標準化研究院負責組織制定，其項目計劃號為

CESA-2022-039。

3、標準起草單位

本標準起草單位：美的集團（上海）有限公司、中國電子技術標準化研究院、

海信集團控股股份有限公司、北京神州綠盟科技有限公司、視聯動力信息技術股

份有限公司等。

4，主要工作過程

中國電子工業標準化技術協會

在標準計劃下達之前，《人工智能邊端設備模型部署工具鏈功能要求》編

制組于2022年3月舉行啟動《人工智能邊端設備模型部署工具鏈功能要求》團體

標準草案編制，確定了標準草案。

2022年3月，編制組成立；

2022年4月，召開編制組第一次會議，確定總體思路、框架；

2022年7月，確定基本內容、含義、范圍等，并在中國電子工業標準化技術

協會完成團體標準立項；

2023年2月，編制組持續開展編制工作，共舉行6次標準研討會；

2023年3月，初稿完成，在全國信標委人工智能分委會會議周進行匯報，擴

大意見征集范圍。

2023年5月，提交中電標協秘書處，啟動公開征求意見。

二、標準編制原則和確定主要內容的論據及解決的主要問題

1、編制原則

《人工智能邊端設備模型部署工具鏈功能要求》標準的編制原則如下：

（1）科學性原則：本文件依托現有產業應用要點，充分結合編制組內部產

學研用各單位優勢，充分利用科研成果、典型產品，保障標準指標的科學合理。

（2）全面性原則：本標準中在編制中充分考慮了到標準的全面性，保證能

夠覆蓋模型壓縮、轉換、推理加速等功能模塊，確保標準的完備性。

（3）實用性原則：本標準充分考慮了我國人工智能邊端設備模型部署工具

鏈的發展現狀和實際需求，并堅持吸收現有的先進技術和正在進行人工智能相關

研究的企業、高校、科研院所等的先進經驗，保證工具和流程的實用性。本標準

規定的功能要求清晰、易操作、可試驗，可以指導各行業人工智能實踐及相關單

位開展相關工作。

2、確定主要內容的論據

邊端設備模型部署工具鏈面向提升深度神經網絡在邊端設備實時性運行能

力，從模型訓練到部署的端到端全鏈路優化，即通過模型壓縮模塊，將深度神經

網絡模型中的冗余去除，減少模型尺寸，實現對模型的壓縮。模型轉換模塊，將

壓縮后模型轉換成推理所需格式。在推理加速模塊，解析轉換的模型格式，將模

型進行圖優化操作，并進行運行優化、結合硬件計算單元從而加速模型推理并降

中國電子工業標準化技術協會

低硬件功耗。輔助功能模塊主要是提供模型部署過程所需的基本運維，測試驗證，

輔助用戶使用工具鏈。

3、主要解決的問題

規定了人工智能邊端算法部署工具鏈的框架、技術要求。適用于邊端算法部

署工具鏈的研發和應用。技術內容主要包含兩個子框架，分別是模型壓縮框架、

邊端推理加速框架。模型壓縮框架除了包括主流的核心壓縮技術，剪枝、量化、

知識蒸餾等，還加入了數據增強及訓練的超參數搜索的優化方式，致力于降低深

度模型尺寸及計算量的同時還保證了良好的模型性能。邊端推理從多層面方位進

行優化，包含圖優化、編譯優化到運行時優化。同時支持多種后端方式。

三、主要試驗[或驗證]情況分析

該標準在編制過程中，各行業單位積極參與編制，涉及家電、制造、互聯網

等眾多行業，產品覆蓋常見的智能終端，經過起草組的各單位內部試驗驗證，技

術內容符合產業發展現狀。

四、知識產權情況說明

無。

五、產業化情況、推廣應用論證和預期達到的經濟效果

目前，國際上較為領先的是google公司出的tensorflow-lite。Tensorflow-lite

在2017年發布，是一款輕量級推理框架，對于tensorflow框架訓練的AI模型在

部署上支持力度友好，對google掌控的Android系統適配性好。國內比較主流的

推理框架產品包括MNN及騰訊的NCNN等。騰訊的NCNN推理引擎，兼容

tensorflow訓練模型，也是針對手機端優化的推理框架，但其僅支持后量化的壓

縮方案，其他壓縮功能不支持。MNN是阿里巴巴研發的推理引擎，主要支持手

機淘寶系業務，也是針對手機優化相對好，設計理念并未考慮超低功耗的AI芯

片，近期剛剛支持量化的模型壓縮方案，但對剪枝、蒸餾等其他功能尚未支持，

沒有一套完整的壓縮框架。

六、轉化國際標準和國外先進標準情況

本標準在IEEE標準委員會中同步開展標準編制，編制組已申請成立IEEE

P3342ArtificialIntelligenceonEdgeDevice(C/AISC/AIED)標準工作組開

展IEEE標準制定。

中國電子工業標準化技術協會

七、與現行相關法律、法規、規章及相關標準的協調性

符合我國有關的現行法律、法規。

八、重大分歧意見的處理經過和依據

無重大分歧意見。

九、貫徹標準的要求和措施建議

應通過各類國家級科技計劃和產業化項目資助，大力開展人工智能邊端設備

模型部署效果評估、試驗示范系統建設工作，促進人工智能模型的快速部署和使

用。

十、替代或廢止現行相關標準的建議

無。

十一、其它應予說明的事項

無。

《人工智能邊端設備模型部署工具鏈功能要求》團體標準

編制起草組

2023-5-15

中國電子工業標準化技術協會

一、工作簡況

1、項目背景

隨著5G與AI的快速發展，邊端設備上運行AI算法成為了IoT的主流方式。對

于移動終端和IoT設備，由于硬件資源限制，云側的模型和推理運行框架體積太

大，無法直接部署，因此模型的壓縮和運行框架的輕量化成為移動終端和IoT設

備上部署的關鍵。在AIoT的趨勢下，邊端設備資源受限的條件下，需部署輕量的

AI算法模型用于語音、視覺等應用。致力于圍繞該產業的各個廠商設計生產了針

對深度學習從訓練、優化、部署、硬件加速的各種工具。如主流的模型訓練框架

TensorFlow、Pytorch、Caffe和MXNet等。硬件上如超低算力的MCU，定制化的AI

芯片等以及語音模組、視覺模組等封裝模塊產品。該產業應用范圍廣泛，但缺少

標準化流程及規范。

本標準針對以上問題，致力于解決AIoT產業所面臨的碎片化問題，加速AI

的部署和普及，極大地降低了面對不同硬件和場景而遷移平臺的成本和開發周

期。

2、任務來源

根據中國電子工業標準化技術協會2022年下達的團體標準制修訂計劃的通

知（中電標通〔2022〕018號），團體標準《人工智能邊端設備模型部署工具鏈

功能要求》由中國電子技術標準化研究院負責組織制定，其項目計劃號為

CESA-2022-039。

3、標準起草單位

本標準起草單位：美的集團（上海）有限公司、中國電子技術標準化研究院、

海信集團控股股份有限公司、北京神州綠盟科技有限公司、視聯動力信息技術股

份有限公司等。

4，主要工作過程

中國電子工業標準化技術協會

在標準計劃下達之前，《人工智能邊端設備模型部署工具鏈功能要求》編

制組于2022年3月舉行啟動《人工智能邊端設備模型部署工具鏈功能要求》團體

標準草案編制，確定了標準草案。

2022年3月，編制組成立；

2022年4月，召開編制組第一次會議，確定總體思路、框架；

2022年7月，確定基本內容、含義、范圍等，并在中國電子工業標準化技術

協會完成團體標準立項；

2023年2月，編制組持續開展編制工作，共舉行6次標準研討會；

2023年3月，初稿完成，在全國信標委人工智能分委會會議周進行匯報，擴

大意見征集范圍。

2023年5月，提交中電標協秘書處，啟動公開征求意見。

二、標準編制原則和確定主要內容的論據及解決的主要問題

1、編制原則

《人工智能邊端設備模型部署工具鏈功能要求》標準的編制原則如下：

（1）科學性原則：本文件依托現有產業應用要點，充分結合編制組內部產

學研用各單位優勢，充分利用科研成果、典型產品，保障標準指標的科學合理。

（2）全面性原則：本標準中在編制中充分考慮了到標準的全面性，保證能

夠覆蓋模型壓縮、轉換、推理加速等功能模塊，確保標準的完備性。

（3）實用性原則：本標準充分考慮了我國人工智能邊端設備模型部署工具

鏈的發展現狀和實際需求，并堅持吸收現有的先進技術和正在進行人工智能相關

研究的企業、高校、科研院所等的先進經驗，保證工具和流程的實用性。本標準

規定的功能要