ICS35.240.40CCSA11北京金融科技產業聯盟發布IT/BFIA035—2024前言 2規范性引用文件 3術語和定義 4縮略語 5金融AI服務器產品總體要求 6金融AI服務器關鍵組件要求 7金融AI服務器兼容性要求 8金融AI服務器可靠性要求 9算子模型遷移能力要求 10金融AI服務器供應鏈安全要求 附錄A（資料性）訓練AI服務器性能測試方案 10附錄B（資料性）推理AI服務器性能測試方案 15附錄C（資料性）AI服務器安全可控特性說明 參考文獻 T/BFIA035—2024本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定起請注意本文件的某些內容可能涉及專利。本文件的發布機構不承擔識別專利的責任。本文件由北京金融科技產業聯盟歸口。本文件起草單位：中國金融電子化集團有限公司、北京金安信息技術有限責任公司、中國建設銀行股份有限公司、中國工商銀行股份有限公司、中國民生銀行股份有限公司、中國農業銀行股份有限公司、中信銀行股份有限公司、中國銀行股份有限公司、上海浦東發展銀行股份有限公司、平安銀行股份有限公司、國家開發銀行、招商銀行股份有限公司、華為技術有限公司、中興通訊股份有限公司、浪潮電子信息產業股份有限公司、中國長城科技集團股份有限公司、曙光信息產業股份有限公司、新華三技術有限公司、上海兆芯集成電路股份有限公司、飛騰信息技術有限公司、深圳市江波龍電子股份有限公司、四川華鯤振宇智能科技有限責任公司、第四范式（北京）技術有限公司。本文件主要起草人：姜云兵、班廷倫、馬國照、韓竺吾、常璐、劉東東、裴凱洋、畢偉光、龔郅凡、刁翔宇、林晨、朱昊志、甘政兵、高金鵬、蔡佳、宋辰、夏夢婷、孫朝斌、劉雪濤、錢學成、吳酋珉、白陽、王君、邸賀亮、顏培源、胡世珺、高云超、楊帆、薛石磊、張毅、楊景瑞、曹洵峰、劉東、劉勝龍、廣文博、王桐桐、詹謙、顧偉。T/BFIA035—2024在信息技術的全面應用創新趨勢下，確保金融基礎設施的安全穩定，是金融機構行穩致遠關鍵之一。金融行業應用人工智能技術，是從數字化走向智能化的核心力量，更是金融機構智慧再造的關鍵載體。人工智能技術可自動化金融業務流程，提高效率和準確性。人工智能可幫助金融機構更好地識別和管理風險，并確保合規性。人工智能可通過分析大量數據，提供個性化的金融產品和服務?！八懔?、數據、算法、開放平臺”是人工智能技術的核心內容，其中算力包括：人工智能芯片、人工智能設備等產品，提供金融機構使用高性能、低成本、綠色的人工智能算力是應用的關鍵目標。金融業人工智能服務器種類繁多，主要有人工智能訓練服務器、人工智能推理服務器、人工智能邊緣服務器、人工智能服務器集群等，通過梳理金融業人工智能設備應用要求，有助于金融機構依據自身業務特點，針對性選購人工智能服務器，并采取適當、合理的管理措施和安全防護措施。為了加快金融服務智慧應用，特制定本文件。1T/BFIA035—2024金融業人工智能服務器應用技術要求本文件規定了人工智能服務器產品總體要求以及關鍵組件、兼容性、可靠性、遷移能力、供應鏈安全的要求，給出了性能測試方案和安全可控特性的說明。本文件適用于人工智能服務器產品的設計、開發、生產、服務保障等環節，該文件可作為各金融行業等相關單位進行信息系統人工智能改造升級時參考。2規范性引用文件本文件沒有規范性引用文件。3術語和定義下列術語和定義適用于本文件。3.1服務器server信息系統的重要組成部分，是信息系統中為客戶端計算機提供特定應用服務的計算機系統，由硬件系統（處理器、存儲設備、網絡連接設備等）和軟件系統（操作系統、數據庫管理系統、應用系統）組[來源：GB/T9813.3—2017，3.1]3.2人工智能加速卡artificialintelligenceacceleratingcard專為人工智能計算設計、符合人工智能服務器硬件接口的擴展加速設備。注：本文件中，在不引起誤解的語境中，將人工智[來源：GB/T42018—2022，3.6]3.3人工智能服務器artificialintelligenceserver信息系統中能夠為人工智能應用提供高效能計算處理能力的服務器。注3：本文件中，在不引起誤解的語境中，將人工智能[來源：GB/T42018—2022，3.5]3.42T/BFIA035—2024人工智能加速處理器artificialintelligenceacceleratingprocessor具備適配人工智能算法的運算微架構，能夠完成人工智能應用加速運算處理的集成電路元件。注：本文件中，在不引起誤解的語境中，將人工智能加速處理器[來源：GB/T42018—2022，3.8，有修改]3.5訓練training利用訓練數據，基于機器學習算法，建立或改進機器學習模型參數的過程。[來源：ISO/IEC22989:2021，3.2.15]3.6推理inference計算機根據已知信息進行分析、分類或診斷，做出假設，解決問題或者給出推斷的過程。[來源：GB/T42018—2022，3.12]3.7安全可控controllabilityforsecurity信息技術產品具備的保證其應用方數據支配權、產品可控權、產品選擇權等不受損害的屬性。[來源：GB/T36630.1—2018，3.2]3.8深度學習deeplearning一種試圖使用包含復雜結構或由多重非線性變換構成的多個處理層對數據進行高層抽象的算法。4縮略語下列縮略語適用于本文件。AI：人工智能（ArtificialIntelligence）BMC：基板管理控制器（BaseboardManagementController）CPU：中央處理器（CentralProcessingUnit）DDR：雙倍速率（DoubleDataRate）ECC：錯誤檢測和糾正（ErrorCorrectingCode）FLOPS，每秒浮點運算次數（Floating-pointOperationsPerSecond）GE：千兆以太網（GigabitEthernet）GPU：圖形處理器（GraphicsProcessingUnit）HBM：高帶寬內存（HighBandwidthMemory）HDD：硬盤有機械硬盤（HardDiskDrive）NPU：嵌入式神經網絡處理器（Neural-networkProcessingUnits）NVMe：非易失性內存協議（NonVolatileMemoryExpress）PCIE：一種高速串行計算機擴展總線標準（PeripheralComponentInterconnectExpress）RAID：磁盤陣列（RedundantArraysofIndependentDisks）3T/BFIA035—2024RDIMM：帶寄存器的雙線內存模塊（RegisteredDualIn-lineMemoryModule）RoCE：基于融合以太網的RDMA（RDMAoverConvergedEthernet）SSD：固態硬盤（SolidStateDisk或SolidStateDrive）TOPS：每秒運算處理Tera次（TeraOperationsPerSecond）5金融AI服務器產品總體要求5.1概述按照AI服務器的使用類型和部署方式分為AI訓練服務器、AI推理服務器、AI機柜式服務器等。5.2AI訓練服務器5.2.1通用要求AI訓練服務器滿足以下要求：a）應支持提供的人工智能計算加速方式如下：——通過擴展設備，如人工智能加速卡等；——通過加速或配套的擴展加速模組，如人工智能加速電路等；——通過集成人工智能處理器的方式，如SOC等。b）外部存儲應支持SATASSD或NVMeSSD；c）應支持連接以太網（包括RoCE網絡）接口；d）整機應至少配置2個人工智能處理器，每個人工智能處理器的顯存應不低于48GB；每個人工智能處理器的FP16算力應不小于70TFLOPS。5.2.2推薦性功能AI訓練服務器推薦性功能如下：a）CPU每個核心L1I-cache宜不小于32KB，L1D-cache宜不小于32KB，L2cache宜不小于512KB；b）L3cache容量宜不小于48MB；c）宜支持DDR4及以上版本的內存，DDR通道宜不少于8個；d）外部存儲宜支持SATA硬盤設置RAID0/1/10/5/50/6/60；e）宜支持連接以太網（如RoCE網絡）接口或Infiniband網絡等接口；f）CPU宜支持機密計算，支持國密技術，能夠擴展支持GPU/NPU的機密計算方案；g）宜支持ECC1bit糾錯，ECC2bit報錯；h）訓練服務器浮點算力：整機宜至少配置8個人工智能處理器。每個人工智能處理器的FP32算力宜不小于80TFLOPS，FP16算力宜不小于300TFLOPS，BF16算力宜不小于300TFLOPS，INT8算力宜不小于600TOPS；每個人工智能處理器顯存宜不低于64GB；帶寬不低于1600GB/S；i）整機服務器內人工智能處理器雙向通信帶寬宜不小于380GB/s；宜支持多臺服務器間互聯，不小于8*200GEROCE。訓練AI服務器性能測試方案見附錄A。5.3AI推理服務器5.3.1通用要求AI推理服務器的要求如下：4T/BFIA035—2024a）應配備三級緩存，容量不應低于16MB；b）應支持DDR4或LPDDR4及以上版本的內存；c）應兼容PCIe4.0及更低版本的PCIe協議；d）應能連接并使用25GE、10GE或GE等接口；e）中心推理服務器，所安裝推理卡，每卡要求如下：——INT8算力應不小于140TOPS，FP16應不小于70TFLOPS；——顯存應不低于24GB。f）邊緣推理服務器，所安裝推理卡，每卡要求如下：——INT8算力應不小于100TOPS，FP16應不小于50TFLOPS；——應支持不小于80路（1080P30幀/秒）視頻解碼（視頻格式如H.264/H.265——應支持不小于24路（1080P30幀/秒）視頻編碼（視頻格式如H.264/H.265）。5.3.2推薦性功能AI推理服務器推薦性功能如下：a）宜能通過自帶固件，如通過BMC等，或其他外接部件監控系統參數；b）宜支持INT8運算；c）中心推理服務器所安裝的推理卡，每卡規定如下：——INT8算力宜不小于560TOPS，FP16算力宜不小于280TFLOPS；每卡顯存宜不低于64GB，帶寬宜不低于1600GB/S；d）邊緣推理服務器所安裝的推理卡，每卡規定如下：——INT8算力宜不小于140TOPS，FP16宜不小于70TFLOPS；——宜支持不小于128路（1080P30幀/秒）視頻解碼（視頻格式如H.264/H.265）；——宜支持不小于24路（1080P30幀/秒視頻編碼（視頻格式如H.264/H.265）。AI推理服務器的性能測試方案見附錄B。5.4AI機柜式服務器5.4.1通用要求對AI機柜式服務器的要求如下：a）應支持通過安全可靠測評的CPU處理器，宜集成了DDR4或DDR5、PCIe3.0以上、100GE、25GE、10GE、GE等接口，提供完整的SOC功能；——應支持不低于48核，單核主頻率應2.6GHz以上；——應兼容安全可控的CPU架構；——應支持收集CPU狀態；b）應支持面向深度學習訓練的高性能多核GPU/NPU等處理器；c）單臺計算節點應支持不小于8個AI處理器，能夠最大限度地提高多線程應用的并發執行能力；d）應最小支持不少于24條DDR4/5ECC內存，內存支持RDIMM，支持最小提供1024GB內存容量；e）應支持多種靈活的硬盤配置方案，提供了彈性的、可擴展的存儲容量空間，滿足不同存儲容量的需求和升級要求。5.4.2推薦性功能單柜宜支持放置最多8個計算節點，單個計算節點宜提供不低于3000TFLOPS的FP16算力，或不低于750TFLOPS的FP32算力。5T/BFIA035—20246金融AI服務器關鍵組件要求6.1硬件要求6.1.1通用計算芯片6.1.1.1通用要求對通用計算芯片的要求如下：a）應支持安全可控的處理器；b）應支持多個內存通道。6.1.1.2推薦性功能宜支持芯片級的機密計算和安全加速等安全功能。6.1.2AI加速芯片AI加速芯片通用要求如下：應配置安全可控的AI加速芯片。AI芯片、AI加速卡、AI服務器的安全可控特征見附錄C。6.1.3AI加速卡6.1.3.1通用要求對AI加速卡的要求如下：a）應支持程序配置、使用、管理AI加速卡；b）應支持加速卡擴展，接口類型應具備通用性。6.1.3.2推薦性功能AI加速卡的推薦性功能如下：a）單卡INT8算力峰值宜不小于280TOPS；b）單卡FP16算力峰值宜不小于140TFLOPS算力；c）宜支持視頻硬件編解碼功能；d）宜支持AI加速卡的管理功能，如設備型號識別、設備溫度獲取等。6.1.4供電單元對供電單元的通用要求如下：a）應支持雙路及以上電源冗余輸入；b）應支持通信接口，具備故障報警，提供電源運行狀態監控；c）應支持安全可控供電單元；d）應支持高壓直流功能。6.1.5散熱單元6.1.5.1通用要求對散熱單元的要求如下：a）應支持系統冗余散熱，如通過風冷、液冷等散熱方式實現系統散熱；6T/BFIA035—2024b）應支持風扇調速，根據調速策略自動調整風扇轉速。6.1.5.2推薦性功能宜支持模塊化設計，支持風扇模塊熱更換。6.2軟件要求6.2.1操作系統6.2.1.1通用要求應具備來自版權所有方合法的最終用戶使用授權且功能正常。6.2.1.2推薦性功能宜支持安全可控的操作系統。6.2.2AI基礎軟件6.2.2.1AI芯片使能軟件1）對AI芯片使能軟件的通用要求以下：a）AI芯片使能軟件應具備人工智能軟件加速庫（算子）的集合，提供對于深度學習的計算優化功b）應通過提供多層次的編程接口，支持用戶快速構建AI應用和業務；c）應提供基于C/C++等語言的算子開發接口，使用戶具有自定義算子開發的能力；d）AI產品應使用k8s等進行算力資源的運維管理，并提供AI產品主要指標的監測能力。6.2.2.2AI開發框架6.2.2.2.1通用要求對AI開發框架的要求如下：a）提供AI軟件適配能力，應支持國內外深度學習框架；b）應至少支持1種深度學習或分布式框架，包括但不限于MindSpore、TensorFlow、PyTorch、PaddlePaddle等。6.2.2.2.2推薦性功能AI開發框架的推薦性功能如下：a）宜支持常見的視覺分析、NLP和語音識別功能；b）視覺分析宜支持resnet50、yoloV5等神經網絡；c）NLP宜支持bert、Transformer等神經網絡；d）語音識別宜支持tacotron2、waveRNN、flyspeech等神經網絡。7金融AI服務器兼容性要求7.1通用要求7T/BFIA035—2024對AI服務器系統兼容性的要求如下：a）服務器的兼容性主要包括部件兼容性和操作系統兼容性。部件兼容性應保障服務器中各部件的有效運行，包括CPU、內存、網卡、HDD硬盤、SSD盤/卡等；操作系統兼容性主要保障服務器硬件與操作系統的有效配合；b）固件升級前后應兼容官方版本。7.2推薦性功能AI服務器系統兼容性的推薦性功能如下：a）宜支持通用的AI開發框架；b）宜支持AI芯片使能軟件；c）宜支持模型轉換、模型可解釋、功能調試、性能調優等。8金融AI服務器可靠性要求8.1通用要求對整機及部件可靠性的要求如下：a）應支持服務器關鍵部件冗余設計，包括HDD/SSD、電源、風扇等部件；b）應支持服務器關鍵部件異常報警功能，包括CPU、HDD/SSD、內存等部件；c）應支持服務器關鍵部件故障定位機制，包括CPU、HDD/SSD、內存等部件；d）應支持服務器HDD/SSD、電源、風扇等部件熱插拔功能；e）應支持內存可靠性技術，如內存查錯、糾錯等；f）應支持CPU、內存條、GPU、網卡等的現場擴容替換以及故障件替換。8.2推薦性功能對整機及部件可靠性的推薦性功能如下：a）宜支持內存可靠性技術，如內存冗余備份等；b）宜支持服務器關鍵部件故障隔離機制，包括CPU、HDD/SSD、內存等部件；c）宜支持I/O模塊在線隔離或更換；d）宜支持CPU、內存條、GPU、網卡等的現場擴容替換以及故障件替換；e）宜支持部件的故障自動修復功能。9算子模型遷移能力要求9.1算子遷移開發能力要求9.1.1通用要求應提供三方算子遷移工具，支持異常自動檢測，支持內存檢測和線程檢測。9.1.2推薦性功能對算子遷移開發能力的推薦性功能如下：a）宜提供完備的功能調試功能，支持孿生調試和上線調試；b）宜提供極限性能分析評估能力，宜支持核函數和熱點函數等性能分析；8T/BFIA035—2024c）宜支持容錯能力，如斷點續訓能力。9.2加速庫兼容要求9.2.1通用要求對加速庫兼容的要求如下：a）應支持三方社區及加速卡兼容，支持機器視覺領域算子庫和套件、圖像分類、圖像檢測套件、語義分割等；b）應支持分布式并行加速庫（deepspeed、MegatronLM、Triton等）；c）應支持多領域開放套件，包括但不限于自然語言處理類模型套件（huggingface）；機器視覺類套件（OpenMMLab等）；d）AI算力處理卡應支持圖像、視頻、文字、語音等多種數據分析與推理計算，支持金融場景；e）應支持離線推理模型對接，如ONNX。9.2.2推薦性功能加速庫兼容的推薦性功能如下：a）宜支持增量/遷移學習；b）宜支持跨節點預訓練等。9.3大模型遷移能力要求9.3.1通用要求對大模型遷移能力的要求如下：a）應支持分布式環境下模型的保存和重加載，支持多維混合并行；b）應提供腳本遷移能力，提供分鐘級完成度評估能力；c）應支持行代碼級轉換能力，提供腳本轉換；d）應提供低代碼自動并行，支持以單卡開發視角實現千億參數模型自動并行；e）應提供大模型加速庫，支持面向transformer結構的軟硬件協同優化；f）應提供模型壓縮組件，支持面向大模型的自動壓縮加速。9.3.2推薦性功能對大模型遷移能力的推薦性功能如下：a）宜提供在確保安全隱私的前提下，支持大模型跨域協同訓練能力，如跨區域、跨資源池；b）宜提供模型微調流程模板，集成低參微調算法，支持部分參數微調，降低存儲資源占用，提升微調效率；c）宜支持模型精度調優，提供數據Dump2溢出檢測，精度比對能力；d）宜提供數據采集解析可視化對比工具，支持計算性能調優，計算通信比和算子耗時分析；e）宜提供基于時間線和統計圖的可視化分析，提升計算瓶頸識別定位效率；f）宜提供面向典型大模型結構負載的性能Benchmark。10金融AI服務器供應鏈安全要求9T/BFIA035—202410.1針對產品要求對AI服務器供應鏈中的產品通用要求如下：a）設計、開發、生產等關鍵環節，應實施必要的安全防護措施；b）應不存在未聲明功能和已知的安全風險；c）應具備供應鏈安全性和持續穩定性說明。10.2針對AI服務器供應方的要求對AI服務器供應鏈的供應方通用要求如下：a）AI服務器供應方應具備產品研發設計、生產制造、供應保障、售后維護相匹配的人員和工作環境；b）AI服務器供應方應具備產品定制開發能力，能夠基于自身產品構建產業生態，保持生態開放性、透明性、滿足各種應用場景需求；c）AI服務器供應方應具備漏洞響應等能力和管理機制；d）AI服務器供應方應具備及時有效的售后服務能力與管理機制；e）AI服務器供應方應滿足安全可控要求；f）服務器供應方應在官方網站提供服務器部件兼容性查詢功能；g）服務器供應方應在官方網站提供服務器操作系統兼容性列表；h）AI服務器供應方不應無故停止已約定產品供應或停止已約定服務。T/BFIA035—2024（資料性）訓練AI服務器性能測試方案A.1圖像檢測場景對圖像檢測場景，基于PyTorch框架YoloV5m-6.0模型的測試方法見表A.1。表A.1PyTorch框架下YoloV5m-6.0模型訓練性能測試3.設備為穩定的商用BIOS版本及BMC版本1.遠程通過命令行登錄被測試服務器，執），—），A.2圖像分類場景對圖像分類場景，基于pytorch框架Resnet50模型的測試方法見表A.2。表A.2PyTorch框架下Resnet50模型訓練性能測試T/BFIA035—2024表A.2PyTorch框架下Resnet50模型訓練性能測試（續）3.設備為穩定的商用BIOS版本及BMC版本1.遠程通過命令行登錄被測試服務器，執），A.3OCR場景對OCR場景，基于MindSpore框架下DBNet模型的測試方法見表A.3。表A.3MindSpore框架下DBNet模型訓練性能測試測試被測設備在MindSpore框架下，基于ICDAR2015數據集使用DBNet模型進行訓練3.設備為穩定的商用BIOS版本及BMC版本1.遠程通過命令行登錄被測試服務器，執），A.4NLP場景T/BFIA035—2024對NLP場景，基于PyTorch框架下BertBase模型的測試方法見表A.4。表A.4PyTorch框架下BertBase模型訓練性能測試測試被測設備在PyTorch框架下，基于人民日報數據集，使用BertBase模型進行訓練的性能3.設備為穩定的商用BIOS版本及BMC版本1.遠程通過命令行登錄被測試服務器，執），A.5語音場景對語音場景，基于Pytorch框架下espnet-conformer模型的測試方法見表A.5。表A.5PyTorch框架下espnet-conformer模型訓練性能測試3.設備為穩定的商用BIOS版本及BMC版本1.遠程通過命令行登錄被測試服務器，執），T/BFIA035—2024表A.5PyTorch框架下espnet-conformer模型訓練性能測試（續）—A.6大模型訓練場景對大模型訓練場景，基于Pytorch框架下ChatGLM-6B模型的測試方法見表A.6.1。表A.6.1Pytorch框架下ChatGLM-6B模型訓練性能測試1.遠程通過命令行登錄被測試服務器，執），T/BFIA035—2024表A.6.1Pytorch框架下ChatGLM-6B模型訓練性能測試（續）），—對大模型訓練場景，基于Pytorch框架下LLaMA-13B模型的測試方法見表A.6.2。表A.6.2Pytorch框架下LLaMA-13B模型訓練性能測試1Gradient_accumulation_10Warmupratio21.遠程通過命令行登錄被測試服務器，執），），—T/BFIA035—2024（資料性）推理AI服務器性能測試方案B.1視頻編解碼測試B.1.1視頻解碼性能測試對視頻解碼場景，推理AI服務器性能測試方法見表B.1.1。表B.1.1視頻解碼性能測試 B.1.2視頻編碼性能測試對視頻編碼場景，推理AI服務器性能測試方法見表B.1.2。表B.1.2視頻編碼性能測試T/BFIA035—2024表B.1.2視頻編碼性能測試（續）—B.2推理應用性能測試B.2.1圖像檢測場景對圖片檢測場景，基于YoloV5s模型推理精度，推理AI服務器性能測試方法見表B.2.1。表B.2.1圖像檢測推理性能測試3.設備為穩定的商用BIOS版本T/BFIA035—2024表B.2.1圖像檢測推理性能測試（續）——B.2.2圖像分類場景對圖片分類場景，基于YResNet50模型推理精度，推理AI服務器性能測試方法見表B.2.2。表B.2.2圖片分類推理性能測試3.設備為穩定的商用BIOS版本；7.使用Pytorchtorchvisi3.執行下列命令進行圖片推理：./resnet50_benc）；— B.2.3自然語言處理場景對自然語言處理場景，基于BertBase模型推理精度，推理AI服務器性能測試方法見表B.2.3。表B.2.3自然語言處理推理性能測試3.設備為穩定的商用BIOS版本；T/BFIA035—2024表B.2.3自然語言處理推理性能測試（續）3.執行下列命令進行樣本推理：./bert_benc）；4.記錄日志并獲取平均每秒處理樣本的性能數據（樣本處理速度samples/ —B.2.4大模型場景對大模型場景，基于StableDiffusion模型，推理AI服務器性能測試方法見表B.2.4。表B.2.4大模型推理性能測試3.設備為穩定的商用BIOS版本；），模型參數使用默認參數，運行測試腳本，計算），T/BFIA035—2024表B.2.4大模型推理性能測試（續）3.如本模型無法正常運行或無法執行所有測試組合用例或精度未達T/BFIA035—2024（資料性）