CCSL77IT/CFEII0021-2024 12規(guī)范性引用文件 13術語和定義 14評估框架與評估方法 34.1模型構成 34.2評估等級 35評價方法 46評估內(nèi)容 46.1內(nèi)設架構 46.1.1機構設置 46.1.2責任體系 46.2制度建設 56.2.1文檔管理 56.2.2日志記錄 56.2.3風險管理 56.2.4應急計劃 66.2.5多方參與 66.2.6信息披露 66.3宣貫培訓 66.3.1人員培訓 66.3.2傳播宣貫 76.4過程管理 7T/CFEII0021-20246.4.1數(shù)據(jù)管理 76.4.2數(shù)據(jù)標注 76.4.3算法選擇 86.4.4版本管理 86.4.5性能測試 86.4.6下線管理 86.5防御機制 96.5.1可信環(huán)境 96.5.2攻擊防范 9附錄A人工智能融合應用安全可信度（組織版）評估分級方法 10A.1概述 10A.2評估指標體系構建 A.2.1構建原則 A.2.2構建步驟 A.3加權評分方法 A.3.1權重設置 A.3.2加權評分 A.4分級判定參考 A.4.1人工智能融合應用安全可信度一級 A.4.2人工智能融合應用安全可信度二級 A.4.3人工智能融合應用安全可信度三級 A.4.4人工智能融合應用安全可信度四級 A.4.5人工智能融合應用安全可信度五級 T/CFEII0021-2024本標準按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定起草。本標準由中國電子信息行業(yè)聯(lián)合會提出并歸口。請注意本標準的某些內(nèi)容可能涉及專利，本標準的發(fā)布機構不承擔識別專利的責任。本標準起草單位：國家工業(yè)信息安全發(fā)展研究中心、西安交通大學、清華大學公共管理學院、北京格靈深瞳信息技術股份有限公司、北京工業(yè)大學、北京北信源軟件股份有限公司、北京奇虎科技有限公司、商湯集團有限公司、螞蟻科技集團股份有限公司、北京百度網(wǎng)訊科技有限公司、北京昇騰人工智能生態(tài)創(chuàng)新中心、北京晴數(shù)智慧科技有限公司、北京神州綠盟科技有限公司、北京中科睿鑒科技有限公司、廣州廣電信息安全科技有限公司、北京中銀（深圳）律師事務所。本標準主要起草人：王淼、邱惠君、張瑤、劉永東、李衛(wèi)、張振乾、邱穎昭、沈超、李前、趙靜、陳天博、李錚、王偉茹、姜來、楊東東、韓東、胡正坤、楊勝堯、林冠辰、郭建領、樊少培、張笑威、楊鑫宜、王子昂、張原、潘良。T/CFEII0021-2024人工智能作為數(shù)字化轉型的重要賦能技術之一，正在與金融、醫(yī)療、工業(yè)、交通等領域融合發(fā)展。近年來，人工智能應用范圍加速拓展，行業(yè)滲透率迅速提升。與此同時，人工智能存在算法、數(shù)據(jù)、攻防、應用、管理等方面的風險，已暴露出信息泄露、數(shù)據(jù)濫用、偏見歧視、實施詐騙等安全風險，引發(fā)了社會各界對人工智能安全問題的廣泛關注。本項目在充分研究分析國內(nèi)外人工智能安全風險治理原則、政策、標準等文件的基礎上，面向設計、開發(fā)、使用人工智能的組織提出人工智能安全可信度評估框架、方法和內(nèi)容，為組織開展人工智能安全可信度自評估和第三方評估提供依據(jù)，也可以為監(jiān)管部門提供參考。對標準中的具體事項，法律法規(guī)另有規(guī)定的，需遵照其規(guī)定執(zhí)行。T/CFEII0021-20241人工智能融合應用安全可信度評估規(guī)范（組織版）本標準規(guī)定了評估組織人工智能安全可信管理能力的評估框架與評估內(nèi)容，并提供了評估規(guī)則。本標準適用于指導人工智能系統(tǒng)開發(fā)者、使用者、第三方評估機構等對開發(fā)和應用人工智能系統(tǒng)的組織的安全可信管理能力進行評估。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術語和定義下列術語和定義適用于本文件。3.1人工智能artificialintelligence<學科>人工智能系統(tǒng)相關機制和應用的研究與開發(fā)。[來源：GB/T41867-2022,3.1.2]3.2人工智能系統(tǒng)artificialintelligencesystem針對人類定義的給定目標，產(chǎn)生諸如內(nèi)容、預測、推薦或決策等輸出的一類工程系統(tǒng)。3.3人工智能風險artificialintelligencerisk人工智能的不確定性對任務和目標的影響。[來源：ISO/IEC22989:2022,3.5.11，有修改]3.4算法algorithm<人工智能>用于求解分類、推理、預測等問題，明確界定的有限且有序的規(guī)則集合。[來源：T/CESA1193-2022,3.1.8，有修改]3.5模型model<人工智能>針對特定問題或任務，基于輸入數(shù)據(jù)，生成推理或預測的計算結構。注：一個人工智能模型是基于人工智能算法訓練的結果。[來源：T/CESA1193-2022,3.1.9，有修改]3.6T/CFEII0021-20242安全性security<人工智能>系統(tǒng)免受惡意攻擊、保護數(shù)據(jù)或阻止未經(jīng)授權訪問的能力。[來源：ISO/IECTR24028:2020,3.35，有修改]3.7可信性trustworthiness<人工智能>系統(tǒng)以可驗證的方式，滿足利益相關者期望的能力。注1：根據(jù)背景或行業(yè)以及具體產(chǎn)品或服務、數(shù)據(jù)和使用的技術，適用不同的特征，需要通過客觀證據(jù)證明，以確保滿足利益相關者的期望。注2：可信的特征包括可靠性、可用性、彈性、安全、隱私性、可問責、透明性、完整性、真實性、質(zhì)量等。注3：可信是一種屬性，可應用于服務、產(chǎn)品、技術、數(shù)據(jù)和信息，在治理背景下也可應用于組織。[來源：ISO/IECTR24028:2020,3.42，有修改]3.8人工智能生命周期artificialintelligencelifecycle人工智能系統(tǒng)從設計到下線的過程，包括設計開發(fā)、驗證測試、部署上線、運行維護、退役下線等階段。[來源：ISO/IEC22989:2022，有修改]3.9偏見bias<人工智能可信賴>對待特定對象、人或群體時，相較于其他對象出現(xiàn)系統(tǒng)性差別的特性。注：“對待”指任何一種行動，包括感知、觀察、表征、預測或決定。[來源：GB/T41867-2022,3.4.10，有修改]3.10倫理ethics<人工智能>開展人工智能技術基礎研究和應用實踐時遵循的道德規(guī)范和準則。[來源：GB/T41867-2022,3.4.10]3.11公平性fairness<人工智能>尊重既定事實、社會規(guī)范和信仰，且不受偏袒或不公正歧視影響的對待、行為或結果。注1：對公平性的考慮是與環(huán)境高度相關的，并且因文化、代際、地理和政治觀點而異。注2：公平不等于沒有偏見。偏見并不總是導致不公平，不公平可能是由于偏見以外的因素引起的。[來源：GB/T41867-2022,3.4.1]3.12可解釋性interpretability<人工智能>系統(tǒng)以人能理解的方式，表達影響其（執(zhí)行）結果的重要因素的能力。注：可解釋性理解為對“原因”的表達，而不是嘗試以“實現(xiàn)必要的優(yōu)勢特性”做出爭T/CFEII0021-20243辯。[來源：GB/T41867-2022,3.4.3]3.13魯棒性robustness<人工智能>系統(tǒng)在任何情況下都保持其性能水平的特性。[來源：GB/T41867-2022,3.4.9]4評估框架與評估方法4.1模型構成人工智能安全可信度評估模型（組織版）包括內(nèi)設架構、制度建設、宣貫培訓、過程管理、防御機制五個維度。圖1人工智能融合應用安全可信度評估模型（組織版）五大維度123454.2評估等級人工智能融合應用安全可信度等級（組織版）體現(xiàn)了組織在設計、開發(fā)、部署、運行人工智能系統(tǒng)時的安全風險管理水平和應對能力。評估等級由低到高可分為五個等級，更高的等級代表組織具有更好的人工智能安全可信度。一級（一般組織的人工智能安全風險管理意識一般，開展了零散、被動的安全可信管理工作。二級（較好組織具有一定人工智能安全風險管理意識，開展了一定安全可信管理工作，主要依據(jù)經(jīng)驗進行管理，覆蓋了人工智能安全可信管理的部分環(huán)節(jié)，初步具備一定的主動應對能力。T/CFEII0021-20244三級（良好組織具有較高的人工智能安全風險管理意識，開展了較多的安全可信管理工作，對管理規(guī)則和方法進行了一定主動設計，覆蓋了人工智能安全可信管理的多個環(huán)節(jié)，能夠較好地實現(xiàn)對風險的應對處理。四級（優(yōu)秀組織具有很高的人工智能安全風險管理意識，開展了足夠的安全可信管理工作，積累了較多成熟的實踐經(jīng)驗和管理規(guī)則，覆蓋了人工智能安全可信管理的關鍵環(huán)節(jié)，具有固化的管理流程和較為實用的工具方法，能夠很好地實現(xiàn)對風險的應對處理。五級（卓越組織高度重視人工智能安全風險管理，開展了全面、高效的安全可信管理工作，形成了成熟、完善、能夠引領行業(yè)的管理規(guī)范和實踐經(jīng)驗，覆蓋了人工智能安全可信管理的所有環(huán)節(jié)，具有標準化的管理流程和工具方法，能夠很好地預判和應對可能存在的風險。5評價方法a)查閱文件材料：查閱自評估報告、第三方評估報告、審計報告、測試報告、設計開發(fā)文檔、用戶溝通文檔、系統(tǒng)使用說明書、組織的戰(zhàn)略計劃、實施計劃、制度文件等相關材料。b)訪談相關人員：與組織中的管理人員、系統(tǒng)開發(fā)人員、測試人員，以及組織外部的專家、目標用戶等利益相關者進行交流。c)查看算法文檔：查看算法的源代碼、配套說明文檔等。d)查看系統(tǒng)配置：查看系統(tǒng)日志、配置文件、參數(shù)設置、版本記錄等。e)算法運行測試：運行算法模型，檢查其輸出結果是否符合預期。f)采用測試工具：使用檢測工具對人工智能系統(tǒng)的性能和安全性，以及數(shù)據(jù)集的準確性、無偏性等進行測試。g)進行模擬攻擊：模擬相關攻擊方法，對人工智能系統(tǒng)進行攻擊并分析攻擊結果。6評估內(nèi)容6.1內(nèi)設架構內(nèi)設架構維度主要評估，是否從組織層面明確設立人工智能安全可信相關負責機構，是否通過構建責任體系明確相關人員的責任分工。6.1.1機構設置應評估組織是否建立了人工智能安全風險管理、監(jiān)督、落實機構。可重點評估：a)是否從組織層面明確建立人工智能安全風險管理和監(jiān)督機構，如人工智能安全風險管理委員會，負責相關研究、布置、總結工作，由高層領導兼任委員會成員，或通過其他組織機構（如科技倫理委員會、數(shù)據(jù)安全治理機構、質(zhì)量管理機構等）覆蓋相關的職能。b)是否從組織層面明確建立人工智能安全風險管理工作落實機構，如人工智能安全風險管理工作組，負責落實具體職能，開展日常工作，或通過其他組織機構覆蓋了相關職能。c)是否從組織層面做出規(guī)定，要求對人工智能項目設置專門的安全風險審查人員，負責對具體項目進行風險管理、評估、審查和提醒，并對其工作年限、職稱、培訓時長等作出要求，安全風險審查人員是否與模型開發(fā)和部署人員獨立。6.1.2責任體系應評估組織是否建立明確的責任體系，明確定義人工智能系統(tǒng)涉及的人員角色、職責、分工，并建立追責機制，以確保問責制度有效落實。可重點評估：a)是否對人工智能系統(tǒng)涉及的所有或相關核心崗位（包括且不限于主要負責人、高級T/CFEII0021-20245管理人員、項目管理人員、產(chǎn)品經(jīng)理、設計人員、開發(fā)人員、數(shù)據(jù)管理人員等），設置人工智能安全風險管理的崗位職責。b)是否規(guī)定法定代表人或主要負責人對組織的人工智能安全風險管理負全面領導責任。c)是否規(guī)定高級管理人員對分管業(yè)務范圍內(nèi)的人工智能安全風險管理負直接領導和具體領導責任。d)是否規(guī)定項目負責人對本項目的安全風險管理負直接管理責任。e)是否規(guī)定項目層面的人工智能安全風險審查人員對人工智能安全風險管理負直接責任。f)是否對相關崗位人員因未按規(guī)定履行職責產(chǎn)生安全風險時應負的責任作出明確規(guī)定。6.2制度建設制度建設維度主要評估組織是否從文檔管理、日志記錄、風險管理、應急計劃、多方參與、信息披露等角度建立了完善的制度。6.2.1文檔管理應評估組織是否建立了合理的文檔管理制度，對人工智能系統(tǒng)的設計開發(fā)、運行維護等環(huán)節(jié)相關文檔進行統(tǒng)一管理和備份。可重點評估：a)是否對人工智能生命周期各環(huán)節(jié)需要存檔文件類型和存檔要求做出明確的規(guī)定，涵蓋項目需求說明書、項目實施方案、需求變更說明書、項目自查和審查報告、測試報告、利益相關者溝通文檔、信息披露文檔、風險管理文檔、算法機制機理說明文檔等。b)文檔管理是否覆蓋設計開發(fā)、驗證測試、部署上線、運行維護、退役下線等全生命周期的重點環(huán)節(jié)。c)是否規(guī)定當系統(tǒng)發(fā)生重要變更時，應經(jīng)相關負責人簽字，并保存相關的變更文檔。d)是否建立了定期審查文檔的制度，定期審查相關文檔的完整性、可用性和有效性。6.2.2日志記錄應評估組織是否建立合理的日志記錄制度，要求在人工智能整個生命周期中詳細記錄設計開發(fā)過程以及對模型和系統(tǒng)所做的更改。可重點評估：a)是否對需要進行日志記錄的環(huán)節(jié)和操作做出明確要求，覆蓋人工智能全生命周期的重點環(huán)節(jié)。b)日志記錄是否包含系統(tǒng)的運行環(huán)境、訓練和推理過程、異常事件、用戶操作等內(nèi)容。c)是否對日志記錄的格式、內(nèi)容、存儲時間等做出明確的規(guī)定。6.2.3風險管理應評估組織是否制定和實施了專門、持續(xù)的風險管理制度，以便系統(tǒng)地識別、分析、持續(xù)監(jiān)測和減輕風險。可重點評估：a)是否按照ISO/IEC23894:2023(E)、ISO/IEC31000:2018(E)及ISO/IEC42001:2022(E)的要求開展人工智能風險管理并獲取相關認證。b)是否在組織層面制定了專門的風險管理制度，進行定期審計和改進。c)是否在立項前對潛在安全風險進行識別和分析，涵蓋系統(tǒng)對個人、組織、社會、環(huán)境等方面造成的影響，并采取預防措施。d)是否在項目進行中持續(xù)進行風險識別和分析，實施風險減輕措施，及時調(diào)整管理計劃。e)是否在系統(tǒng)上線前進行安全風險審查，確保系統(tǒng)符合法律法規(guī)、行業(yè)標準、道德倫T/CFEII0021-20246理等方面的要求。f)是否在系統(tǒng)上線后持續(xù)監(jiān)測風險，修復漏洞并提升風險管理能力，保障安全運行。6.2.4應急計劃應評估組織是否制定了持續(xù)的風險監(jiān)測機制和應急響應計劃，包括異常情況出現(xiàn)時中斷系統(tǒng)以及避免負面影響的相應機制。可重點評估：a)是否建立異常狀況監(jiān)測預警機制，能夠對系統(tǒng)運行狀態(tài)、異常事件等進行實時監(jiān)測、預警和報告。b)是否對安全日志的記錄內(nèi)容和保留期限進行明確要求，以便對潛在的安全威脅進行監(jiān)控和分析。c)是否制定了應急響應計劃，明確系統(tǒng)故障、數(shù)據(jù)泄露、網(wǎng)絡攻擊等應急情況的處理步驟和分工。d)是否通過應急演練、人員培訓等活動使項目團隊成員熟悉應急響應流程，掌握必要的技能。e)是否有專門的應急響應團隊負責事件響應和處理，及時發(fā)現(xiàn)和應對安全威脅。f)是否制定數(shù)據(jù)備份和恢復機制，定期備份重要數(shù)據(jù)，并在異常情況發(fā)生時能夠及時恢復數(shù)據(jù)，保障系統(tǒng)迅速恢復正常運行。6.2.5多方參與應評估組織是否建立了利益相關者參與機制，在整個人工智能生命周期中考慮來自不同利益相關方的視角。可重點評估：a)是否建立利益相關方參與機制，對人工智能系統(tǒng)設計、開發(fā)、測試、部署的全生命周期中涉及的利益相關方及可能產(chǎn)生的影響進行分析。b)是否在界定和分析利益相關方時，盡可能地考慮特定的人群（例如，不同性別、不同年齡、殘疾人）。c)是否在整個生命周期的各個環(huán)節(jié)中，均建立與各利益相關方持續(xù)溝通的機制，不斷收集利益相關者對系統(tǒng)的看法、期望和改進建議。6.2.6信息披露應評估是否建立完整的信息披露機制，要求向監(jiān)管部門、客戶及用戶定期披露訓練數(shù)據(jù)、算法模型等信息。可重點評估：a)是否建立人工智能模型基本信息披露機制，以清晰、易懂、充分的方式，向用戶提供數(shù)據(jù)的基本屬性、算法機制機理、系統(tǒng)運行邏輯、潛在風險情況等信息，幫助用戶充分理解并針對其做出相關決策。b)是否建立人工智能模型評測信息披露機制，向用戶披露模型的準確性、魯棒性、安全性、公平性、可解釋性等相關維度的評估情況。6.3宣貫培訓宣貫培訓維度主要評估組織是否圍繞人工智能安全風險管理開展了內(nèi)部的人員培訓和外部的傳播宣貫。6.3.1人員培訓應評估組織是否開展人員培訓，對相關人員進行人工智能安全風險管理意識教育和培訓，使其能夠按照相關政策、程序和協(xié)議履行職責。可重點評估：T/CFEII0021-20247a)是否對相關員工進行人工智能安全風險種類與應對措施、崗位人工智能安全風險責任、相關法律法規(guī)等方面的培訓，提升其人工智能安全風險管理意識。b)相關培訓的人員是否覆蓋組織管理層、中層領導及項目負責人、人工智能項目相關員工等，包括系統(tǒng)設計、開發(fā)、訓練、測試、部署，數(shù)據(jù)采集、標注、處理、管理等所有相關人員。c)是否對系統(tǒng)開發(fā)人員進行安全培訓，提高其人工智能安全技能水平。d)是否對數(shù)據(jù)標注人員進行專業(yè)培訓，包括標注指南、質(zhì)量控制以及數(shù)據(jù)隱私保護要求，保障標注的準確性和安全性。e)是否通過相關培訓增強模型開發(fā)、訓練、部署等相關人員的公平性意識。f)是否對培訓內(nèi)容、參加人員、課時數(shù)和培訓時間等進行規(guī)定，并對每次培訓的相關信息進行記錄。6.3.2傳播宣貫應評估組織是否面向用戶、公眾、社會等宣貫其人工智能安全可信管理的理念、文化、做法、實踐，以增強公眾的操作技能以及對產(chǎn)品的的認知度和信任度。可重點評估：a)是否對人工智能系統(tǒng)的用戶進行培訓，向用戶分享人工智能相關產(chǎn)品的使用技巧、操作方法等。b)是否向公眾、社會等傳達組織的人工智能安全可信管理的政策、標準、技術、實踐、案例等。6.4過程管理過程管理維度主要評估組織是否重視在數(shù)據(jù)管理、數(shù)據(jù)標注、算法選擇、版本管理、性能測試、下線管理等人工智能系統(tǒng)設計、開發(fā)、運行、下線的關鍵環(huán)節(jié)中的人工智能安全風險管理。6.4.1數(shù)據(jù)管理應評估組織是否設置相關規(guī)則對數(shù)據(jù)進行規(guī)范管理，保障數(shù)據(jù)的精準性、無偏性、代表性、可追溯性、合規(guī)性等。可重點評估：a)是否考慮數(shù)據(jù)集的準確性問題，建立數(shù)據(jù)集預處理、定期檢查和更新、數(shù)據(jù)準確性檢查等機制。b)是否考慮數(shù)據(jù)集可能存在的數(shù)據(jù)偏見風險，制定相關相關人員的無偏性審查和培訓機制、數(shù)據(jù)集無偏性審查機制、持續(xù)監(jiān)測和改進機制等。c)是否考慮數(shù)據(jù)的代表性問題，建立數(shù)據(jù)代表性的分析、評估、驗證機制，保障數(shù)據(jù)集與系統(tǒng)目標的一致性。d)是否考慮數(shù)據(jù)的可追溯性問題，建立數(shù)據(jù)來源記錄、數(shù)據(jù)集潛在風險分析、數(shù)據(jù)操作記錄、數(shù)據(jù)錯誤來源追蹤追溯等機制。e)是否考慮數(shù)據(jù)合規(guī)性問題，建立數(shù)據(jù)授權、數(shù)據(jù)脫敏、加密存儲、定期備份、數(shù)據(jù)最小化、數(shù)據(jù)使用情況告知、合規(guī)審查等機制，以保障數(shù)據(jù)采集、使用符合數(shù)據(jù)安全、個人隱私保護、知識產(chǎn)權等相關法律法規(guī)要求。6.4.2數(shù)據(jù)標注應評估是否對標注的人員、規(guī)則等做出規(guī)定，對標注的準確性、無偏性等進行審核。可重點評估：a)是否對數(shù)據(jù)標注的標準做出規(guī)定，設定數(shù)據(jù)標注的準確性要求，以降低標注錯誤和T/CFEII0021-20248不一致性的風險。b)是否要求對數(shù)據(jù)標注的質(zhì)量進行檢查評估，對檢查評估的頻率、內(nèi)容、形式、人員等做出規(guī)定，是否要求在內(nèi)容不準確或不符合質(zhì)量要求時，進行重新標注。6.4.3算法選擇應評估組織是否設置相關規(guī)則，對算法的可解釋性、魯棒性、公平性等進行評估和分析，以便于篩選更合適的算法。可重點評估：a)在系統(tǒng)開發(fā)過程中，是否優(yōu)先選擇具有較高可解釋性、魯棒性、公平性的算法和模型架構，平衡了模型性能和安全性，并根據(jù)應用場景做出合理選擇。b)是否對系統(tǒng)的可解釋性、魯棒性、公平性等方面需求進行分析。c)是否通過相關工具、技術、方法提升模型可解釋性、魯棒性和公平性。d)是否在模型部署前對模型的可解釋性、魯棒性、公平性等進行檢查和評估，確保能夠滿足部署和使用需要。e)是否對模型的風險評估、模型選擇和權衡過程等進行詳細記錄。6.4.4版本管理應評估組織是否設置相關規(guī)則，對模型的不同版本的關鍵信息進行記錄，提升系統(tǒng)開發(fā)訓練、測試、調(diào)優(yōu)等全流程的可追溯性。可重點評估：a)是否建立了較為完善的人工智能系統(tǒng)版本管理制度，對版本標識與命名規(guī)范、版本控制工具、關鍵信息記錄、更新日志和注釋與定期備份和存檔等做出詳細規(guī)定。b)是否具有適合的版本控制工具，可用于管理模型的源代碼、配置文件和訓練數(shù)據(jù)等，確保有效跟蹤和記錄模型版本的變更歷史。c)是否對每個模型版本語音記錄的關鍵信息做出規(guī)定，包括但不限于：版本標識和名稱、模型訓練時間、模型架構、訓練數(shù)據(jù)集、參數(shù)和超參數(shù)設置、訓練過程、性能評估指標、更新記錄、作者和負責人等信息。d)是否規(guī)定對模型重要版本的源代碼和關鍵信息等進行備份。6.4.5性能測試應評估組織是否要求在系統(tǒng)上線前對系統(tǒng)性能，如精準性、可靠性、模型生成內(nèi)容的安全性等進行自測或第三方測試，確保系統(tǒng)達到一定質(zhì)量要求和合規(guī)要求。可重點評估：a)是否要求在上線前對系統(tǒng)的精準性、可靠性、模型生成內(nèi)容的安全性等方面性能進行自測或第三方測試。b)是否對測試不達標的情況做出規(guī)定，要求進行改進以保障系統(tǒng)達到一定性能要求后方可上線。c)當系統(tǒng)發(fā)生重大變化或重新訓練模型時，是否對系統(tǒng)的性能進行再次檢測。6.4.6下線管理應評估是否具有相關規(guī)定對退役下線后的設備、數(shù)據(jù)、算法等進行合理的處理和管理，必要時進行銷毀。可重點評估：a)是否要求在退役下線前進行風險評估，并針對相關風險制定數(shù)據(jù)備份、系統(tǒng)恢復等措施。b)是否要求對下線時間、原因、操作人員等信息進行記錄，以便后續(xù)追蹤和審計。c)是否具有規(guī)范的規(guī)定和流程，對退役下線的系統(tǒng)的數(shù)據(jù)、模型、相關文檔等制定處理計劃。T/CFEII0021-20249d)是否具有規(guī)范的規(guī)定和流程，對需要刪除的數(shù)據(jù)、模型、文檔等進行銷毀，并確保其不可恢復。e)是否具有規(guī)范的規(guī)定和流程，對需要留存的數(shù)據(jù)進行脫密和加密，設置合理的訪問權限。6.5防御機制防御機制維度主要評估組織是否構建相關制度和管理規(guī)范，以提升相關軟硬件環(huán)境的可信度，及應對可能遭遇的安全風險或攻擊。6.5.1可信環(huán)境應評估組織是否建立了相關機制，要求對采用的開源框架、操作系統(tǒng)、基礎硬件等軟硬件進行安全檢查和測試。可重點評估：a)是否建立相關機制，對系統(tǒng)開發(fā)的基礎設施的物理安全、網(wǎng)絡通信安全、計算環(huán)境安全、數(shù)據(jù)存儲安全等方面進行檢查，確保具備全方位保障能力。b)是否建立相關機制，對系統(tǒng)開發(fā)環(huán)境進行安全配置和檢查，并實施訪問權限控制。c)是否建立相關機制，對所使用的開源框架進行漏洞審查，持續(xù)監(jiān)控相關安全風險，并及時采取補救措施。d)是否建立相關機制，對系統(tǒng)的供應鏈安全性進行評估，保障系統(tǒng)運行的穩(wěn)定性，如人工智能芯片、服務器等。6.5.2攻擊防范應評估組織是否具有相應的管理規(guī)范以應對人工智能系統(tǒng)潛在風險和可能遭遇的攻擊，包括采取防護措施應對對抗樣本、逆向還原、數(shù)據(jù)投毒、后門攻擊等。可重點評估：a)是否構建相關機制，具有相關規(guī)范并提供相關工具，對系統(tǒng)進行對抗性的訓練和測試，研究和應用防御算法和技術，提升模型抵御攻擊的能力。b)是否建立系統(tǒng)攻擊監(jiān)測機制，能夠對系統(tǒng)攻擊事件進行及時識別并記錄。c)是否具有相關規(guī)范并提供相關工具，使系統(tǒng)具備自防御能力，能夠自動應對相關攻擊或及時預警。d)是否構建相關機制，保障相關人員及時了解最新的攻擊技術和趨勢，不斷學習和分享防御實踐和經(jīng)驗。T/CFEII0021-2024附錄A人工智能融合應用安全可信度（組織版）評估分級方法A.1概述本附錄基于本標準的評估框架、評價方法及評估內(nèi)容，進一步給出人工智能安全可信度評估指標體系構建、加權評分方法和分級判定參考等，以便于本標準的應用和推廣。評估指標體系構建可按照評估內(nèi)容展開，依據(jù)評估內(nèi)容逐層細化并設立對應評估指標。基于指標體系中底層指標所采集的評估數(shù)據(jù)，可采用加權評分方法對各級評估指標進行定量評分。分級判定參考給出了組織層面人工智能各級安全可信度評價的總體參考標準。A.2評估指標體系構建A.2.1構建原則按照本標準要求，評估指標體系構建應遵循以下原則：a)評估指標體系應與本標準評估內(nèi)容的層次結構相對應，建議可按照三級指標構建。本標準的一級評估內(nèi)容：內(nèi)設架構、制度建設、宣貫培訓、過程管理、防御機制可作為指標體系的一級指標。本標準的二級評估內(nèi)容：如內(nèi)設架構的機構設置、責任體系等可作為指標體系相應的二級指標。本標準二級評估內(nèi)容下的具體內(nèi)容可用于設計三級評估指標。b)評估指標體系一級和二級指標原則上與本標準的一、二級評估內(nèi)容相對應，三級指標建議基本按照本標準相應評估內(nèi)容設定，可依據(jù)需求進行適度調(diào)整和補充。c)一般情況下，為提高可操作性，各主體最終確定并用于實際測評的評估指標體系應在滿足應用需求的前提下盡量簡化。A.2.2構建步驟按照本標準要求，評估指標體系構建可采用如下步驟：a)按照評估主體的特色，基于本標準的評估框架、評估方法與評估內(nèi)容，選擇、修訂各級評估內(nèi)容，對部分評估內(nèi)容進行必要調(diào)整、補充或細化。b)對照本標準各級評估內(nèi)容的層次結構構建評估指標體系。c)結合評估主體的需求，參考專家知識和經(jīng)驗，對指標進行必要的調(diào)整。d)在必要情況下，重復上述步驟，構建完成評估指標體系。A.3加權評分方法A.3.1權重設置評估指標體系中各級指標的權重設置應遵循或借鑒如下方面：a)面向不同主體開展評估時，各主體一級指標的權重原則上應保持一致，二級指標的權重建議視不同類型主體使用情況略作調(diào)整，三級標權重可按照本主體的特色和需求分別進行設置。b)原則上總分為100分制，五大一級指標滿分加總為100分。c)設置權重時需考慮指標對被評估主體開展人工智能安全可信管理工作的相對重要程度。d)可采用德爾菲法（Delphi）、層次分析法（AHP）或網(wǎng)絡分析法（ANP）等進行輔助決策。e)應在一定時期內(nèi)保持相對穩(wěn)定。A.3.2加權評分按照指標體系進行評分時應遵循或借鑒如下方面：T/CFEII0021-2024a）三級指標的評分可設置為若干獨立的選項，不同選項代表不同分值，由專家確定各選項分值，該指標得分即為所選選項分值。b）在三級指標評分基礎上，二級指標得分可通過加權求和計算得出。一級指標得分可由二級指標得分加權求和得出。最終總分可由各一級指標得分加權求和得出，滿分為一百分。c）總分60分及以下或單項一級指標低于50分建議為人工智能安全可信度一級，總分61分-70分建議為人工智能安全可信度二級，總分71分-80分建議為人工智能安全可信度三級，總分81分-90分建議為人工智能安全可信度四級，總分91分-100分建議為人工智能安全可信度五級。A.4分級判定參考A.4.1人工智能融合應用安全可信度一級組織的人工智能安全風險管理意識一般，開展了零散、被動的人工智能安全可信管理工作。a）人工智能安全風險尚未在組織層面引起重視。b）尚未開展主動的人工智能安全可信管理活動，僅在必要時進行被動響應。A.4.2人工智能融合應用安全可信度二級組織具有一定人工智能安全風險管理意識，開展了一定安全可信管理工作，主要依據(jù)經(jīng)驗進行管理，覆蓋了人工智能安全可信管理的部分環(huán)節(jié)，初步具備一定的主動應對能力。a）從組織層面考慮到了人工智能的安全風險問題，初步具有一定的管理意識。b）基于相關工作人員的經(jīng)驗和技能開展了部分人工智能安全可信管理活動。c）初步建立了一定人工智能安全可信管理規(guī)范和制度，覆蓋了本評估規(guī)范中的一部分評估指標。d）從組織層面對人工智能的安全性問題進行了分析并作出一些主動設計，能夠有效管理部分風險。A.4.3人工智能融合應用安全可信度三級組織具有較高的人工智能安全風險管理意識，開展了較多的安全可信管理工作，對管理規(guī)則和方法進行了一定主動設計，覆蓋了人工智能安全可信管理的多個環(huán)節(jié)，能夠較好地實現(xiàn)對風險的應對處理。a）從組織層面考慮到了人工智能的安全風險問題并給予了一定的重視，正在建立體系化認識。b）主動開展了一定人工智能安全可信管理工作，在人工智能安全可信管理的多個環(huán)節(jié)形成了一定實踐經(jīng)驗，能夠有效管理部分風險。c）建立了一些的人工智能安全可信管理規(guī)范和制度，采用了一些安全檢測工具，覆蓋了本評估規(guī)范中的大多數(shù)評估維度和指標。d）從組織層面通過相關機構覆蓋了人工智能安全風險管理的職能，建立了一定的追責體系。e）從組織層面圍繞人工智能相關的文檔管理、日志記錄、風險管理等制定了一定的制度或規(guī)范。f）從組織層面對人工智能相關的員工進行了一定的培訓。g）針對人工智能的數(shù)據(jù)管理、數(shù)據(jù)標注、算法選擇、版本管理、性能測試、下線管理重要環(huán)節(jié)制定了相關的規(guī)定，建立了一定的測試評估制度，能夠在大多數(shù)環(huán)節(jié)上實現(xiàn)一定的T/CFEII0021-2024安全可信管理目標。A.4.4人工智能融合應用安全可信度四級組織具有很高的人工智能安全風險管理意識，開展了足夠的安全可信管理工作，積累了較多成熟的實踐經(jīng)驗和管理規(guī)則，覆蓋了人工智能安全可信管理的關鍵環(huán)節(jié)，具有固化的管理流程和較為實用的工具方法，能夠很好地實現(xiàn)對風險的應對處理。a）從組織層面考慮到了人工智能的安全風險問題并給予很高的重視，初步具備體系化認識。b）主動開展了較多人工智能安全可信管理工作，幾乎在人工智能安全可信管理的所有關鍵環(huán)節(jié)均形成一定實踐經(jīng)驗，能夠有效