-1-《人工智能技術應用倫理風險的治理要求（報批稿）》地方標準編制說明一、工作簡況任務來源2020年12月21日，山東省市場監督管理局印發《2020年第二批地方標準制修訂計劃項目》的通知（魯市監標字〔2020〕329號），本標準列為推薦性地方標準，計劃編號為“2020年第二批地方標準制修訂計劃項目—12”，立項標準名稱為《人工智能倫理風險的治理要求》。本標準由山東省工業和信息化廳提出并組織實施，由山東省人工智能標準化技術委員會歸口。起草單位、起草人及任務分工本標準起草單位包括山東省計算中心（國家超級計算濟南中心）、山東新一代標準化研究院有限公司、濟南大學、浪潮云洲工業互聯網有限公司、山東科技大學、聊城大學、山東省人工智能研究院、山東博遠視訊信息技術有限公司、山東財經大學、山東聯合電力產業發展有限公司、山東省人工智能協會、山東省科學技術情報研究院、山東省腫瘤防治研究院（山東省腫瘤醫院）、山東博物館。本標準的主要起草人為王妍、高永超、吳林、紀科、曾慶田、劉瀟、李文博、劉培德、李超、楊成偉、陳貞翔、單珂、盧曉建、賈仰理、劉洋、張振領、張文博、翟虎、蘇冠群、徐鵬搖、陳瑤瑤、蔣金廣。所做工作如下：王妍、高永超負責總體設計和技術把關，吳林、紀科、曾慶田、劉瀟、李文博負責標準調研、文本起草，劉培德、李超、楊成偉、陳貞翔、單珂負責技術資料收集分析，盧曉建、賈仰理、劉洋、張振領、張文博、翟虎、蘇冠群、徐鵬搖、陳瑤瑤、蔣金廣等參與標準起草。起草過程1.成立起草組山東省市場監督管理局標準制修訂計劃下達后，山東省計算中心（國家超級計算濟南中心）高度重視本標準的制定工作，為確保標準制定的科學性、普適性和嚴謹性，于2021年1月成立標準起草工作組，負責本標準的制定工作。2.形成標準工作組討論稿標準起草工作組充分收集研究國際國內有關人工智能技術應用倫理風險的文獻資料，重點了解人工智能技術應用倫理風險的類別以及造成人工智能倫理風險的主要原因。在此基礎上，標準起草工作組認真研究了國家及山東省關于人工智能倫理的政策文件，經過多次討論和修改于2022年6月形成標準的工作組討論稿。3.形成標準征求意見稿2022年9月，在山東省人工智能標委會內部征求本標準草案的修改意見，標準起草工作組從內容科學性、表述規范性等方面，對標準文本進行了相應的修改完善，形成本標準的征求意見稿。4.標準公開征求意見2022年10月，山東省人工智能標委會就本標準向社會公開征求意見，同時通過山東省物聯網協會、山東省人工智能協會，面向人工智能領域研究機構、企業和相關行業協會等32個單位和專家發送“地方標準草案征求意見稿”及相關材料，廣泛征求意見，收到“地方標準草案征求意見稿”后，回函的單位或專家數為22個，回函并有建議或意見的單位或專家數為13個，沒有回函的單位或專家數為10個，共收到48條意見，反饋意見包括格式的規范性、技術內容的準確性以及建議名稱修改為《人工智能技術應用倫理風險的治理要求》等。5.形成標準送審稿根據公開征求意見情況，標準起草組對標準的范圍和框架、人工智能技術應用倫理風險的治理參與方等關鍵問題進行充分研討，逐項處理反饋意見，進一步修改完善了標準文本，2023年3月形成本標準的送審稿和相關配套材料，并于2023年4月通過省級地方標準管理系統上報《人工智能技術應用倫理風險的治理要求》地方標準送審稿及配套材料。收到系統反饋意見后，標準起草組于2024年2月、3月多次召開會議針對術語定義、人工智能技術應用倫理風險的治理要求等方面研究討論，進一步完善草案送審稿內容，于2024年4月形成更新的標準送審稿及配套材料并提交系統。2024年8月，第二次收到系統反饋意見，編制組逐條討論反饋意見，2024年9月形成更新的標準送審稿及配套材料。2024年11月，系統送審審核通過，同意召開標準審查會。6.技術審查2025年1月21日，山東省工業和信息化廳在濟南組織召開了專家審查會議，共邀請9名專家組成地方標準專家審查委員會，全面審查了本標準的先進性、合理性、適用性、規范性等，會議一致同意該標準通過審查。標準起草組根據地方標準技術審查意見修改并經審查專家復審后，形成本標準草案報批稿。二、地方標準制定目的和意義以人工智能技術的研發和應用為代表的新一輪科技革命，在方便人們生活的同時也帶來了復雜的倫理問題和治理挑戰，人工智能倫理已經成為各國各地區持續關注的重點。2020年國家標準化管理委員會、中央網信辦、國家發展改革委、科技部及工業和信息化部聯合印發《國家新一代人工智能標準體系建設指南》，將人工智能倫理列入國家人工智能標準體系，提出規范人工智能服務沖擊傳統道德倫理和法律秩序而產生的要求。2022年中共中央辦公廳、國務院辦公廳印發《關于加強科技倫理治理的意見》，首次對我國科技倫理治理工作做出系統部署，填補了我國科技倫理治理的制度空白。在人工智能技術應用過程中，隱私泄露、數據濫用、算法偏見等倫理風險的出現不僅影響用戶體驗，也可能對社會穩定和安全造成威脅。本標準的提出是為了明確人工智能技術應用過程中的倫理要求，規范技術使用行為，通過制定統一的倫理規范和要求，可以促進人工智能技術的合理應用，避免技術濫用和誤用，從而推動整個行業的可持續發展。同時，人工智能技術應用倫理治理方面的地方標準也將為相關企業和機構提供明確的指導和參考，以幫助其在技術應用過程中遵守倫理規范，降低倫理風險。本標準的制定填補了國內有關人工智能技術應用倫理治理的標準空白，可減少人工智能技術帶來的負面影響，有助于推動人工智能技術在各領域的廣泛應用，也有利于人工智能安全、可靠、可控發展。三、地方標準編制原則、主要技術內容和確定依據（一）標準編制原則1.科學性原則本標準在遵循國家關于人工智能相關政策技術文件的基礎上開展，在制定過程中參考了國內外有關人工智能技術應用倫理風險類別及成因等技術文獻，并及時根據相關專家反饋的問題進行調整完善，合理確定了人工智能技術應用倫理風險各方面的治理要求，具有較高的科學性。2.可操作性原則本標準制定過程中，起草工作組對人工智能技術應用各利益相關者進行了深入的研究，力求標準內容全面具體，給出了對人工智能技術研發者、人工智能系統供應商、使用人工智能系統的用戶、人工智能利益相關組織等的具體要求，便于各相關方在實踐中開展人工智能技術應用倫理風險的治理工作，具有較高的可操作性。3.規范性原則本標準依據GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定起草，符合標準編寫要求。（二）標準主要內容（1）范圍本文件規定了人工智能技術應用倫理風險的治理框架、治理原則、治理參與方和治理核心要求。本文件適用于人工智能技術應用倫理風險的研究以及人工智能系統的規劃、設計等。（2）規范性引用文件本部分主要列出了標準中引用其他文件的清單。（3）術語和定義介紹人工智能、倫理等需要界定的術語和定義。（4）治理框架本部分給出了人工智能技術應用倫理治理框架的結構，并概述框架的組成部分。（5）治理原則本部分給出了人工智能技術應用倫理治理的主要原則并進行描述。（6）治理參與方本部分描述了人工智能技術應用倫理治理的主要參與方，并針對人工智能技術應用管理者、人工智能技術研發者、人工智能產品與服務供應商、人工智能產品與服務使用者等描述了各相關方視角下的治理目標。（7）治理核心要求本部分提出了在人工智能技術應用倫理治理中應關注的核心要求，主要包括以人為本、隱私保護、知情同意、安全可控、公平無歧視、透明可追溯、責任明確、技術中立性、監測與改進、教育與培訓等方面。（三）確定依據1.術語和定義的確定現行國家標準GB/T41867-2022《信息技術人工智能術語》中有對“人工智能”、“人工智能系統”、“偏見”的定義，這些定義專門針對人工智能，易于理解，基于優先采用現行國家標準的原則，本標準中使用的“人工智能”等相關術語的定義，直接引用了GB/T41867-2022的定義。ISO31000:2018《風險管理指南》中有對“風險”的定義（ISO31000:2018,3.1），本標準中使用的“風險”的定義，直接引用了ISO31000:2018的3.1。國際標準化組織（ISO）、國際電工委員會（IEC）等國際機構，以及人工智能領域的專業組織，都發布了一系列關于人工智能倫理的標準和規范。這些文檔提供了大量的術語和定義，是我們界定本標準中術語和定義的重要參考。本標準中其他術語的界定，主要來源于公眾意見和專家咨詢、學術研究成果等，人工智能領域的學術研究，特別是倫理學、法學、社會學等相關學科的研究，為我們提供了豐富的理論支持。人工智能技術應用倫理治理框架的確定（1）人工智能倫理問題的來源人工智能的倫理問題包括隱私和安全、歧視性結果、決策困境以及對人類自主性的影響等，其來源包括但不限于：——未經授權的收集、處理或披露個人數據的手段或措施；——購買和使用有偏見、不準確或不具有代表性的訓練數據；——算法泄露、被惡意修改；——算法濫用；——缺乏可解釋性，機器學習決策不透明或文檔不足；——缺乏可追溯性；——對技術部署后的社會影響認識不足，如失業、資源失衡等。（2）治理參與方的多樣性及其角色定位人工智能技術應用倫理治理框架首先識別了倫理治理過程中涉及的不同對象和主體，如人工智能技術應用管理者、人工智能技術研發者、人工智能產品與服務供應商、人工智能產品與服務使用者等。這些主體在人工智能技術應用倫理治理中扮演不同的角色，具有不同的治理目標和要求，因此，框架的確定需要充分考慮這些參與方的特點和需求，確保治理策略的全面性和有效性。（3）治理原則的指導作用治理原則為實施人工智能技術應用倫理治理提供了基本指導，包括以人為本、公平公正、隱私保護、可控可信、責任擔當、素養提升等方面，是制定治理策略、設計治理機制、評估治理效果的重要依據。因此，本標準中人工智能技術應用倫理治理框架的構建緊密圍繞以上原則，確保治理活動的合規性和道德性。（4）治理核心要求的關鍵性治理核心要求是倫理治理框架的關鍵組成部分，提出了針對人工智能技術應用的具體倫理要求。這些要求涵蓋了數據隱私保護、算法公正性、系統安全性等方面，是確保人工智能技術應用符合倫理標準的關鍵所在。因此，人工智能技術應用倫理治理框架的確定重點關注了這些核心要求，并制定有效的治理措施和保障機制。3.治理原則的確定治理原則是構建倫理治理框架的基本指導，為實施人工智能技術應用倫理治理提供了方向，確保治理活動能夠遵循一定的倫理規范和價值標準。同時，治理原則為提出倫理治理的核心要求提供了基石，確保框架的構建既符合倫理要求，又能夠指導具體的治理實踐。國家《新一代人工智能倫理規范》提出基本倫理規范，以“以人為本、公平公正、隱私保護、可控可信、責任擔當”為治理原則，《人工智能倫理治理標準化指南》提出了以人為本、可持續、透明等人工智能倫理準則，國際標準ISO/IECTR24368:2022《信息技術人工智能倫理和社會問題概述》闡述了人工智能技術面臨的倫理和社會問題以及人工智能應遵循的關鍵原則，這些關鍵準則為本標準中人工智能技術應用倫理治理原則的提出提供了關鍵性的參考。4.治理參與方的識別在構建人工智能技術應用倫理治理框架時，識別治理參與方是框架確定的基礎。人工智能技術應用倫理治理的過程中，涉及多個對象和主體，包括人工智能技術應用管理者、人工智能技術研發者、人工智能產品與服務供應商、人工智能產品與服務使用者等，每類主體在治理過程中都有各自的治理目標和基本治理要求。通過明確這些參與方，可以確保倫理治理框架能夠全面覆蓋各相關方，保障各方的權益和利益。國家人工智能標準化總體組2019年發布的《人工智能倫理風險分析報告》將人工智能技術的倫理風險劃分為算法相關的倫理風險、數據相關的倫理風險、應用相關的倫理風險、長期和間接的倫理風險四大類，同時闡述了多種人工智能倫理風險產生的原因、造成的影響以及應對的方法。人工智能倫理風險產生的原因與利益相關者息息相關，因此本標準從人工智能利益相關者出發，對人工智能技術研發者、人工智能系統供應商、使用人工智能系統的用戶以及人工智能利益相關組織等相關方提出治理要求，并歸納總結各參與方的共性，提出治理目標和基本治理要求。5.治理核心要求的確定治理核心要求是倫理治理框架的關鍵組成部分。這些要求提出了人工智能技術應用倫理治理的核心要求，涵蓋了數據隱私保護、算法公正性、責任歸屬等多個方面。通過對這些核心要求的明確和規定，可以確保人工智能技術的應用能夠在符合倫理要求的前提下進行，減少潛在的倫理風險和問題。外交部2022年發布的《中國關于加強人工智能倫理治理的立場文件》中，結合在科技倫理領域的政策實踐，參考國際社會相關有益成果，從人工智能技術監管、研發、使用及國際合作等方面提出一系列主張，為本標準中人工智能技術應用倫理治理核心治理要求的提出提供了最基本的遵循和準則。2021年全國信息安全標準化技術委員會秘書處發布《網絡安全標準實踐指南—人工智能倫理安全風險防范指引》，針對人工智能倫理安全風險，給出了研究開發者、設計制造者、部署應用者、用戶等的安全風險防范措施。2021年國家新一代人工智能治理專業委員會發布《新一代人工智能倫理規范》，提出了增進人類福祉、促進公平公正、保護隱私安全、確保可控可信、強化責任擔當、提升倫理素養等6項基本倫理要求。同時，提出人工智能管理、研發、供應、使用等特定活動的18項具體倫理要求。結合人工智能技術應用倫理治理方面的文獻材料，圍繞人工智能全生命周期，確定人工智能倫理風險來源，重點從數據、算法模型、系統等維度定義，并給出人工智能倫理風險的屬性。這些都為確定治理核心要求提供了重要研究基礎。（1）數據維度：明確數據在人工智能應用的全生命周期中的倫理風險及屬性，設計開發階段，明確數據來源主體、數據規模和均衡度、數據預處理過程、模型訓練過程中的數據安全和隱私保護問題；驗證測試階段，需明確模型測試數據規模、數據均衡性、測試數據與訓練數據重合度等可能存在的倫理風險問題。部署運行階段，在部署過程中是否存在數據處理、數據完整性、數據均衡、數據處理流程存在倫理風險的問題。維護升級階段，在模型迭代更新過程中是否存在數據相關倫理風險問題。數據維度可能存在的倫理風險屬性包括：隱私風險、公平公正性、數據安全風險、可解釋性和可問責性等。（2）模型算法維度：明確算法在人工智能應用的全生命周期中的倫理風險及屬性，在設計開發階段，明確算法是否存在特定人群及性別歧視、對社會惡意設計、潛在危害、算法安全可控，明確模型訓練過程中是否存在不可解釋性等風險問題；在驗證測試階段，明確模型評估過程中，是否存在算法偏見、算法安全、版本管理、不可追溯和不可解釋等問題；在部署運行階段，明確模型對環境是否可控、算法安全、算法不可控問題、算法濫用問題、模型版本管理、不可預測等問題；在升級維護階段，明確模型更新參與配置、版本管理問題。模型算法維度可能存在的倫理風險屬性包括：公平性、可持續發展、安全性、透明及可解釋性、監督和可控性、可問責性、隱私保護等。（3）系統維度：明確人工智能系統的漏洞、設計缺陷等引發的個人信息數據泄露、遠程被動控制等問題，明確人工智能系統可控，確保有權選擇是否接受人工智能提供的服務，有權隨時退出與人工智能的交互，有權隨時中止人工智能系統的運行。系統維度可能存在的倫理風險屬性包括：可控性、隱私風險、公平公正性、數據安全風險、可解釋性、可問責性等。（4）其他維度：明確可能存在的人為因素，不可抗因素等產生的人工智能倫理風險。結合上述文獻及相關國內外標準文獻對人工智能技術應用倫理風險的治理要求及措施，基于當前人工智能發展以及道德倫理的治理現狀，本標準從知情同意、隱私保護、安全可靠性、公平無歧視等方面提出基本治理要求。四、與現行相關法律、行政法規和其他標準的關系本標準在制定過程中，充分考慮了我國現行關于人工智能技術應用的法律、行政法規，如在隱私保護方面，標準中要求人工智能技術的數據收集、存儲、處理、使用等應遵循合法、正當、必要的原則，確保人工智能技術的開發、應用和管理活動在法律框架內進行，依據了《網絡安全法》、《數據安全法》、《個人信息保護法》等相關法律中對于數據隱私防護的相關規定。本標準中提出的治理原則，如以人為本、公平公正、隱私保護、可控可信、責任擔當等，均與法律精神相一致，體現了對法律法規的遵循和補充。同時，標準中明確了責任追究機制，包括明確責任主體、建立監管機制和審查機制，這與《個人信息保護法》等相關法律中對違法行為進行追責的要求相銜接。與其他標準的關系方面，本標準在術語和定義部分引用了GB/T41867—2022《信息技術人工智能術語》等標準，確保術語的準確性和一致性，與信息技術領域的其他標準相