項目6認識人工智能的安全與倫理任務1任務2認識人工智能安全與治理關注人工智能背后的倫理問題目錄任務1認識人工智能安全與治理學習目標了解人工智能安全的定義和分類了解人工智能安全治理的標準、政策及法規掌握人工智能風險評估的流程能夠分析具體場景中的人工智能安全風險，并提出初步的治理方案培養對人工智能安全與治理的敏感性，形成主動防范風險的意識能夠在技術應用中遵守數據隱私保護原則，持續提升人工智能安全與治理方面的學習能力、創新思維和問題解決能力知識目標能力目標素養目標一、認識人工智能安全1.人工智能安全的定義所謂人工智能安全，是一個涉及多個學科的交叉概念，包含數據、計算能力、模型算法和應用等多個維度，目前尚沒有統一的定義。從系統架構角度看，人工智能安全包括硬件層面的芯片安全（如防止因芯片漏洞被利用而導致系統控制權喪失或數據泄露）、軟件層面的代碼安全（如避免因軟件漏洞引發的攻擊，包括緩沖區溢出、權限管理漏洞等問題）。從數據角度看，人工智能安全涵蓋數據隱私保護（防止敏感數據被非法獲取或濫用）和數據完整性維護（確保數據在存儲和傳輸的過程中不被篡改，保證數據的真實性和準確性）。從應用角度看，人工智能安全包括人臉識別被照片或視頻欺騙、語音識別受語音指令偽造干擾、自動駕駛因傳感器數據錯誤或算法缺陷引發事故等。此外，人工智能的安全問題還涵蓋其在應用過程中可能引發的經濟、文化和倫理道德方面的安全隱患。同時，鑒于人工智能系統具備思維能力和自我發展潛能，其可能進化出極為強大的智能，進而對人類整體構成安全威脅。一、認識人工智能安全2.人工智能安全的分類（1）人工智能內生安全風險①模型算法安全風險a.模型的可解釋性差。b.偏見和歧視風險。c.魯棒性弱。②數據安全風險a.違規收集與使用數據。b.訓練數據標注不規范。c.數據泄漏風險。③系統安全風險。a.框架和組件。

b.運行環境。c.算力。d.供應鏈。一、認識人工智能安全2.人工智能安全的分類（2）人工智能應用安全風險①網絡安全風險②現實安全風險③認知安全風險④倫理安全風險二、探索人工智能安全標準1.人工智能安全標準（1）人工智能安全標準概述①保護用戶隱私與數據安全。②提高人工智能系統的可解釋性與透明性。③增強系統的安全性與抗風險能力。④促進人工智能系統的倫理合規。⑤推動人工智能行業健康發展。⑥加強全球合作與協同。二、探索人工智能安全標準1.人工智能安全標準（2）國內人工智能安全政策及標準自2017年發布《新一代人工智能發展規劃》以來，我國確立了人工智能的戰略目標，并在此過程中明確了安全問題的重要性。2023年，中央網信辦發布《全球人工智能治理倡議》，該倡議圍繞人工智能的發展、安全、治理三方面系統闡述了人工智能治理的中國方案。在法律法規層面，我國通過一系列重要法律為人工智能技術的應用提供了法律依據和保障。2021年，《中華人民共和國個人信息保護法》正式出臺，為數據隱私保護提供了更為嚴格的法律框架。此外，《中華人民共和國數據安全法》也在同一年頒布，進一步明確了數據管理的法律要求，為數據的分類分級保護提供了制度保障，有力推動了人工智能應用中數據安全保護措施的落實。2023年7月，《生成式人工智能服務管理暫行辦法》正式發布，該辦法明確了生成式人工智能服務的技術發展與治理、服務規范、監督檢查和法律責任，旨在促進生成式人工智能的健康發展和規范應用。2025年3月，國家互聯網信息辦公室、工業和信息化部、公安部、國家廣播電視總局聯合發布《人工智能生成合成內容標識辦法》。二、探索人工智能安全標準1.人工智能安全標準（3）國外人工智能安全政策及標準美國在人工智能安全方面的政策著眼于確保技術發展與國家安全需求之間的平衡。新美國安全中心發布了數篇報告，深入分析了人工智能在網絡安全、信息安全、經濟金融、國家防御等多個領域的應用，探討人工智能可能帶來的安全風險以及全球安全格局的潛在變化。歐盟的人工智能規制體系與更廣泛的數字歐洲戰略緊密相連。歐盟于2018年頒布了《通用數據保護條例》，該條例為歐盟的數據保護制度奠定了堅實基礎。2024年，歐盟的《人工智能法案》正式生效，為人工智能的開發和使用設定了法律框架。《通用數據保護條例》和《人工智能法案》作為歐盟數字轉型中的兩部關鍵法案，在促進人工智能發展與實施規制方面相輔相成。日本、韓國和新加坡均針對人工智能安全領域制定了相應的政策與標準。日本發布《人工智能戰略2022》，強調技術發展應以社會責任和倫理為基礎，確保數據隱私保護與公平性。韓國推出《人工智能發展及信任建立基本法》，高度重視人工智能技術的倫理合規性。新加坡發布《人工智能倫理與治理倡議》及《生成式人工智能治理模型框架》，著重強調算法的透明性、公正性以及數據隱私保護。二、探索人工智能安全標準2.人工智能風險評估（1）人工智能風險評估的方法①定性風險評估方法：主要依賴評估者的經驗、知識和技能。評估結果較為全面，常見的定性分析方法包括因素分析法、邏輯分析法和歷史比較法等。這類方法的優點是能全面考慮各種因素，缺點是比較主觀，需要評估者具備較高的素質和經驗。②定量風險評估方法：通過使用數字指標評估系統的安全風險。常見的定量評估方法有基于機器學習算法（如聚類和決策樹）的風險分析法、基于圖的風險分析法和風險因子分析法等。定量分析方法的優勢在于能夠直觀地以數字化形式呈現結果。然而，由于其簡化了復雜過程，因此可能會引發某些安全風險因素的失真，進而對評估結果的準確性造成影響。③綜合評估方法：融合定性評估與定量評估的優勢，在網絡安全系統的風險評估中得到了廣泛應用。這種方法可以提供更全面的視角，但也存在局限性，即無法準確地給出整個系統的安全風險等級，難以對系統整體的安全風險狀況進行全面量化評估。二、探索人工智能安全標準2.人工智能風險評估（2）人工智能風險評估的流程①風險識別。人工智能風險評估的第一步是全面識別系統可能面臨的各種風險。這個階段的核心在于深入分析人工智能技術的各個環節，發現潛在的威脅和問題。②風險分析與評估。在完成風險識別后，接下來要對每個風險進行詳細的分析與評估。這一階段的目標是評估各類風險的發生概率以及其可能造成的影響大小，即風險的發生概率和影響程度，從而確定需要優先處理哪些風險。③應對措施制定。一旦明確了哪些風險是最為嚴重的，接下來的任務就是制定應對措施。應對措施的制定是風險評估中最為關鍵的一步，它直接決定了系統在面對風險時的反應能力。④應對措施實施。在制定應對策略之后，接下來就是將這些措施具體落實到人工智能系統的開發、測試、部署和運營過程中。⑤監控與反饋。隨著人工智能技術的更新和外部環境的變化，新的風險仍會不斷出現，因此需要定期對系統進行監控與反饋。任務2關注人工智能背后的倫理問題學習目標了解人工智能倫理問題的定義、核心和具體內容理解解決人工智能倫理問題的思路和具體方案能夠根據解決人工智能倫理問題的基本思路，嘗試提出初步的解決方案能夠主動思考人工智能背后的倫理問題，關注新興行業以及跨學科合作與交流能夠通過提升技能與創新思維，適應和把握人工智能時代帶來的新機遇知識目標能力目標素養目標一、認識人工智能倫理問題1.什么是人工智能倫理問題人工智能倫理問題是指人工智能技術及其應用對社會和人類可能帶來的道德、法律、安全等問題。它關乎人工智能技術在設計、開發、應用及管理過程中所應遵循的道德規范和原則，旨在確保人工智能技術的發展與人類社會的價值觀和道德標準相契合，從而避免對人類社會造成負面影響。一、認識人工智能倫理問題2.人工智能核心倫理問題的具體內容（1）數據隱私人工智能的訓練依賴于大量的數據，尤其是個人數據。當人工智能被應用于具體領域（如醫療、金融等）時，如何保護用戶隱私已成為一個亟待解決的倫理問題。（2）偏見與歧視人工智能的算法通過人類提供的數據進行訓練，而這些數據可能存在社會偏見。（3）責任歸屬在人工智能系統出現故障或造成損害的情況下，責任歸屬成為關鍵問題。一、認識人工智能倫理問題2.人工智能核心倫理問題的具體內容（4）自主性與控制人工智能日益增長的智能化程度，可能會對人類的決策過程和自主性構成威脅。（5）失業與經濟不平等隨著人工智能技術應用的廣泛普及，眾多傳統工作崗位可能會被取代，尤其是在制造業和服務業這兩個領域。（6）人工智能的自主權與道德決策當人工智能系統逐漸具備自主決策能力時，我們必須思考它是否能夠理解和遵循人類的道德規范。二、了解人工智能倫理問題的解決方案1.解決人工智能倫理問題的基本思路（1）加強監管（2）制定和完善法律法規（3）提升技術安全性（4）增強公眾意識（5）建立跨學科的倫理審查機制2.解決AIGC倫理問題的具體方案（1）構建治理機制（2）加強技術研究（3）優化倫理訓練與數據（4）強化知識產權保護二、了解人工智能倫理問題的解決方案3.剖析人工智能倫理問題的解決案例（1）自動駕駛汽車的道德困境解決方案自動駕駛道德困境是指在自動駕駛技術應用場景中，當車輛面臨無法避免的碰撞或緊急情況時，如何做出道德上正確的決策的問題。①汽車制造商、科技公司、政府監管機構和倫理學家等各方應協同合作，制定統一的自動駕駛汽車道德準則。②自動駕駛汽車可以配備更先進的傳感器和數據分析技術，以更準確地感知周圍環境，預測潛在的危險。③在制定自動駕駛汽車道德準則的過程中，應當廣泛征求公眾的意見和建議，確保道德準則能夠反映社會的價值觀和期望。二、了解人工智能倫理問題的解決方案3.剖析人工智能倫理問題的解決案例（2）智能決策系統隱私保護的改進方案由于智能決策系統需要采集大量數據，