目錄 11.1 31.1.1 31.1.2 61.1.3 71.2 101.2.1 101.2.2 121.3 171. 172. 183. 194. 19人工智能（ArtificialIntelligence，AI）是研究用機器模擬實現人類智能的一門技術科學，第一次浪潮出現在20世紀50年代末到70隨人工智能這一新興概念的興起，人們對人工智能的未來充滿了想象，大量研究人員投和使用英文程序，相關研究主要圍繞機器的邏輯推理能力展開。其中，20世紀6070年代初，以愛德華費根鮑姆為首的一批年輕科學家提出了知識工程的概念，開始了大人工智能寄予了很高的期望，甚至預言十年以后人工智能將超越人類思維。但受限于當非常有限，更談不上超越人類思維，因此，人們對于人工智能的發展轉為持懷疑態度。1972年，受英國科學委員會委托，劍橋大學詹姆士萊特希爾對人工智能的研究狀況進行智能開始了第一個嚴冬（In）。第三次浪潮出現在21場景結合落地，相關產業煥發新生機。2006年深度學習算法的提出、2012年x在g訓練集上圖像識別精度取得的重大突破，直接掀起了新一輪人工智能發展的浪潮。2016年，pho打敗圍棋職業選手，人工智能再次收獲了空前的關注度；2017年，pho以3∶0的比分完勝世界圍棋冠軍柯潔；之后，phoo從零開始，完全不需要任何歷史棋譜和人類先驗知識，通過自己左右互搏490萬盤棋局，最終無師自通，戰勝pho。相繼多個吸引人們眼球的、在局部領域內超過人類水平的人工智能成果的展示，讓人們真切感受到人工智能的威力，人工智能創業公司層出不窮，科學研究進一步推進，助推人工智能呈現加速發展態勢。特斯拉汽車ModelS以74英里（1英里≈1.61千米）的時速，直接撞上了拐彎中的白色拖掛車未生效6。其實，早在1978年9月就發生過機器人傷人事件，日本廣島一家工廠的切割界上第一宗機器人殺人事件。人工智能技術正在推動教育信息化的快速發展，教育是人工智能技術對教育產業的賦能，通過將人工智能與傳統教育相融合，尤其是新一代人工智能技術應用覆蓋教學全過程，實現學生的個性化學習、跨媒體學習和終身學習等8。然而，在人工智能協助學生學面面得到應用時，有可能對某些群體（學生群體）產生一定障礙。同時，智適應的互動設計也會因為各種數據原因存在一些設的機會9。在金融領域，人工智能被用于銀行信貸智能風控管理11。銀行信貸業務的風險管理核心智能手機和時下流行的移動應用程序（博）用戶興趣和喜好為其量身定制數以千計的新興新聞和視頻。例如，2021過1.2億人使用今日頭條來看新聞、視頻和其他內容。在這個過程中，系統實時收集用戶程中，存在個人數據被收集及隱私泄露的風險。《德勤全球發展白皮書》指出，未來同汽車相關的智能出行生態的價值正在被重新評估，出行的三大元素人車路被賦予類人的決策、行為，整個出行生態也會發生巨大的改變。有專家認為：自動駕駛汽車是未來網絡的節點。強大的計算力與海量的高價值研究院發布的《人工智能安全框架（2020年）》，2020年7月，蘇州發布了全球首條城市微循環無人小巴市民體驗線路，落實了全國首個常態化運營的城市公開道路無人小巴項目。2020年10月，百度自動駕駛出租車服務在北京全面開放，10月12日單天呼單量突破2600單。人工智能給產業、職業結構變化及就業帶來的風險，源于人工智能（特別是智能機器人對第一、第二產業崗位的替代，這會導致大量體力勞動者和簡單腦力勞動者的結構性失業、轉業，增加人民群眾的生活壓力和政府的行政壓力。2017越多地替代人力完成任務，如車輛駕駛、醫療診斷及新聞報道撰寫等，預計未來20工智能會對就業問題造成較大的影響。orh預測，人工智能技術將在2025年之前取代美國7的工作崗位，其中16的美國工人將被人工智能系統取代。在新的社會瓦爾赫拉利于2017年7月預測，未來二三十年內超過50的工作會被人工智能取代，人工智能的產業化推進將使部分現有就業崗位減少甚至消失，導致結構性失業1。研究實現新的技術突破，促進科學新成果的發現，增強經濟競爭力，鞏固國家安全。年3月，美國參議院軍事委員會舉行主題為國防部人工智能計劃的聽證會，美國國防部高級研究計劃局（）、國防創新小組（）、國防部聯合人工智能中心（）及應用與軍方之間的聯系，推動美國的人工智能軍用化步伐進一步加快。以為場情報偵察和目標打擊任務：烏軍使用土耳其制造的旗手2部隊，俄軍使用前哨察打一體無人機摧毀烏方多管火箭炮系統。此外，有分析認為，受指控平臺的打擊命令，實現偵、控、打、評的信息閉環，未來無人反無人裝備在現代型、人臉識別等人工智能手段進行輿論戰，開展認知域的對抗，瓦解敵方斗志，增強己方信心15。或不完善的描述稱為目標函數描述的不完備性，其是造成隱含的安全風險的重要原因之一18。另外，在強化學習算法的設計中，設計者通常以獎勵函數的方式鼓勵和引導學習算法達到設計者所期望的目的。然而，獎勵函數的設計和描述中同樣存在不完備性（或不完善），從而可能被學習算法在優化過程中搭便車，通過曲解獎勵的意圖而采取一者的意圖。這種情況通常稱為dkng（黑客獎勵）。或者，學習算法也可能以出一些有害數據，僅對數據做出微小的（從而難以被人發現的）誤的判斷或決策。gdy等人2014年的研究38發現，神經網絡存在對抗樣本，這些對抗得到。文獻39提出了一種衡量對抗魯棒性的方法，對于不同分類器的對抗魯棒性，可以擊的能力。人們已經提出了大量的對抗樣本攻擊與防御的方法，相關研究4042表明，存數據和網絡均有適用性。另外，人們提出了大量能夠提高機器學習魯棒性的技術43，如對抗訓練4446、防御蒸餾47、模型正則化48等。（AIAgent，AIA）智能的開發編程提供有力的工具。業界已經推出許多人工智能框架，如noo、、dddd等。這些開放的人工智能框架引用了第三方庫函數。這些框架的整體和其組件（包括引用的庫函數）隱患。（oonunb＆xpou）公共漏洞披露庫中就記錄了多種來源于noo、等的安全漏洞10。2020年，360安全研究院團隊報告了noo中的24個風險級別不同的漏洞54，這些漏洞可能引起系統錯誤或被攻擊者利用而形成系統安全問題。[55]但還是有可能被攻擊者構造的學習算法竊取其成員及記錄等私有信息[56-58在對抗環境中，攻擊者還可能進行模型竊取攻擊59和后門攻擊50等。模型竊取攻擊是指境中，攻擊者能夠進行閃避攻擊51和藥餌攻擊50等。閃避攻擊是指通過在正常的訓練樣階段。藥餌攻擊通過向訓練數據集注入虛假信息（藥餌），從而達到攻擊的目的。藥餌攻擊一般用于訓練階段，破壞訓練系統所生成的模型。自動駕駛汽車的安全事故：一輛使用自動駕駛系統的TeslaModelS汽車因撞到高速公路的使用自動駕駛系統的TeslaModelS汽車因撞上一輛大卡車而致駕駛員身亡的事故。這說明計和報道的人工智能事故數據庫（ArtificialIntelligenceAccidentDatabase，AIID）。AIID本身按照設計者的意圖正常工作，也會（也已經）將導致社會勞動組織和職業結構急劇變動，形成社會的不穩定因素2629。在人類思維等智能活動方面，隨著人工智能技術的發展，智能機器會逐步變得更加聰明，人們會更加依賴智能機器，這可能在某種程度上導致部分人的認知能力變差31。[63攻擊者的活動，進而對被攻擊者進行威脅、訛詐或行為控制35。信息技術的發展使人們在阿西洛馬舉行的BeneficialAI大會上，機器人和人工智能領域的專家形成了《阿西洛馬StuartRussell提出了創造更安全的人工智能的3條原則（3PrinciplesforCreatingSaferAI）。如何保證人工智能的發展為人們帶來的是福祉而不隨著網絡空間中的活動（經濟、金融、教育、醫療服務、文化娛樂等領域）絡空間安全引發高度的重視和大量的社會投入67。機器學習技術被廣泛地用于網絡風險類應用系統安全性的重要技術路線。人工智能技術作為一種“雙刃武器，在對抗環境中，技術可以更有效地分析攻擊的技術特征，并采取識別、防御和對抗手段2。在研究人工智強為安全賦能的人工智能技術的研究和發展。表1-1（續表表1-2發展的維度來看待人工智能問題77。韓國更重視在智能機器人場景中的人工智能安全，而新加坡、日本更關注人工智能的倫理原則和治理規范。劃》，設立了三步走的戰略目標：到2020年人工智能總體技術和應用與世界先進水平同步；到2025年人工智能基礎理論實現重大突破，部分技術與應用達到世界領先水平；到2030規劃》明確指出，在促進人工智能發展的同時，關注人工智能數據安全風險，提出“強化數據安全與隱私保護權力，為人工智能研發和廣泛應用提供海量數據支撐”，以及促進人等行為的懲戒力度”。中國人工智能產業發展聯盟制定了《人工智能行業自律公約》，截至2022年5月，已有約1