技術濫用問題Lecture72024/2/1312024/2/132如果我們繼續在不夠明智和審慎的情況下發展技術，我們的傭人可能最終成為我們的劊子手?！既R德雷（OmarNelsonBradley）技術濫用概念目錄技術濫用案例技術濫用方式1232024/2/133技術濫用概念2024/2/1347.1技術濫用概念濫用④多而質量低劣。技術濫用是是指人們在利用技術進行分析、決策、協調、組織等一系列的活動中，其使用目的、使用方式、使用范圍等出現偏差并引發不良影響的行為或情形。濫用是指胡亂地或過度地使用，指程度、數量等，或者，不恰當的物質（如，酒精或藥物）使用，可損害健康或增加對健康損害的危險性。①江河、湖泊的水溢出；②過度，沒有節制；③浮泛不合實際；①實行，施行；②治理，管理；③辯用，聽從；④

出力，效命。例如，遠古時期，人類發明了取火技術，用火烤制食物、照明、取暖、冶煉等，為人類生活提供了便利，也改善了人類的生活質量?！盎鸢选庇糜谠缙诘娜祟惙榛鹜ㄐ?，人們可以及時得到信息，防止外敵入侵；縱火，可以引發森林大火、樓宇火災，給人民生命和財產帶來巨大損失。⑤

功能。2024/2/1357.1技術濫用概念濫用技術濫用的誘因主要有如下三個方面：技術設計者出于自身利益，產生對人類不利的行為。例如，金融機構從自身利益出發，推薦不符合用戶利益的產品，或者是為了自身局部利益，不顧整體利益，產生了系統性風險；娛樂平臺為了自身的商業利益，利用技術誘導用戶進行娛樂或信息消費，導致用戶沉迷。“技術至上”的內容推薦會導致用戶價值觀扭曲、視野狹窄等問題。過度依賴技術本身，技術缺陷引發不良后果和影響。即使人工智能的使用者出于正當的目的，在一些極端的場景中，盲目相信技術、過度依賴人工智能，也可能因為技術的缺陷而產生嚴重后果。例如，醫療誤診導致醫療事故、安防和犯罪誤判導致安全問題等，都直接關系到公民的人身安全與自由。盲目擴大技術的應用范圍，導致超出人們預期結果。任何人工智能技術都有其特定的應用場景和應用范圍。超出原定場景和范圍的使用可能會導致技術濫用。例如，在校園中應用人工智能技術，可以幫助學校和教師提高教學效率，但如果盲目擴大到對特定學生行為的全面監控，會對學生造成不良的心理影響。技術濫用概念目錄技術濫用案例技術濫用方式1232024/2/136數據關涉的濫用算法關涉的濫用應用關涉的濫用2024/2/1377.2技術濫用方式數據關涉的濫用-數據過度采集人工智能應用存在的主要技術濫用方式：數據關涉的濫用、算法關涉的濫用、應用關涉的濫用。數據關涉的濫用是指在數據的采集和分析中惡意使用人工智能技術，損害他人利益或造成不良影響的行為。主要包括數據過度采集問題和數據過度分析問題。數據采集主要方式包括現場無差別采集、直接在線采集、網上公開數據源和商務采購等方式。在現場無差別采集時，由于無法提前預知采集的用戶，難以獲得用戶授權的充分同意。在直接在線采集時，需要對用戶數據進行連續性的處理分析，因此很難保障用戶的修改、撤回等權益。在網上公開數據源和商務采購時，目前數據共享、交易和流通的市場化機制不健全，因此存在一部分企業通過灰色渠道獲得用戶數據，而這些數據缺乏用戶知情同意。在公開環境尤其是公共空間進行現場數據采集時，將不可避免地因采集范圍擴大而帶來數據過度采集問題。如，在無人駕駛場景中，自動駕駛汽車的傳感器需要采集街景數據來支持智能駕駛系統的決策從而控制汽車行駛，但是這種無差別的街景數據采集必然會采集到行人的個人數據，甚至可能會采集到路邊重要基礎設施分布、軍事營區等重要數據給國家安全帶來風險。機器學習技術提升了數據采集的效率和自動化水平，也加劇了數據過度采集的風險。如，一些公司運用爬蟲技術獲取用戶的信息，如購物流水、通訊錄聯系人、銀行卡賬單，支付寶和微信交易記錄，以及公積金和社保等數據，然后打包出售，被非法用于不合理和不正當的目的，損害用戶的利益。人臉、基因、體態、語音等生物特征數據均屬于個人敏感數據，對此類數據的采集和處理存在較大的法律合規和隱私保護風險2024/2/1387.2技術濫用方式數據過度分析是指超出數據中原有使用目的的使用。理論上在現有法律框架，個人數據在知情同意收集后的使用環節是沒有受到任何限制和規避的。數據挖掘是一種重要的人工智能數據分析形式，可以從大量數據中揭示出隱含的、先前未知的并有潛在價值的信息。關于這些具有潛在價值的信息，用戶并沒有足夠的意識和警覺，并不能形成事實上的“知情”，當然就難免導致表象的“知情同意”，往往造成用戶的潛在信息在實際不知情情況下被惡意使用。隨著人工智能關聯分析技術的發展，通過對公民分散的、單個無意義的數據項進行組合關聯分析，能夠形成對特定個體識別和特征畫像的數據集（如，活動場所、行動習慣、政治態度、宗教信仰等）。這種技術不但本身會直接威脅到用戶的人身安全和隱私，若被用于政黨競選和政治宣傳，將對現行的國家政治制度產生極大的沖擊和顛覆。隨著大數據分析和用戶畫像技術的快速發展，個性化服務變得越來越普遍，各類平臺和企業對于用戶“數字軌跡”數據的采集成為其提供精準化產品服務的核心基礎，這種對于用戶習慣行為的長期跟蹤和深度分析將使得公民隱私面臨安全風險。數據關涉的濫用-數據過度分析2024/2/1397.2技術濫用方式算法關涉的濫用“人為開發造成”和“機器自我學習”兩類人為開發造成的濫用，是指為了某些自身特殊利益或者惡意目的而開發出的算法技術和算法實現。例如，使用機器學習讓網絡攻擊自動進行，并且通過自我學習不斷提升，來增強攻擊能力，提高攻擊的命中率。機器自我學習的濫用，是指機器在學習的過程中會自我學習到數據的多維不同特征或者多種關聯，造成不良影響或惡意后果。機器學習的過程中，代碼和算法存在著難以理解的技術“黑箱”，導致人們無法控制和預測的結果。例如，算法能夠幫助提升惡意軟件的適應能力，能夠幫助攻擊者迅速收集、組織并處理大型數據庫，從而對信息進行關聯與識別，最終簡化攻擊實施門檻并加快攻擊執行速度。人為開發造成的算法濫用包括以下幾個方面：算法設計。算法開發者利用個人信息、瀏覽記錄、消費記錄等信息，通過數據和算法實施價格歧視，追求自身利潤最大化；通過數據和算法向用戶進行個性化推薦，有些內容甚至違背法律和公序良俗；通過數據和算法對流量分配、搜索排名、評價等級設置障礙，限制經營者開展交易，降低消費者選擇的可能性。模型訓練。算法開發者通過使用對抗生成網絡來操縱或生成人類、甚至技術解決方案都難以立即與真實內容區分的視覺、音頻和文本內容。算法開發者基于缺陷數據訓練算法，所得到的模型會產生偏見和不公平決策。算法模型是由數據訓練出來的，給它什么樣的數據，就可能產生什么樣的結果，算法模型會放大已有的偏見或不公正。2024/2/13107.2技術濫用方式應用關涉的濫用-網絡安全人工智能技術可提升網絡攻擊的智能化水平，可以利用人工智能技術自動鎖定目標，進行數據勒索攻擊；可以通過人工智能技術自動生成大量虛假威脅情報，對分析系統實施攻擊；可以采用人工智能技術自動識別圖像驗證碼，竊取系統數據。通過人工智能進行惡意攻擊的行為和個人的類別正在激增。同時，針對人工智能系統的新的攻擊形式（在性質上與傳統的網絡攻擊不同）以一種指數級的、有時無法衡量的方式增加了連接系統的攻擊面。人工智能在網絡安全的濫用存在如下具體影響：擴大現有威脅。廉價且日益有效的人工智能系統可用于攻擊，意味著各類團體和個人有可能成為惡意行為者。由于廉價計算硬件的普及，通過云計算能力的不斷增加和成本的降低，以及大多數可以促進模型訓練和潛在惡意活動工具的開源，惡意行為者的范圍正在擴大。引入新的威脅。除了現有的威脅在規模和范圍上的擴大，人工智能的進步意味著可能會引入全新的威脅。人工智能不受人類能力限制的特點，可以讓行動者執行原本不可行的攻擊，例如深度造假、破解驗證碼、蜂擁式攻擊。改變威脅的特征。針對人工智能系統的攻擊也經常以竊取信息或破壞系統為目的，但以更微妙的形式和更長遠的方向精心設計。試圖為一個特有的目的獲得對目標系統的控制，或者通過入侵系統讓模型揭示其內部工作原理，然后改變其行為。攻擊將會更加高效、更有針對性、難于歸因且難以防守，這將在很大程度上改變傳統網絡安全的典型特征。2024/2/13117.2技術濫用方式應用關涉的濫用-軍事防恐人工智能軍事競爭觸發新一輪軍備競賽

人工智能將是大國塑造軍事優勢新杠桿，通過推進智能武器部署，實現作戰能力的迭代升級，維持或打造軍事能力優勢和新代差。對中小國家而言，人工智能的巨大賦能效應可能會彌補其在領土、人口、經濟等方面的劣勢，獲得挑戰大國的實力和機會。智能技術的易擴散性加劇非傳統風險

人工智能技術與以往核武器、生化武器等最顯著不同是易擴散性。由于智能技術的低成本、高賦能，易于被恐怖組織、個人等非國家行為體掌握和運用，成為恐怖分子、犯罪組織、黑客等進行破壞和犯罪的工具。如，委內瑞拉總統馬杜羅出席活動遭無人機爆炸襲擊事件。人工智能軍事應用顯著降低戰爭門檻軍事智能發展催生出認知戰、失能戰、網絡戰等非殺傷性作戰手段，可能不再以消滅對手為目的，而是以控制對方認知、行動等方式取勝，加大了戰爭“零傷亡”的可能。智能化條件下的殺傷性行動主要由自主機器實施，作戰樣式以自主式遠程無人攻擊為主，降低了戰爭成本。這些因素都能夠使戰爭看起來更“人道”、“廉價”，減輕戰爭決策者發動戰爭的道義責任和政治壓力部署在網絡、太空、深海等新型作戰空間的智能武器更具有隱蔽性，難以判定誰是發起者，成為軍事對抗的“灰色地帶”。技術濫用概念目錄技術濫用案例技術濫用方式1232024/2/1312數據關涉的濫用算法關涉的濫用應用關涉的濫用機器學習的技術濫用搜索引擎的技術濫用語音識別的技術濫用計算機視覺技術濫用自然語言處理的濫用生物識別技術的濫用2024/2/13137.3技術濫用案例機器學習的技術濫用-暗網交易深網（DeepWeb）：除了表層網之外的，其實都可以被稱為深網。深網就是互聯網上不能被搜索引擎抓取到內容。如，和同事微信聊天的記錄；存在網盤里的僅自己可見的音頻視頻；設置了僅顯示三天的朋友圈，那三天之外的朋友圈內容就是屬于搜索引擎無能為力的范圍。這部分的數據量比搜索引擎能夠抓取到的多得多。據估計，深網的內容要比表面網站大幾個數量級。暗網（Darknet或DarkWeb）就是不能通過普通方式來訪問的網絡，屬于深網的一部分，但是是更深一層的，暗網是通過非常規協議和端口進行連接的私有網絡。暗網的數據傳輸是匿名進行的。暗網是深網的一個子集，而且是很小的一部分子集。2019年2月，卡巴斯基實驗室的欺詐偵查小組搗毀了名為“創世紀（Genesis）”的暗網市場。該市場出售“數字身份”（互聯網用戶的電子身份信息），每條信息起價5美元，最高達200美元?；ヂ摼W并不是我們看到的只有一層，實際上是分為明網（表層網）、深網和暗網：明網是我們平時可以隨意訪問的網絡，但是它只是互聯網的最表層，大約只占據了4%-20%的內容，搜索引擎就是我們訪問明網的關鍵，不需要再使用其他的特殊工具和方式。出價取決于所購買信息的價值，例如，一個包含用戶銀行登錄信息完整配置文件的數字掩碼，會比一個瀏覽器指紋的價格要高的多。數字掩碼是指用戶設備指紋（設備ID、硬件、操作系統、IP地址、屏幕分辨率、固件版本、瀏覽器、瀏覽器插件、時區、GPU信息、TCP/IP指紋、Cookie等）及其個人行為屬性（在特定網上商店花費的時間、與興趣相關的行為、鼠標/觸摸屏行為等）的唯一組合。2024/2/13147.3技術濫用案例機器學習的技術濫用-暗網交易黑客們通常會用惡意軟件攻擊他人電腦，找到并復制個人數據以及其他個人身份識別信息。有了這些信息，通過特定瀏覽器和代理服務器來模仿真實用戶的活動。再加上盜取的互聯網用戶的帳戶信息，攻擊者就可以自由地以該用戶的名義進行新的、可信的交易——包括使用信用卡消費。在打擊“暗網”犯罪的過程中，人工智能也正成為一把利器。消失速度極快是“暗網”犯罪的一大特征，因為它們可能遭到其他黑客的攻擊、安全部門的突擊搜查，或者本身就被設計成一個“退出騙局”，顧客為未完成的訂單付費后，該網站會故意關閉。林肯實驗室（MITLincolnLaboratory）人工智能技術與系統集團研究員達格利（CharlieDagli）就表示：“暗網交易市場的‘彈出式’特性使得跟蹤參與者及其活動變得十分困難。”賣家和買家在網絡的多個層面（從表面到黑暗）及黑暗網絡論壇上進行聯系?！斑@種網站之間的不斷切換現在已經成為暗網市場運作方式的既定組成部分。”針對這一情況，林肯實驗室正在開發新的人工智能軟件工具來分析表面和暗網數據，他們訓練機器學習算法來計算不同論壇上用戶之間的相似度，自動形成人物角色鏈接?！霸谶@一點上，黑客們已經能夠收集、管理和維護他們所侵入的用戶的大量數據，”一家基于機器學習的技術公司的產品經理說到，“這意味著，如果你的筆記本電腦被黑客入侵，黑客的戰利品不一定是被入侵的電腦，而是你電腦上的所有數據，包括所有的身份識別信息?！?024/2/13157.3技術濫用案例機器學習的技術濫用-暗網交易機器學習算法首先從一個論壇A的用戶那里獲取數據，并為每個用戶創建一個著作權模型。然后，將論壇B上用戶的數據與論壇A上的所有用戶模型進行對比，以尋找簡單的線索，比如在兩個論壇中一個叫“sergeygork”，另一個叫“sergeygorkin”，或者把“joenightmare”拼寫為“joeknight”。算法關注的另一個特性是內容相似性。達格利表示，“因為很多內容都是復制粘貼的，所以類似的話可能會來自同一個用戶?！毕到y查找用戶網絡中的相似點，即用戶交叉的區域，以及用戶討論的主題。然后將配置文件、內容和網絡特性融合為一個輸出：兩個論壇中的兩個人物角色代表同一個現實生活中的人物的概率，這個匹配正確率高達95%。安全部門及相關公司利用機器學習打擊“暗網”犯罪的同時，黑客也開始利用機器學習進行對抗和犯罪。比如，前文中提及的“創世紀”，黑客利用“數字孿生”作為數字面具模仿真實的用戶，并選擇網絡安全技術來通過欺詐檢測協議?！叭绻贿吺菣C器學習，那么另一邊也是機器學習，”“現在，黑客和惡意人員們正在實施他們自己的方案，作為一種對抗性的機器學習訓練。”2024/2/13167.3技術濫用案例機器學習的技術濫用-“快啊”打碼平臺2017年2月9日晚，紹興市公安局越城區分局城南派出所接到公民虞某報案稱，他收到好友王某的一條QQ信息：王某正在購買一件價值1922元的商品，因手機支付不成功，請虞某幫忙代付。虞某通過手機為好友支付貨款后，對方再次要求付款，她疑心被騙因而報案。結果證明，王某的賬號被盜，有人冒充王某對其好友實施詐騙。接到報警后，越城分局警方在哈爾濱抓獲這個利用社交軟件冒充好友實施代付詐騙的犯罪團伙。團伙成員共十余人，頭目鄭某負責招募人員、培訓和購買作案工具，其他成員登錄不同種類社交軟件實施詐騙。在這個團伙的電腦中，警方發現大量公民個人信息。“信息最多的一臺電腦中有300多GB的個人信息，包括多個郵箱、社交軟件的賬號和密碼，而且都很準確。”這些信息從何而來？團伙頭目鄭某稱：他以一組2元左右的價格，共花40多萬元從吳某等人手中買來的。而吳某手中的信息則來自一個黑客犯罪團伙，該團伙利用超級SQL注入工具、網站漏洞掃描軟件，批量掃描網站程序漏洞，非法獲取網站后臺用戶注冊數據，這被稱為“脫庫”。一起普通的網絡代付詐騙，牽出一個利用人工智能技術、一秒鐘盜取2000組公民信息數據的犯罪團伙。通過深挖公民個人信息賬號密碼買賣這條線索，浙江紹興警方發現一條涉及利用黑客技術非法獲取網站后臺用戶注冊數據、數據撞庫、繞開互聯網公司安全策略的打碼平臺、網絡詐騙、非法信息推廣的互聯網黑色產業鏈。這一黑產鏈條中，參與到數據泄露環節的人工智能技術頗為關鍵，使得非法獲取個人信息的成本大幅降低。黑客團伙將包含各類郵箱和密碼的數據分門別類進行銷售，以每10萬條數據50元到100元的價格賣給吳某等人。獲取數據后，吳某等人用“撞庫”軟件進行批量撞庫、匹配，進而將各類賬號與密碼匹配成功的賬戶以1.2元到2元一個的價格，販賣給網絡詐騙犯罪團伙。2024/2/13177.3技術濫用案例機器學習的技術濫用-“快啊”打碼平臺很多用戶習慣在不同網站使用相同的郵箱賬號登錄，甚至登錄賬號密碼也和郵箱一樣。黑客可以通過獲取用戶在A網站的賬戶從而嘗試登錄B網址，這就完成一次“撞庫”嘗試。為了防止黑客批量測試賬戶密碼，各網站和平臺動了不少腦筋，“驗證碼”是常用防范手段之一。網絡用戶在各大網站或者平臺注冊、登錄賬號時，經?？梢砸姷桨ā白址?、“數字”、“字符+點選”、“滑塊拼圖”、“圖片人工答題”等驗證碼，其中“字符型驗證碼”是互聯網行業普遍采用的驗證碼形式。驗證碼的防范機制是：提出的問題要容易被人類解答，而讓機器無法解答?！懊搸臁备`取到的郵箱、社交軟件等賬號密碼信息大多是單一的、無效的，需要將這些信息進行“清洗”。與之對應的概念為“撞庫”：黑客通過收集互聯網已泄露的用戶和密碼信息，生成對應的字典表，嘗試批量登陸其他網站后，得到一系列可以登錄的賬號信息。經過“撞庫”清洗后，一些賬號關聯的其他平臺賬號被順利登錄，完成“清洗”后的數據更為豐富，可以精準獲知該用戶的許多平臺注冊信息，這在犯罪分子眼中極有價值，價格也隨之漲高。2016年山東女大學生徐玉玉被詐騙分子以發放助學金的名義，騙走全部學費9900元，在報警回家的路上猝死，就是由于騙子掌握了徐玉玉準確的錄取信息、手機號碼等個人信息，精準實施詐騙。2024/2/13187.3技術濫用案例機器學習的技術濫用-“快啊”打碼平臺當賬號登錄存在異常的時候，為了保護賬號安全，系統會提示輸入驗證碼。其目的是防止犯罪團伙批量惡意登錄——他們可以利用機器大量輸入賬號和密碼，但是機器無法識別驗證碼。由此，對于想要獲取精準個人賬戶信息的犯罪團伙，在“撞庫”環節，如何進行批量驗證就成為關鍵。由于無法規避驗證碼，黑客們若要試出有效密碼，需要人工逐條輸入信息和識別驗證碼，比對、驗證并成功匹配個人信息的賬號密碼，確認信息準確可以使用，再交給數據商。這些人在圈內被稱為“碼奴”，這一環節也被稱為“打碼”。某“碼奴”向《財經》記者透露，根據驗證碼的復雜程度和輸入的準確率，打1000個驗證碼會掙取1元至25元不等，每天工作12小時，最多可以輸入2萬個驗證碼，掙到300多元。最熟練的“碼奴”輸入一個驗證碼也需要一秒鐘時間。在傳統的信息泄露相關犯罪中，因高昂的人力資本和較為漫長的工作周期，被“清洗”的數據相對有限。因此在查獲巨量個人信息后，越城分局警方意識到，這一系列案件中的“打碼”絕非人工識別完成。隨后警方調查發現，該案中，拿到原始數據的數據商，通過一個名為“快啊”的打碼平臺進一步進行深加工。工商信息顯示，“快啊”平臺是沈陽納信科技有限公司旗下產品，該公司經營范圍為計算機科學技術研究、計算機軟件開發、網絡技術研究、網絡工程設計、計算機軟件銷售等。警方在調查中發現，該平臺專為網絡黑產和灰產識別破解字符型驗證碼提供技術幫助。2024/2/13197.3技術濫用案例機器學習的技術濫用-“快啊”打碼平臺打碼平臺上有多種針對不同互聯網產品進行“撞庫”的軟件，數據商將驗證碼傳給“快啊”打碼平臺的某一“撞庫”軟件識別接口，打碼平臺將驗證碼發給后端的“碼奴”進行識別，并獲取識別結果。越城分局警方對“快啊”平臺的數據分析獲知，接入該平臺提供驗證碼識別服務的“撞庫”軟件有100多款，接入平臺的用戶達1.1萬余人，從2016年6月到2017年3月，平臺資金進賬累計達1650萬元，為國內最大的“打碼”平臺?！按虼a”平臺游走在法律邊緣，界定并不清晰?！笆裁礃拥娜诵枰孔R別驗證碼？往往都是從事網絡黑產和灰產的人員?！背谏a業的詐騙人員，打碼平臺的通常使用者是“羊毛黨”、搶票的“黃?！奔罢搲⑻八姟?。以“羊毛黨”為例，一些網貸平臺為吸引投資者常推出一些收益豐厚的活動，如注冊認證獎勵、充值返現、投標返利等，催生了以此寄生的投機群體“羊毛黨”?！把蛎h”去某網站刷活動優惠券，但該網站有較復雜的驗證碼，通常“羊毛黨”會在打碼平臺注冊賬號并充值，并通過打碼平臺提供的接口，提交驗證碼識別。打碼平臺將驗證碼分發到各個“碼奴”客戶端里，獲取識別結果，并最終反饋給“羊毛黨”。據辦案民警介紹，“快啊”平臺被查的前三個月，已提供驗證碼識別服務259億次。在人力資源有限的情況下，“快啊”平臺如何做到可以提供巨量的驗證碼識別服務呢？越城分局警方發現了隱藏在其背后的一個無需“碼奴”的高級“打碼”技術。2024/2/13207.3技術濫用案例機器學習的技術濫用-“快啊”打碼平臺隨著偵查深入，越城分局警方發現:為“快啊”打碼平臺提供驗證碼識別服務的是一個名為NID的軟件系統，這一人工智能程序由廈門人楊某設計。楊某稱，他使用伯克利大學開發的Caffe框架創建了一個神經網絡模型，之后從網絡上下載了幾乎全世界所有字體，對模型進行訓練，使它具有圖文轉換的能力，再將這個神經網絡與具有圖像接受和處理結果返回功能的服務端進行網絡連接，構成一個系統。楊某像教育兒童一樣訓練NID學習識別各種驗證碼。在他的“培養”下，NID破解驗證碼的能力越來越強。通過運用人工智能機器深度學習技術訓練機器，可以讓NID如AlphaGo一樣自主操作識別，有效識別圖片驗證碼，輕松繞過互聯網公司設置的賬戶登錄安全策略——驗證碼。在機器學習技術的助力下，NID“打碼”速度很快，平均一秒可以識別出2000個驗證碼，是人工“打碼”的2000倍；且正確率很高，可以識別出98％以上的驗證碼。楊某稱，NID程序剛編寫完成，正確率就高達95％，基本能正確識別所有清晰圖片中的文本，他不斷充實樣本庫，給NID程序輸入大量的圖片文件讓其進行識別，NID程序本身就具備很高的識別應對能力；此外，NID系統也會自動學習，它每秒鐘會從用戶反饋的識別錯誤樣本庫中抽取一張比對正確答案進行學習，這個學習過程從編寫出程序到案發前，時刻進行。驗證碼被NID系統識別出后，黑客竊取半成品信息，相當于完成了深加工。數據商拿到這些精準信息，打包組合，出售給個人信息產業鏈下游的詐騙集團、廣告商，一條精準的個人信息，甚至可以賣到幾百元。2024/2/13217.3技術濫用案例機器學習的技術濫用-“快啊”打碼平臺“快啊”打碼平臺收取信息處理費用，收入的50％給了撞庫軟件開發者，50％由平臺開發商平分。短短一年內，平臺牟利1300多萬元，楊某分得300多萬元。利用NID程序，多的時候，楊柯一個月可以掙六七十萬元。2017年3月23日，“快啊”打碼平臺涉案被越城分局警方偵查。由于該案犯罪手法新穎、社會危害大，成立了由網警牽頭，刑偵、特警、派出所等多部門配合組成的專案組。圍繞該產業鏈的上下游，專案組輾轉福建、廣東、江西、黑龍江、遼寧、山東等13個省展開了偵查、抓捕，抓獲利用黑客技術非法獲取網站后臺數據的嫌疑人4人，使用撞庫軟件獲取賬戶密碼的嫌疑人19人，提供圖片驗證服務的“快啊”打碼平臺嫌疑人2人，制作“撞庫”軟件的9人，利用公民個人信息實施網絡犯罪的團伙28個，共159人。一位數據安全專家介紹，“快啊”打碼平臺利用NID程序對字符型驗證碼的破解，是基于人工智能的深度學習框架，使用相關的網絡模型訓練學習，來實現對字符型驗證碼的海量快速識別破解。由于字符型驗證碼是互聯網通用的安全策略，一旦被破解攻陷，將會給包括政企網站在內的互聯網行業用戶數據安全帶來風險。基于深度學習原理，只要樣本庫足夠豐富，這一智能程序可以識別的東西會越來越多——即使復雜如鐵路訂票平臺12306的驗證碼，也只是物品種類多、形態多樣的圖片識別，假以時日，NID程序一樣可以破解。2024/2/13227.3技術濫用案例機器學習的技術濫用-“快啊”打碼平臺基于深度學習，極大降低了網絡黑產的犯罪成本。如NID程序對字符型驗證碼的識別破解已快到毫秒級，“打碼”平臺的效率和業務量借此呈指數級別增長。而作為“驗證”這一重要的網絡安全環節，被攻陷后可被不法分子用于多個不同場景作惡，如撞庫、竊取信息、惡意灌水發帖、刷單、刷點擊量等，危害互聯網生態?！耙酝暮诳凸翎槍W站漏洞入侵，相當于‘開鎖式進入’，而借助于機器學習，進攻方式變成了‘硬闖’?！痹摪讣夹g門檻高，復雜程度也很大，辦案機關扣留涉案設備后需要將“撞庫”軟件、“打碼”平臺程序、神經網絡圖片驗證碼識別程序三個不同功能的軟件重新搭建，模擬現實環境，全程錄像取證，協同作業后，才能認定為一個能完整實現破解識別字符型驗證碼、“撞庫”、“洗庫”的軟件系統。檢察機關懲治計算機網絡犯罪遇到取證和證明的難點——網絡空間所有行為通過數字化的形式完成，沒有目擊證人，網絡犯罪證據多以電子數據為主要形態，偵查取證主要依賴技術手段完成；此外，網絡犯罪的取證、鑒定、定性等都需要很強的專業知識，但從目前的實際情況看，既精通法律業務又熟悉網絡技術的復合型檢察人才十分缺乏。目前人類已經掌握了“弱人工智能”，即能制造出真正推理和解決問題的智能機器，這些機器不會有自主意識，同在各方面能和人類比肩的“強人工智能”和比人類大腦聰明許多的“超人工智能”相比，“弱人工智能”只是人工智能的初級階段，NID系統屬于此列。此案件中，“人工智能”只是輔助犯罪嫌疑人實施犯罪的工具和手段，犯罪主體仍然是人而非機器，尚在中國刑法規制范圍內。2024/2/13237.3技術濫用案例機器學習的技術濫用-亞馬遜解雇員工亞馬遜公司一名女員工奧利維蘿因罹患腸易激綜合征，所以每天最多要上六次廁所。但她的主管得知后，要求她在五天內取得醫院證明，否則就要將她解雇。最后，奧利維蘿因為無法在時限內取得醫師證明遭開除。她事后認為，亞馬遜此舉是歧視員工生理問題，違反當地《反歧視法》，狀告亞馬遜求償7.5萬美元。貝索斯認為，機器學習算法比人類更快，更能做出準確的評斷，并且可以降低大量的成本，所以在管理線上商店、系統派工，以及人資管理系統中引入了新的機器學習算法機制以監視員工。一位前亞馬遜經理級員工認為，目前亞馬遜的算法并沒有足夠的能力去準確地分析、應對突發狀況，而且亞馬遜內部也明白其算法有問題，會誤判。但即便如此，亞馬遜還是認為使用機器算法所需的費用遠遠低于請人調查之后來解雇員工的成本。這并非是亞馬遜首次因為開除員工而遭遇訴訟，在亞馬遜引入機器學習算法判定機制后，不少員工都因為莫名的原因而遭到開除，因此亞馬遜目前也面臨大量類似的訴訟。2024/2/13247.3技術濫用案例搜索引擎的技術濫用-網絡爬蟲網絡爬蟲，是一種自動獲取網頁內容的程序，是搜索引擎的重要組成部分。網絡爬蟲為搜索引擎從萬維網下載網頁?；ヂ摼W行業中用戶生產內容平臺（UserGeneratedContent，UGC）中數據造假情況長期存在，尤其是網絡“爬蟲”技術的濫用不僅侵犯相關平臺知識產權和消費者合法權益，還可導致平臺上的用戶敏感信息泄露。2018年10月，微信公號“小聲比比”發布題為《估值175億的旅游獨角獸，是一座僵尸和水軍構成的鬼城?》的文章，援用乎睿數據團隊所供數據稱，作為馬蜂窩核心資產之一的2100萬“真實點評”中，有1800萬條是通過機器人從攜程等競爭對手那里抄襲過來的。其中，超過7000個抄襲賬號，合計抄襲572萬條餐飲點評，1221萬條酒店點評，占總點評數的85%。隨著事件日益發酵，UGC平臺數據造假這一行業問題引發關注。業內人士認為，從其它平臺抓數據的目的，就是為了制造流量很大的假象，既給用戶看、商家看，更要給投資人看，獲取不同輪次的投資以便上市。而從其它網站抓取商家內容頁面和用戶點評數據非常簡單，使用“爬蟲”技術和人工編輯就能做到。2024/2/13257.3技術濫用案例搜索引擎的技術濫用-網絡爬蟲一位App研發者李某介紹，爬蟲最早應用在搜索引擎領域，爬取網站頁面提供給其用戶進行快速搜索和訪問，當前爬蟲技術已是“大數據”概念的重要組成部分，爬取對象也從一些種子擴充至整個網絡數據。一些公司開始利用“爬蟲”技術從其他平臺惡意抓取數據。例如2018年7月，生活分享平臺“小紅書”官微發布聲明指責大眾點評大量抄襲小紅書用戶的內容，隨后，大眾點評道歉；2018年2月，視頻彈幕網站嗶哩嗶哩大量用戶的視頻、昵稱、頭像及用戶評論，出現在某新成立的視頻網站上；而航空公司的官網上的機票、訂座等信息，長期被代理公司將機票信息爬取、占座，然后在其他網站上加價銷售。網宿科技發布的《2018上半年中國互聯網安全報告》顯示，2018年上半年，Web應用攻擊總數環比增長了97.82%，惡意“爬蟲”攻擊數量環比增長了55.79%。另有數據顯示，交通出行類惡意“爬蟲”流量占比居首位，其次是電商、社交、點評、運營商、公共行政等，網絡爬蟲非法使用給互聯網競爭環境帶來諸多負面影響?！笆忻嫔洗蟮幕ヂ摼W公司都會推出自己的刷票軟件，目的是為了分享12306網站的‘流量紅利’?！薄斑@些刷票軟件用‘爬蟲’等技術刷新12306網站頁面，截取官網車次、票量等數據制作成自己的網站頁面，再使用程序進行搶票，收取不合法的差價。其中，大約一半的12306訂票網站流量來自‘爬蟲’技術支撐的刷票軟件，不僅給網站服務器造成巨大壓力，也擾亂了正常的訂票秩序，由此帶來的購票難是鐵路部門一直頭疼的問題。”2024/2/13267.3技術濫用案例搜索引擎的技術濫用-網絡爬蟲搜狐視頻高級主管閔博認為，濫用網絡“爬蟲”還有可能對網絡安全造成影響，引發網站服務器宕機?！耙恍老x’工具的使用者在采取‘全站爬取’的模式時，相當于模擬大量用戶在短時間內對源站服務器發起訪問請求，一旦訪問量在瞬間達到承載極值，就會引起服務器宕機，從而威脅網絡空間的安全?！边€有業內人士指出，濫用網絡“爬蟲”抓取的信息不僅可以用于同類型平臺制作，還可能被轉售或者可能用于釣魚網站制作等其他違法行為，不但會給平臺帶來重大損失，還可能導致平臺上的用戶敏感信息泄露，進而使用戶遭遇各類網絡和電信詐騙。在社交網站和購物網站檢索時，一些賣家堂而皇之地售賣“爬蟲”自動評價軟件或進行個人隱私信息爬取的接派單任務。在QQ群搜索中輸入關鍵詞“網絡爬蟲”，也會出現多個涉及外包網絡“爬蟲”技術的群組。業內人士透露，這些群組中進行的網絡“爬蟲”任務大部分都屬于未獲授權而進行的違規爬取操作，由于該項技術具有一定的隱秘性，在爬取普通用戶隱私數據時較難被識別。山東日中律師事務所律師陳某表示，公司未經許可或授權的情況下利用“爬蟲”技術獲得可能帶來商業利益的信息可以被判定構成不正當競爭。新華每日電訊記者梳理相關案件發現，法院往往認為，技術作為一種工具手段在價值上具有中立性，但這并不意味著技術本身可以作為豁免當事人法律責任的依據。2024/2/13277.3技術濫用案例“一個技術如何使用，責任主體都應捫心自問，這是否侵犯個人隱私，是否破壞言論自由，是否損害公共利益，是否損害其他數據財產擁有者的財產所有權，是否涉及不正當競爭。許多大的互聯網公司，會同時有‘爬蟲’部門和‘反爬蟲’部門?！老x’技術在互聯網行業已被廣泛使用，但‘爬蟲’絕不能成為害蟲?！本W絡蜘蛛(WebSpider)，是一個很形象的名字。把互聯網比喻成一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。從網站某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。網絡蜘蛛就是一個爬行程序，一個抓取網頁的程序。網絡爬蟲（Webcrawler），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，它們被廣泛用于互聯網搜索引擎或其他類似網站，可以自動采集所有其能夠訪問到的頁面內容，以獲取或更新這些網站的內容和檢索方式。從功能上來講，爬蟲一般分為數據采集，處理，儲存三個部分。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。“反爬蟲”技術有兩種：一種是限制同一IP、同一電腦在一定時間內訪問網站的次數，另一種是設置復雜驗證碼機制，讓“爬蟲”不好識別。但對一些網站來說，封IP的做法可能誤傷真實用戶，而設置一個非常復雜的驗證碼，又可能損失用戶。因此，除了加大技術防范力度之外，要運用好法律手段，克服取證難的盲點，明確使用紅線。搜索引擎的技術濫用-網絡爬蟲2024/2/13287.3技術濫用案例搜索引擎的技術濫用-魏則西事件2014年4月，正在西安電子科技大學讀大二的魏則西檢查出滑膜肉瘤，這是一種惡性軟組織腫瘤，尙沒有有效的治療手段，生存率極低，五年生存率是20%-50%！之后魏則西在百度上搜索滑膜肉瘤，并通過百度推薦找到武警北京第二醫院的生物免疫療法。2014年9月至2015年底，魏則西先后在武警北京第二醫院進行了4次生物免疫療法的治療，花了二十多萬元，結果卻是未能如愿，治病的巨額花費將家里積蓄掏空。2015年8月，絕望的魏則西在知乎上發帖提問：“二十一歲癌癥晚期，自殺是否是更好的選擇？”2016年4月12日上午8時17分，魏則西在咸陽的家中去世，終年22歲。魏則西去世當天，在一則“魏則西怎么樣了？”的知乎帖下，魏則西父親用魏則西的知乎賬號回復稱：“我是魏則西的父親魏海全，則西今天早上八點十七分去世，我和他媽媽謝謝廣大知友對則西的關愛，希望大家關愛生命，熱愛生活?！?016年2月，知乎上有人提問：“你認為人性最大的‘惡’是什么？”魏則西將自己的故事作為回答：“醫院，是在百度上搜的，排名領先，療法‘說得特別好’，然而在該醫院治療后致病情耽誤，更可悲的是被網友告知生物免疫療法是被國外臨床淘汰的技術。”該帖中，他還質疑百度競價排名的醫療信息有誤導之嫌。該網帖引發網友廣泛關注，有言論稱武警二院生物診療中心早已被“莆田系醫院”外包。莆田人以治療皮膚病的游醫起家，莆田人在全國建立的民營醫院已經占到中國民營醫院的80%左右，被稱為“莆田系醫院”。2024/2/13297.3技術濫用案例搜索引擎的技術濫用-魏則西事件2016年5月2日，國家網信辦會同國家工商總局、國家衛生計生委成立聯合調查組進駐百度公司，對此事件進行調查并依法處理。對此，百度公司發布聲明，表示百度將全力配合主管部門調查，接受監督，不給互聯網虛假信息和違法行為留下可乘之機。例如，企業在百度注冊提交“推薦系統”這個關鍵詞，當消費者或網民尋找“推薦系統”的信息時，企業就會被優先找到，顯示在搜索結果頁面的顯著位置，百度按照點擊量（潛在客戶訪問數）收費，每次有效點擊收費從幾毛錢到幾塊錢不等，由企業產品的競爭激烈程度決定。此項營銷策略每年可以給百度公司帶來大量的營收。用戶在使用百度搜索引擎搜索關鍵詞時，百度公司利用自己對網頁數據的壟斷地位，在向網民呈現搜索結果時，并不是按照信息的重要性來對搜索結果進行排序，而是把一些百度推廣的營銷內容放在了搜索結果頁面的最顯著位置。魏則西事件更是使得百度這一營銷做法備受爭議。由此，眾多網友質疑百度推廣提供的醫療推薦信息有誤導之嫌，耽誤了魏則西的病情和最佳治療時機，最終導致魏則西失去生命。百度是國內最大的搜索引擎服務供應商，從某個角度而言，已經在一定程度上形成了數據壟斷。百度推廣是百度公司推出的網絡營銷服務，企業在向百度公司購買該項服務后，通過注冊提交一定量數量的關鍵詞，其推廣消息就會率先在網民相應的搜索結果中。亦即，當用戶利用某一關鍵詞進行信息檢索時，在檢索結果頁面會出現該關鍵詞相關的內容。2024/2/13307.3技術濫用案例語音識別的技術濫用-語音機器人2019年4月，鄭州市公安局破獲的一起詐騙案，某公司先從網上購買AI機器人電話軟件，由電話機器人自動操作，以每天1000-1500個的速度撥打客戶電話，一旦客戶沒有拒絕接聽，人工智能語音機器人就會記下該電話號碼，然后，由業務員主動添加該客戶的微信吸引他們充值投資，一旦資金到賬，就迅速拉黑對方。2018年，美國聯邦委員會向四家在全美境內提供非法機器人呼叫電話投放服務的運營商發起了訴訟。這些公司會向人們推銷虛假的能減免債務的服務，或者，偽裝成慈善機構欺騙大家捐贈汽車等財務，再把它們賣掉。2019年，美國境內民眾接到的“機器人騷擾電話”總數超過500億個，也就是說，平均一個美國人每個月會接到15個“機器人騷擾電話”。艾媒咨詢（iiMediaResearch）的統計數據顯示，僅2018年，中國的騷擾電話撥打數量已經超過500億，生活中騷擾電話占到全部通話量一半以上的用戶超20%，每周都受到騷擾電話困擾的用戶超80%。2018年12月，中國工業和信息化部就收到了8.6萬起關于“騷擾電話”的公眾投訴——這是2017年同期的3倍。2021年10月，河南省安陽市的劉小姐反映，她最近這段時間內經常接到不同地區不同號碼的國美金融的人工智能機器人催債電話，但在接到電話之后，劉小姐向國美金融官方客服核實自己的手機號是否在國美金融有貸款記錄或注冊信息的時候發現，劉小姐的手機號在國美金融沒有任何的貸款記錄或注冊信息。2024/2/13317.3技術濫用案例語音識別的技術濫用-語音機器人南京硅基智能（SiliconIntelligence）科技有限公司是一家語音機器人開發商，據報道去年他們總收入為1億元人民幣。該公司的核心機器人“硅語”有中文、英文和日文三個版本。硅基智能科技稱，該公司主要向銷售公司出售“硅語”的技術，平均售價為1萬元。銷售公司則利用“硅語”與消費者進行互動，包括給他們打電話。硅基智能創始人司馬華鵬表示：“我們基本上是在打造一個電話版的Siri?！薄肮枵Z”機器人背后的技術包括：對話開始時，“硅語”會識別出顧客所說的內容，并將其以文本的形式寫出來——這被稱為“自動語音識別”。接著，機器人通過查閱包含大量短語和句子的數據庫來理解文本，這一過程被稱為“自然語言理解”，然后對其做出反應。最后，在一種被稱為“文本轉成語音”的機制中，“硅語”將它的書面反應轉化為語音。“硅語”的效率大約是人類呼叫中心接線員的25倍，“它每天可以打1000個電話，這是人類的5倍，并且成本只有雇傭一名員工的五分之一”，司馬華鵬補充道，假設中國呼叫中心人員的平均年薪5萬元左右，那么機器人每年通常僅需要1萬元左右花費。硅基智能與人力資源的差別遠不止工作效率這一項。該公司表示，機器人不需要培訓，從不抱怨工作，而且工作效率高、不帶感情?！暗侥壳盀橹?，我們的機器人可能已經打了數十億個電話了”。據《中國新聞》2018年11月的報道，2016年至2017年，中國智能語音產業的增長速度是70%，而全球的速度僅為30%。2017年，中國智能語音市場價值約159億元人民幣（合23億美元）；根據錫安市場研究（ZionMarketResearch）的數據，2017年全球市場價值僅62億美元。2024/2/13327.3技術濫用案例語音識別的技術濫用-語音機器人在世界消費者權益日315晚會上，央視曝光了多家企業幕后的智能騷擾電話的灰色產業鏈。這些企業會為有商業營銷需要的公司提供機器人電話撥打服務。有些甚至會直接銷售這樣的機器，每個價值3000元，機器系統是專門為電話營銷服務的。這樣的機器一天能打5000個電話，一年能打超過40億個電話。有些公司為了提高可信度，還特意配備了專業的錄音棚，提供不同的聲音。大多數機器人會記錄每一次通話，以供參考，但客戶很少被告知這種做法——實際上，很少有人知道打電話的是機器人。2019年1月，南方周末報道稱，許多購買語音機器人服務的公司將它們與網絡抓取工具結合起來，這些工具在未經所有者同意的情況下非法收集電話號碼和其它個人數據。有些甚至從保險公司或房地產公司非法購買聯系方式，并向機器人提供盡可能多的個人信息。專門從事隱私保護和網絡安全的律師認為，“如果一家機器人公司將其收集的個人數據用于除最初聲明的用途外的任何其他目的，他們也侵犯了消費者根據《消費者法》所享有的知情權?！惫杌悄芘c人力資源的差別遠不止工作效率這一項。該公司表示，機器人不需要培訓，從不抱怨工作，而且工作效率高、不帶感情?！暗侥壳盀橹梗覀兊臋C器人可能已經打了數十億個電話了”2024/2/13337.3技術濫用案例語音識別的技術濫用-語音模仿軟件據《每日郵報》報道，一名詐騙犯利用人工智能語音模仿軟件冒充公司大老板，成功讓一家英國能源公司的首席執行官相信自己正在與德國母公司的老板通電話。在電話中，詐騙犯要求這位首席執行官立即將22萬歐元轉到匈牙利一家供應商的銀行賬戶，以避免繳納“滯納金”，并將轉賬信息以郵件形式發送，這位高管毫不猶豫地照做了。最終，這22萬歐元一去不復返。這家能源公司承保人裕利安宜公司（EulerHermes）向媒體透露了此案的細節。據報道，此案被認為是全球首例涉及人工智能的詐騙案，這再度引發了人們對人工智能軟件被用于犯罪的擔憂。據《華盛頓郵報》（TheWashingtonPost）報道，這位首席執行官后來在一封電子郵件中指出，這個要求相當“奇怪”，但“大老板”的德國口音非常逼真，他覺得自己別無選擇，只能服從。2024/2/13347.3技術濫用案例語音識別的技術濫用-語音模仿軟件裕利安宜公司指出，這位公司高管當時以為自己是在和他的德國老板談話，于是按照要求在一個小時內電匯了這筆錢，為的是幫助公司避免拖欠罰款。這家保險公司表示：“騙子使用的人工智能軟件，不僅能夠模仿他人的聲音、語調，甚至還能模仿帶德國口音的英語?！睋ぃ_子一共打了三次電話。第二次電話是在22萬歐元匯出后，對方打電話告訴這位高管，母公司會轉移資金償還英國公司的費用。在當天晚些時候，當這位高管接到第三次電話，對方故技重施冒充德國老板要求第二次付款時，他才意識到不對勁。由于對方承諾的轉賬償還資金并沒有收到，且這次的電話號碼顯示來自奧地利，出于懷疑，他沒有支付第二筆款項，而是直接致電德國老板本人，結果發現自己被騙?！埃俚模s翰內斯’甚至在我正與真正的約翰內斯通話時，要求跟我通話！”這位首席執行官在一封電子郵件中說道。然而，裕利安宜公司表示，等發現真相時，第一筆匯出22萬歐元已通過匈牙利和墨西哥的賬戶被轉移分散到了多個賬戶，目前還沒有查到嫌疑人，這筆錢已無法找回。最終，保險公司承諾將承擔全部的損失費用。2024/2/13357.3技術濫用案例計算機視覺技術濫用深度偽造技術（Deepfake）是通過深度學習偽造數字內容的人工智能技術，實質上是一種聲音、圖像與視頻的智能處理技術，能夠模仿特定人物或者讓特定人物看起來在做特定的事件，其效果可以達到以假亂真的程度。

“Deepfake”詞是一個Reddit網站的Deepfake用戶名，該用戶在2017年12月使用深度學習技術在色情視頻剪輯中編輯名人的面孔。2018年4月，網絡黑客運用深度偽造技術偽造了美國前總統奧巴馬（BarackObama）語言侮辱特朗普（DonaldTrump）的視頻，該視頻在推特上短時間內被點擊了200多萬次，對美國政府形象造成了極大的不良影響。2018年10月，加蓬世襲總統邦戈（AliBongo）生病出國治療，此后很長一段時間都沒有在公眾面前露面，而政府未對總統的情況作出聲明，導致陰謀論四起，甚至有人認為總統已經故去。但很快，新的一年要來了，按舊例，總統要在這個時候發表新年致辭，許多人都期待著總統的出現。結果，讓人萬萬沒想到的是，加蓬政府玩了一回不尋常操作：放了一段深度偽造的總統新年致辭視頻。視頻中，這位總統全程就沒眨眼，誰都能看出這個視頻不太對勁。一周后，加蓬的一些軍方人士認為總統的真實狀態一定非常不好，于是發動了一次政變。幸好，政變最終沒能成功。深度偽造技術門檻不斷降低，部分人將深度偽造技術用于煽動網絡暴力、破壞政治選舉、擾亂外交關系、偽造虛假證據等不法用途，在“所見即真實”的認知定律下，虛假視頻及新聞在社交媒體的加持下加速傳播，使得深度偽造技術濫用后果不斷加劇。2024/2/13367.3技術濫用案例計算機視覺技術濫用2019年9月的一檔意大利諷刺節目里，播出了一段意大利前總理倫齊（MatteoRenzi）侮辱其他意大利政客的視頻。雖然視頻中前總理的身體是演員的，節目組只是把頭部深度偽造了一下，但是居然有民眾信了，看完之后民眾深深的懷疑自己所生活的這個國家。2020年2月，在印度德里邦議會選舉中，提瓦里（ManojTiwari），為了拉攏小語種選民，便利用視頻深度偽造技術，“說”了一段自己并不會的語言進行拉票。這段視頻取得了不錯的效果，一般人根本看不出破綻，所以一開始不僅沒被懷疑，而且反響一度十分熱烈，為候選人爭取到了更多選票。深度偽造技術的濫用還極大影響了個人生活，2019年6月，基于深度偽造技術開發的應用程序DeepNude走紅網絡，該應用可以自動消除圖片中女性衣物，被應用于制作名人的虛假色情視頻，對女性隱私以及日常生活造成嚴重影響，引發了全社會對于人工智能技術不正當利用的擔憂，目前該應用已被開發者禁用。2024/2/13377.3技術濫用案例計算機視覺技術濫用2019年8月，一款名為“ZAO”的換臉軟件在中文網絡中推出，只要上傳一張正面照片，就能將影視作品中的明星換成自己的臉?！癦AO”瞬時引起網絡狂歡，但隨即因對公民個人信息的過度搜集以及可能的社會安全風險而受到工信部門的約談。深度偽造技術還可以從零開始創建令人信服但完全是虛構的照片。2019年，領英（LinkedIn）上出現了一個疑似間諜的賬號。她的名字是瓊斯（KatieJones），頭像是一個典型的白人女性，畢業于密歇根大學，在美國國際戰略研究中心（CenterforStrategicandInternationalStudies，CSIS）工作。她的職場網絡雖然只有50多人，但里面有美國參議員助理、副助理國務卿，以及美聯儲席位候選人兼經濟學家溫德福（PaulWindfree）。根據調查，CSIS根本沒有這樣一個員工，密歇根大學也沒有她的學位記錄，而且她聯系網內的人都不認識她。肖像審查專家判斷，她的頭像很可能是用AI技術生成的，很多特征與AI偽造頭像高度吻合。再結合她添加的人都是政府重要人物，專家普遍認為，其目的很可能是隱藏自己，從他們身上獲取信息，甚至添加更多位高權重的人物，將領英作為從事隱秘間諜活動的渠道。2024/2/13387.3技術濫用案例計算機視覺技術濫用深度偽造技術的濫用風險已經引起美國國家高層的高度重視。美國眾議院議長佩羅西的虛假合成視頻在社交媒體上的廣泛流傳更是加劇了美國立法者對深度偽造技術的擔憂。在美國2020年大選來臨之際，美國立法者開始尋求措施，意圖從根源上阻止深度偽造技術的不當利用。在此背景下，2019年6月12日，美國國會提出《深度偽造責任法案》，旨在通過限制深度偽造合成技術，打擊虛假信息的傳播。美國《深度偽造責任法案》的主要內容包括：①深度偽造內容制作者具有披露義務。利用深度偽造技術合成虛假內容放置于網絡上傳播，制作者應當采用嵌入數字水印、文字、語音標識等方式披露合成信息。違反披露義務的制作者或者惡意刪除披露信息的行為人需承擔民事責任，行為惡劣、造成嚴重后果的還會面臨罰金、人身監禁等刑事處罰。②受害主體享有私人訴權。自然人或者法人因深度偽造內容遭受實際損害的，可以向法院申請禁令救濟，或者對深度偽造內容制作者提起民事訴訟，要求其承擔損害賠償責任。在民事訴訟中，如果原告請求且有證據證明訴訟涉及個人隱私，法院應允許訴訟不公開審理。③假冒行為應包括采用深度偽造技術實施的冒充身份的行為。法案修訂美國法典第18章第1028節關于假冒身份的現有法律規定，利用深度偽造技術實施數字冒名頂替行為也應視為假冒身份行為。④政府應采取措施開發相關檢測識別技術。法案要求政府成立深度偽造特別小組，其職責包括研究開發對包括深度偽造在內的圖像、音視頻操縱技術的檢測識別和反制技術，為研究此類技術的其他政府部門提供行政和科學支持，與私營企業或學術機構合作開發檢測識別工具等。2024/2/13397.3技術濫用案例計算機視覺技術濫用“ZAO”軟件的火爆給“深度偽造”蒙上了陰影。為了防范深度偽造的危害，2018年3月，原國家新聞出版廣電總局下發通知規定：“堅決禁止非法抓取、剪拼改編視聽節目的行為，并嚴格管理包括網民上傳的類似重編節目，不給存在版權問題、內容問題等的剪拼改編視聽節目提供傳播渠道?！眹一ヂ摼W信息辦公室、文化和旅游部、國家廣播電視總局于2019年11月18日發布，并于2020年1月1日起生效實施的《網絡音視頻信息服務管理規定》亦對深度偽造做出了回應。2020年3月1日起施行的國家互聯網信息辦公室《網絡信息內容生態治理規定》第23條再次重申相關主體不得利用深度學習、虛擬現實等新技術新應用從事法律、行政法規禁止的活動。2021年1月1日起施行的《民法典》第1019條規定，任何組織或個人不得利用信息技術手段偽造等方式侵害他人的肖象權。行政規制和民事規制的路徑固然有其積極效能，但是當“深度偽造”的危害性達到一定量級時，刑法制裁手段依然是必不可少的。2020年3月1日起施行的國家互聯網信息辦公室《網絡信息內容生態治理規定》第23條再次重申相關主體不得利用深度學習、虛擬現實等新技術新應用從事法律、行政法規禁止的活動。2024/2/13407.3技術濫用案例自然語言處理的濫用-Facebook放大仇恨言論2021年10月3日，臉書（Facebook）前雇員豪根（FrancesHaugen）在美國60Minutes節目上揭露了社交媒體平臺臉書的一些內部運作機制。她表示，一家致力于產品優化的公司，卻采用了放大仇恨言論（HateSpeech）的算法。此前的一項數據顯示了臉書在致力于反對仇恨言論上所做的努力?，F在看來更像是一場笑話。雖然該公司一再聲稱，至少在自己產品上，它正在幫助阻止仇恨言論，但豪根泄露的臉書內部文件表明：“我們預計，我們的優化可能只會對臉書上3%-5%仇恨言論、大約0.6%的暴力和煽動內容產生作用，盡管在這一點上我們已經做到世界上最好了。”另一份文件甚至更加直白：我們從各種渠道獲得的證據表明，仇恨言論、分裂性政治言論以及臉書和旗下其他應用程序的錯誤信息正在影響世界各地的社交平臺。豪根聲稱，問題的根源在于“2018年推出的算法控制了你在平臺上看到的東西”。你用手機滑動五分鐘，可能只能看到100條內容，但是臉書可以向你展示成千上萬種選擇。該算法根據你過去接觸最多的內容類型來推送信息，通過參與度來優化內容。她表示，臉書為了提高用戶的參與度，發現最好的參與方式便是向用戶灌輸恐懼和憎恨，因為激發人們的憤怒比激發其它情緒更容易。當時，扎克伯格（MarkZuckerberg）稱算法的優化是正面的。“我們覺得有責任確保我們的服務不僅僅是有趣的，而且有益于人們的福祉?！?024/2/13417.3技術濫用案例自然語言處理的濫用-Facebook放大仇恨言論臉書對社會負面影響的案例有很多。例如，2018年緬甸軍方利用臉書宣揚種族滅絕，包括種族暴力。還有2020年大選，臉書明白其潛在的危險，因此啟動了安全系統，以減少錯誤信息。但豪根表示，許多變化都是暫時的，選舉一結束，他們就把安全系統關閉了。在選舉之后，臉書被一些人用來組織1月6日的起義，即2021年美國國會大廈遭沖擊事件。檢察官引用臉書上的帖子作為證據——武裝游擊隊員的照片和文字，包括“通過子彈或選票恢復共和國即將到來！”這樣的信息。這些極端分子使用了很多平臺，但臉書反復出現?！爱斈阆M更多內容時，臉書會賺更多的錢?！蹦槙帉懰惴ǖ姆绞秸诟淖儦W洲主要政黨領導國家的方式。豪根獲得的這份2019年的內部報告稱，對算法的改變迫使他們在臉書上的溝通對其產生負面影響，導致他們采取更加極端的政策立場。除了臉書，其危害也帶到了Instagram上。一項研究表明，13.5%的青少年說Instagram讓自殺的想法更糟糕；17%的青少年說Instagram讓飲食失調更嚴重。就在2021年9月，臉書表示，它將推遲為更小的孩子創建Instagram計劃。2024/2/13427.3技術濫用案例自然語言處理的濫用-Facebook放大仇恨言論2021年10月13日，美國國會參議院商務委員會主席坎特維爾（MariaCantwell）發聲?！昂栏淖C詞引發了人們對臉書是否誤導公眾、聯邦監管機構和參議院商務委員會的嚴重擔憂。”坎特維爾表示，“參議院商務委員會將繼續監督并努力推動立法以保護消費者隱私、改善數據安全，并加強聯邦執法以解決數字危害的問題，這正是我們召開這些聽證會的主題。”她要求臉書保存豪根提到的臉書內部研究文件，以及臉書對該研究的評估、排名或組合系統，改變這些排名系統的實驗或建議，以及臉書平臺對18歲以下兒童和青少年的影響。2021年10月，美國參議院商務委員會對臉書提出嚴厲批評，指責扎克伯格一味追求更高利潤而罔顧用戶安全，并要求監管機構調查“吹哨人”豪根對這家社交媒體公司損害兒童心理健康和煽動分歧言論的指控。扎克伯格則為該公司提出辯護，稱這些指控與臉書的目標不符。豪根呼吁，在臉書如何吸引用戶關注，從而為廣告商創造足夠的機會來接觸用戶的問題上，該公司應做到公開透明。2024/2/13437.3技術濫用案例自然語言處理的濫用-推特機器人賬戶社交媒體已成為我們日常不可分割的一部分，在美國，當有重大新聞爆發時，大約三分之二的人都可以實時在線查收，第一時間通過推特（Twitter）等社交平臺拿到事件的一手消息。2018年4月皮尤研究中心的報告稱：推特平臺上近95%賬戶都是機器人賬戶，不僅如此，這些機器人賬戶傳播的推特鏈接已覆蓋66%的流行網站，同時89％的新聞聚合網站鏈接也都來自僵尸網站。推特社交平臺上的機器人賬戶會大規模擴散其推文，將用戶接收推文的范圍及注意力無限放大，也會把媒體新聞事件的影響力加重或減輕。從外媒報道來看，越來越多“僵尸用戶”用于傳播被歪曲事實信息，在經濟和政治上產生了一定影響。機器人賬號有一個非常有意思的行為方式，那就是在假消息傳播的早期尤為活躍，并且更傾向于針對有影響力的用戶。這些機器賬戶可能會將媒體所報道的事實以“傾向”用戶感受方式進行推文，或者可能會根據環境、政治等因素以一種自我錯誤的主張推向用戶。2013年，敘利亞電子軍當時攻擊了美聯社的推特帳戶，同時刊登了一篇虛假信息——關于奧巴馬總統在恐怖襲擊事件中受傷的消息，結果消息一出，立即導致了平臺暫時性的“崩潰”，后來直到這場“惡作劇”被揭露，風波才過去。僵尸網站最早用于形容中國基層政府網站。后指那類長期沒人維護、信息長期不更新,沒有生機和活力且不被搜索引擎收錄的網站僵尸用戶是指那些沒有生命力的沉默用戶或者圍觀用戶2024/2/13447.3技術濫用案例自然語言處理的濫用-推特機器人賬戶佛羅里達大學新聞與傳播學院教授瓦德爾（FrankWaddell）表示說：“這些機器人制作的虛假信息過去在塑造公眾輿論方面非常有效，與一個正常用戶的推特賬戶相比，其發布的推文和分享已達到了一定的規模，再加之通過充分闡述自己的內容，它們有效的塑造了公眾輿論的本質?！痹洆蔚驴怂_斯州州長的佩里（RickPerry）的選戰主管約翰遜（RobJohnson）表示：“推特已經展示出其在政界不可撼動的地位，推特也改變了這個政治圈，未來我們只需要去推特上拿到一手新聞就可以了，它將會發揮更大的作用。”2012年美國總統大選中，推特經常會取代新聞，成為重要的、原始的消息首發地。推特在政界，可謂已成為“政界的幕后推動力”。據了解，當時總統候選人的競爭對手都會利用社交平臺去詆毀、抨擊對方，隨后，大量機器賬戶就會自動進行推文覆蓋至整個網絡，與此同時相應的政治記者也會第一時間從推特中獲取消息。機器人賬戶引爆的“推特炸彈”，有效地塑造了公眾輿論。66％的美國人都知道這些機器人存在，而且其中高達80％的人都認為這些機器人的目的“不純”，可能包括詆毀、具有傾向性及錯誤言論等。但盡管如此，大部分的美國人都不能準確地識別出哪些是“僵尸用戶”，調查顯示，只有47%的受訪者表示可能會識別出機器人，而其中僅有7%的人對“可以準確地識別出”表示肯定。美國民眾在社交平臺如此容易上當受騙已不再是一個小小風波，產生的影響會波及整個美國甚至是世界。2024/2/13457.3技術濫用案例自然語言處理的濫用-GPT2生成假新聞2019年2月，馬斯克倡導成立的AI研究機構OpenAI展示了一款自然語言處理模型GPT-2，該模型內部包含了15億個參數，在800萬個網頁數據集上訓練而成。GPT-2模型能夠根據人類給出的一些句子，編寫接下來的文本，同時在此基礎上，對整個文章細節進行補充。在模型公布新版本后，一些感興趣的研究人員對其進行了測試。他們試著把一條真新聞的內容放進模型，內容為：“搜狗正在打造AI語音仿人版，以后讀者可以聽到作者朗讀的有聲小說?！?/p>

GPT-2編寫了如下文字：“根據研究人員表示，這種閱讀方式的創意來源于Kindle用戶。同時，一部分安卓用戶也表達了同樣的需求。以下有三個原因可以解答為何他們需要這項服務。首先，使用這些設備的用戶，和傳統的電腦上閱讀者的習慣不同……未來，當讀者使用該功能時，可能會真的以為作者們在為他們朗讀小說。”將“四月間，天氣寒冷晴朗，鐘敲了十三下?！币约啊兑痪虐怂摹愤@個著名的開頭輸入到模型后，GPT-2模型識別出了這種模糊的未來派小說基調，開始了創作：“我開車去西雅圖找一份新工作。我給車加好汽油，插入鑰匙，然后讓它跑起來。我想象著那一天會是什么樣。一百年后的今天，那是2045年，我在中國貧困地區的一所學校當老師，教授中國歷史和科學史?！毖芯咳藛T提供如下信息：“一節裝載受控核材料的火車車廂今天在辛辛那提被盜，下落不明。”以此作為基礎，GPT-2模型編寫出了由7個段落組成的新聞，軟件還引述政府官員的話語，只是這些信息全是假的。2024/2/13467.3技術濫用案例自然語言處理的濫用-GPT2生成假新聞GPT-2模型還可以生成一些突發的假新聞，如：“在唐納德特朗普不小心向空中發射導彈后，俄羅斯已向美國宣戰?！薄岸砹_斯表示已經‘確定了導彈的軌跡，并將采取必要措施確保俄羅斯人民和國家戰略核力量的安全’。白宮表示，它‘對俄羅斯違反’禁止中程彈道導彈的條約‘極為關切’?！薄白?014年莫斯科吞并烏克蘭的克里米亞地區并支持烏克蘭東部的分離主義分子以來，美國和俄羅斯的關系一直不穩定?！笔聦嵣?，這些新聞不僅是假的，而且是一個令人不安的例子，說明了人工智能如何欺騙我們。那是因為它不是一個人寫的，而是由算法自動生成的，其中包含“在唐納德特朗普意外地……之后俄羅斯對美國宣戰……”，該程序自行補充了故事的其余部分。它可以就你提供的任何主題制作看似逼真的新聞報道。從GPT-2續寫的內容中，可以看出它具有很強的邏輯能力，能找到輔助資料對新聞進行補充，整個短訊也足夠完整。一家科技網站的記者對此結果感到害怕，他認為這項技術代表著壞人可以操縱他人，在他看來，這甚至比任何槍支還要危險。在虛假信息正在蔓延并威脅全球的背景下，一個擅長制造假新聞的“高材生”很難不被聲討。早在2019年2月之時，就已經有許多人對GPT-2表示了擔憂。在這個原本就信息爆炸，人們越來越難分清信息真假的年代，GPT-2可以毫無違和融入進去。如果它真的能獨立、完整地書寫各類新聞，由誰使用它就變得尤為重要。如果使用者居心不良，它可以發表極端言論，偽造內容，成為引導輿論的政治工具?？梢韵胂?，這種擅長合理遣詞造句的算法，能按需生成大量的仇恨語言和暴力言論。GPT-2也能用來生成具有誤導性的新聞報道、自動生成垃圾郵件、偽造內容發布到社交媒體上。2024/2/13477.3技術濫用案例生物識別技術的濫用-DNA重繪面部2015年夏天，香港大街上的廣告牌貼滿了真人大小的特定人物面孔海報，這些海報不是照片，而是由計算機生成的近似圖像。生物特征識別軟件通過從口香糖和煙頭等垃圾碎片中提取的DNA重建了這些人的面部，并產生了足夠的數據來計算出種族、臉型、眼睛、頭發和膚色等特征，還有雀斑。該項目是一項旨在提高人們對城市亂扔垃圾問題認識的廣告活動，由廣告公司奧美集團（Ogilvy&Mather）設計。雖然該項目的出發點是善意的，但它揭示了更嚴重的技術濫用問題——你的生物識別數據是你擁有的最個人化的數據，但越來越多的私人公司將其用于商業目的。DNA一直以來都是“刑偵利器”。最常見用途就是比對嫌疑人和犯罪現場證據的DNA，此外還有“追蹤嫌疑人”功能。各個國家或地區都建有自己的DNA庫，追蹤嫌疑人時只需要將嫌疑人的DNA與庫中DNA相匹配以溯源家族，便能尋找嫌疑人的親屬。2024/2/13487.3技術濫用案例生物識別技術的濫用-DNA重繪面部ParabonNanolabs是世界上最著名的法醫遺傳公司，該公司成立于2008年，最初是提供超級計算服務。2011年，這家公司便獲得了美國國防部的撥款。當時國防部想開發一種技術：從炸彈殘留的少量DNA中識別出該爆炸裝置的制造者，該技術被稱為“DNA表型分析”。大多數研究DNA表型技術的實驗室都在試圖尋找一個人的遺傳密碼的單個字母變化（單核苷酸多態性）與眼睛、頭發、顏色等物理特征的關系。這種辦法只能獲得嫌疑人的特征點