l大數據警務應用l大數據面臨的安全威脅與挑戰l大數據安全框架及安全技術UCLA的ThomasW.Gillespie跟JohnA.Agnew兩位地理系教授帶領另外五位學生共同完成。他們應用GoogleEarth以及一般用來預測空間互動、動物遷徙路徑跟植物散布區位的理論，對本拉登的數據進行分析。這兩個理論分別是距離衰退理論(Distance-decayTheory)跟島嶼生物地理學理論(IslandBiogeographyTheory)。根據這兩個理論，研究團隊認為本拉登不可能離開根據地太遠，也不會離群索居，而是會住在城市里。本拉登藏匿點的“可能性模型”個人特征數據、生活習慣數據、生活環境數據、建筑物特征數據、以及其他助數據使用夜間燈光影像對巴基斯坦聯邦直轄部落地區的城市島進行分析預測的三個建筑物-巴基斯坦Kurram區Parachinar（巴勒吉納爾）本拉登實際藏匿點—巴基斯坦阿伯塔巴德合適的數據挖掘技術、建模、分析能在海量的數據中發掘一些重要的非常有價值的情報PayPal創始人之一、Facebook早在2004聯合創立美國軍方和情報部門：防恐美國衛生部門：鑒別醫療保險詐騙聯邦調查局：刑事調查國土安全部：監視、篩選可疑移民......u結構化信息：戶籍信息、高鐵、民航、住宿、網u公安物聯網的實時感知設備數據：卡口、電警、視頻監控、電子圍欄、網絡圍欄、犯罪打擊、交通治理、安全防控、智慧警務、犯罪預測人流、物流、資金流、信息流相互交錯融合...人流、物流、資金流、信息流相互交錯融合...u多樣性u實時性要求高u結構化數據和非結構化數據u語義分析難度大2002年，電影《少數派報告》上映的時候，預測犯罪還只是科幻小說里的情節而已。對于犯罪分子來說，警察現在，這些曾經的科幻小說的情節逐《少數派報告》1.基于大數據的犯罪時空預測根據已發犯罪的時空位置信息，利用大數據技術，結合其它地物（如人口空間分布、商業區）?熱點很多、案件似乎隨機發生…?警力‘跟’著警情走…2.基于大數據的犯罪行為預測即犯罪模式預測即犯罪模式預測，是指利用犯罪行為數據預測可能發生的犯罪行為。利用大數據技術對犯罪行為數據進行分析，發現彼此之間的相關性和差異性，預測某類犯罪行為是否爆發，預測系英國萊薩特大學的MinerAuthority項目3.基于大數據的犯罪者預測根據人員的背景知識、活動軌跡、行為特征等數據，預測是否為犯罪者，或者實施犯罪的可能性，即提前發現犯罪者，4.基于大數據的預測警務通過對大數據的智能分析，幫助自動識別可能目標，提高警方干預效率，從而實現降低犯罪率或提升破案率的目標l大數據警務應用l大數據面臨的安全威脅與挑戰l大數據安全框架及安全技術（1）網絡化社會使大數據易成為攻擊目標（2）大數據濫用風險（3）大數據誤用風險數據挖掘和分析等大數據技術可被用于實施網絡攻擊，黑客可以發起高級可持續威脅（AdvancedPersistentThreat，APT）攻擊。通過將高級可持續威脅攻擊代碼嵌入隱藏在大數據中，利用大數據技術發起僵尸網絡攻擊，能夠控制海量傀儡機進而發起更大規模的網絡攻擊，嚴重威脅網絡信息安全。二、安全挑戰1.個人隱私保護大數據時代1.個人隱私保護大數據時代，數據無處不在，各種數據積累起來后形成了多元數據關聯，不法分子和別有用心的人可通過多元數據關聯分析導致個人隱私信息泄露。如何有效保護個人隱私是大數據安全面臨的第一個重要問題。常見的挑戰有，數據具有易復制性，發生數據安全事件后，無法進行有效的追溯和審計；大數據有流動、共享的需求，大量數據的匯聚傳輸加大了數據泄露的風險，一旦敏感數據流向境外，國家安全、社會穩定及人民生活等必然受到影響。二、安全挑戰大數據時代大數據時代，存在大量未知的用戶和大量未知的數據，有很多用戶的身份并不清楚，雖然該用戶注冊了賬戶，但是并不清楚具體身份，所以設置角色和設置角色的權限方面也存在安全隱患。大數據海量、多源、異構、動態的特征，導致大數據系統存儲和處理過程更加復雜，同時，我們需要大數據系統做到系統平臺開放、分布式計算以及高效精準的服務，這些特殊需求采用傳統安全方案不能得到保障。l大數據警務應用l大數據面臨的安全威脅與挑戰l大數據安全框架及安全技術特定的數據所經歷的生命周期由實際的業務場景所決定特定的數據所經歷的生命周期由實際的業務場景所決定，并非所有的數據都會完整經歷6個階段?？棛C構內部系統中生成的數據也包含組織機構從外數據采集技術：對數據進行抽?。‥xtract）、轉換（Transform）和加載（Load），最終挖掘數據的潛在價值，也稱對數據進行ETL（ExtractTransformLoad）操作。（1）數據采集是數據生命周期的重要一環，通過傳感器數據、社交網絡數據、互聯網數據等不同來源獲取結構化、半結構化及非結構化的海量數據。（2）新的數據產生或現有數據內容發生顯著改變或更新的階段。對于組織機構而言，數據的采集既包含在組織機構內部系統中生成的數據，也包含組織機構從外部采集的數據。（3）數據采集范圍的分類可包括：語音數據、圖片數據、視頻數據、用戶上網行為、設備地理位置信息、業務或管理系統日志、可穿戴設備等生活信息、網站信息等。數據采集技術傳統企業：關系型數據庫MySQL和Oracle等來存儲數據大數據時代：Redis、MongoDB和HBase等NoSQL數據庫（2）系統日志采集系統日志采集主要是收集公司業務平臺日常產生的大量日志數據，供離線和在線的大數據分析系統使用。目前，使用最廣泛的、用于系統日志采集的海量數據采集工具主要有Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe和LinkedIn的網絡數據采集是指通過網絡爬蟲或網站公開API等方式從網站上獲取數據信息的過程。該方法可以將非結構化數據從網頁中抽取出來，將其存儲為統一的本地數據文件，并以結構化的方式存儲。常用的網絡爬蟲工具分為3類：一是分布式網絡爬蟲工具，如Nutch；二是Java網絡爬蟲工具，如Crawler4j、WebMagic、WebCollector等；三是非Java網絡爬蟲工具，如Scrapy。（4）感知設備數據采集感知設備數據采集是指通過傳感器、攝像頭和其他智能終端自動采集信號、圖片或錄像來獲取數據。其關鍵技術包括針對大數據源的智能識別、感知、適配、傳輸、接入等。數據采集階段中的安全威脅主要體現在以下5數據的違規采集：1.過度收集、濫用個人信息2.未公開收集、使用規則3.未明示收集使用個人信息的目的、方式和范圍4.未經用戶同意收集使用個人信息5.竊取或者以其他非法方式獲取個人信息（1）數據分類分級數據分類分級是數據采集階段的基礎工作，也是整個數據安全生命周期中最基礎的工作，它是數據安全防護和管理中各種策略制定、制度落實的依據和附著點。個人信息、公共數據、法人數據、衍生數據、重個人信息、公共數據、法人數據、衍生數據、重要數據、國家核心數據、產識別、數據分類確定、數據定級判定、審據分類規則參考示例（基于數據主體視角）數據分級規則參考示例數據級別級別定義傳播范圍公開級數據一旦遭到篡改、破壞、泄露或者非法獲取、非法利用，可能對個人合法權益、組織合法權益造成輕微危害，但不會危害國家安全、公共利益。公開級數據具有公共傳播屬性，可對外公開發布、轉發傳播，但也需考慮公開的數據量及類別，避免由于類別較多或者數量過大被用于關聯分析。數據一旦遭到篡改、破壞、泄露或者非法獲取、非法利用，可能對個人合法權益、組織合法權益造成一般危害，或者對公共利益造成輕微危害，但不會危害國家安全。內部級數據通常在組織內部、關聯方共享和使用，相關方授權后可向組織外部共享。敏感級數據一旦遭到篡改、破壞、泄露或者非法獲取、非法利用，可能對個人合法權益、組織合法權益造成嚴重危害，或者對公共利益造成一般危害，但不會危害國家安全。敏感級數據僅能由授權的內部機構或人員訪問，如果要將數據共享到外部，需要滿足相關條件并獲得相關方的授權。重要級數據一旦遭到篡改、破壞、泄露或者非法獲取、非法利用，可能對個人合法權益、組織合法權益造成特別嚴重危害，可能對公共利益造成嚴重危害，或者對國家安全造成輕微或一般危害。重要級數據按照批準的授權列表嚴格管理，僅能在受控范圍內經過嚴格審批、評估后才可共享或傳播。核心級數據一旦遭到篡改、破壞、泄露或者非法獲取、非法利用，可能對國家安全造成嚴重或特別嚴重危害，或對公共利益造成特別嚴重危害。核心級數據禁止對外共享或傳播。確保滿足數據源的真實性、有效性等原則要求,并明確數據采集渠道、規范數據格式以（3）數據源鑒別及記錄指對產生數據的數據源進行身份鑒別和記錄，防止數據仿冒和數據偽造。u數據源鑒別對收集或產生數據的來源進行身份識別的一u數據源記錄對采集的數據需要進行數據來源的標識，以便在必要時對數據源進行追蹤和溯源。主u數據質量維度：完整性、規范性、一致性、準確性、唯一性、關聯性u數據質量校驗：人工對比、程序對比、統計分析u數據清洗：缺失值處理、重復值處理、異常值處理、不一致值處理、丟失關聯值處理數據傳輸指采集后的數據通過數據通道傳輸的過程。數據源集中存儲的數據發生變化后，也能通過數據通道盡快地通知對數據敏感的相應應用或者系統構建，使得它們能夠盡快的捕獲數據的變化。（1）消息隊列涉及大規模分布式系統時經常使用的中間件產品，主要解決日志搜集，應用耦合，異步消息，流量削鋒等問題實現高性能、高可用、可伸縮和最終一致性架構。（2）數據同步為了準確、高效地把MySQL數據同步到數據倉庫中，常用的解決方案是批量獲取數據并加載。數據同步解決各個數據源之間穩定高效的數據同步功能。（3）數據訂閱數據訂閱功能旨在幫助用戶獲取實時增量數據，用戶能夠根據自身業務需求自由選擇增量數據。（4）序列化序列化是將對象的狀態信息轉換為可以存儲或傳輸的形式的過程。數據序列化用于模塊通訊時，將對象序列化為通信流，高效的傳輸到另一個模塊，并提供反序列化還原數據。數據傳輸安全威脅數據傳輸安全包括數據傳輸加密和網絡可用性管理兩個方面。數據存儲指非動態數據以任何數字格式進行物理存儲的階段。根據數據重要性不同，對存儲量、時效性、讀寫查詢性能等差異性要求，應當選擇合適的存儲技術，存儲技術分類有傳統關系數據庫、分布式關系數據庫、NoSQL存儲、消息系統、文件系統等。數據存儲安全威脅：數據池服務器存在安全風險，缺少安全防護策略，存在被黑客利用的風險，如拖庫和外部SQL注入等；數據明文存儲或者未進行脫敏處理，有被泄露和利用的風險；對存儲數據的訪問，缺少統一訪問控制及相關身份認證；缺少數據容災備份機制，沒有定期計劃的數據備份和恢復，會對數據可用性產生威脅；存儲介質使用不當而引發數據泄露，因介質損壞、故障、壽命有限等問題導致數據丟失；網絡架構設計不合理，未對存儲的重要敏感數據進行物理隔離或者邏輯隔離。安全基線核查分布式文件系統：GFS、HDFS云存儲：AmazonS3、對象存儲OSS數據處理是數據生命周期的核心是數據處理，從數據中挖掘出高價值信息為實際場景所用，是大數據價值的體現。數據處理安全威脅（1）未對敏感數據脫敏處理，導致敏感數據泄露；（2）數據不當使用，導致國家秘密、商業秘密和個人隱私泄露，數據資源被用于不當目的；（3）數據處理過程中缺少控制管理，數據計算、開發平臺不統一，易遭受網絡攻擊；（4）數據處理過程中使用的機器學習算法存在安全問題，容易受到對抗樣本等攻擊。1、同態加密（HomomorphicEncryption）同態加密源于隱私同態，從誕生到現在經歷了30多年，尚未有統一的分類標準，按照其發展階段、支持密文運算的種類和次數可將其分為：（2）類同態加密（SomewhatHomomorphicEncry部分同態加密（PHE）僅支持單一類型的密文域同態運算（加或乘同態）；類同態加密（SHE）能夠支持密文域有限次數的加法和乘法同態運算；全同態加密（FHE）能夠實現任意次密文的加、乘同態運算。同態加密的應用用戶想實現字符串的連接操作，但又不想把連接的兩個字符串內容泄露給服務器。用戶使用凱撒密碼進行字母替代加密，移位長度為13，將字符串HELLO和WORLD加密后的結果URYYB和JBEYQ發送給服務器端，服務器端將字符串連接的結果URYYBJBEYQ發送給用戶，用戶利用凱撒密碼解密獲得字符串的連接結果HELLOWORLD。同態加密為云計算環境中的存儲與外包計算等服務的隱私安全問題提供了良好的解決方案，理論上利用全同態加密算法能夠從根本上解決在第三方不可信或半可信平臺上進行數據存儲和數據操作時的隱私保護問題。2、安全多方計算（SecureMuti-partyComputati一群人怎樣才能計算出他們的平均薪水而又不讓任何人知道其（1）Alice在她的薪水上加一個秘密的隨機數，并把結果用Bob的公鑰加密，然后把它送給Bob。（2）Bob用他的私鑰對Alice的結果解密。他把他的薪水和他從Alice那里收到的結果相加，用Carol的公鑰對結果加密，并把它送給Carol。（3）Carol用她的私鑰對Bob的結果解密。她把她的薪水和她從Bob那里收到的結果相加，再用Dave的公鑰對結果加密，并把它送給Dave。（4）Dave用他的私鑰對Carol的結果解密。他把他的薪水和他從Carol那里收到的結果相加，再用Alice的公鑰對結果加密，并把它送給Alice。（5）Alice用她的私鑰對Dave的結果解密。她減去第一步中的隨機數以恢復每個人薪水之總和。（6）Alice把這個結果除以人數（這里是4并宣布結果。安全多方計算模型安全多方計算作為密碼學的一個子領域，其允許多個數據所有者在互不信任的情況下進行協同計算，輸出計算結果，并保證任何一方均無法得到除應得的計算結果之外的其他任何信息。換句話說，安全多方計算可以讓用戶獲取數據使用價值，安全多方計算實現方式（1）混淆電路將雙方需要計算的函數（所需參數為雙方各自的輸入信息）轉化為“加密電路”的形式，該“加密電路”可以保證雙方在不泄露各自輸入信息的情況下，正確地計算出函數的結果?！凹用茈娐贰钡脑O計是混淆電路方法的研究重點和難點。（2）秘密共享秘密共享是指通過將秘密值分割為隨機多份，并將這些份（或稱共享內容）分發給不同方來隱藏秘密值的一種概念。因此，每一方只能擁有一個通過共享得到的值即秘密值的一小部分。根據具體的使用場合，需要所有或一定數量的共享數值來重新構造原始的秘密值。3、聯邦學習旨在建立一個基于分布數據集的聯邦學習模型。聯邦學習包括兩個過程，分別是模型訓練和模型推理。在模型訓練的過程中，模型相關的信息能夠在各方之間交換（或者是以加密形式進行交換），但數據不能。這一交換不會暴露每個站點上數據的任何受保護的隱私部分。已訓練好的聯邦學習模型可以置于聯邦學習系統的各參與方，也可以在多方之間共享。聯邦學習的系統架構帶有中心服務器的C/S架構對等網絡（P2P）架構環狀（Ring）架構聯邦學習分類FederatedLearning或Example-Learning），可以應用于聯邦學習的各個參與方的數據集有相同的特征空間和不同的樣本空間的場景，類似于在表格視圖中對數據進行水平劃分的情u縱向聯邦學習把在數據集上具有相同的樣本空間、不同的特征空間的參與方所組成的聯邦學習VFL），也可以理解為按特征劃分的聯邦學習。u聯邦遷移學習對橫向聯邦學習和縱向聯邦學習的補充，針對的是數據集的用戶和特征均重疊較少的情況，這時可以采用遷移學習技術提供聯合整個樣本和特征空間的解決方案。聯邦學習應用聯邦學習+車險出險概率預測u聯邦學習+疾病風險預測私有信息檢索是為了保障個人隱私在公共網絡平臺上的私密性而采用的一種阻止數據庫知曉用戶查詢信息的策略。PIR是指用戶在不泄露自己的查詢信息給數據庫的前提下，完成對數據庫的查詢操作。應用廣泛：醫療大數據、位置大數據、金融大數據......兩種PIR協議PIR問題涉及用戶方和服務器方，研究者通常把該問題形式化以方便研解決該問題的思路主要分為兩大類：u基于信息論的私有信息檢索協議u基于計算性的私有信息檢索協議1、基本安全機制uSimple機制：JAAS協議與DelegationToken結合的一種機制，JAAS提供JAVA認證與授權服務。uKerberos機制：基于認證服務器的一種方式uRPC安全機制uHDFS安全機制uMapReduce安全機制u系統安全工具：Ganglia、Nagios、Ambariu安全技術工具：ApacheSentry、ApacheRanger2、靜態數據加密uHDFS透明加密uMapReduce中間數據加密uImpala磁盤溢出加密u磁盤加密u加密文件系統（1）HDFS透明加密是一種端到端的加密模式，加密和解密過程對于客戶端來說是完全透明的。?加密區域密鑰（EncryptionZ?數據加密密鑰（DataEncrypti?加密數據加密密鑰（EncryptedDataEncryptio?解密時，客戶端詢問KMS服務去解密EDEK（KM），創建加密文件HDFS客戶端Client向HDFS加密區中寫入一個新文件的過程：創建加密文件HDFS客戶端Client向HDFS加密區中寫入一個新文件的過程：（2）NameNode請求KMS使用給定的加密區密鑰版本“EZK-id/version”創建一個EDEK；KMS使用EZK對DEK進行加密生成E（10）客戶端Client使用DEK加密數據，并向DataNode讀取加密文件HDFS客戶端Client讀取HDFS加密區中加密文件的過程：（1）客戶端Client打開文件；（2）NameNode將EDEK發送給客戶端Client；（3）客戶端Client將EDEK和加密區密鑰版本“EZK-id/version”發送給KMS，請求KMS對EDEK解密；（4）KMS向keyserver請求EZK，并對EDEK解（5）KMS將解密后的DEK發送給客戶端Client；（6）客戶端Client讀取DataNode中的加密數據，并使用DEK解密。mapreduce.job.encrypted-intermediatmapreduce.job.encrypted-intermediate-datmapreduce.job.encrypted-intermedisk_spill_encryptionfalse該值為true時，開啟對隊伍中溢出到磁盤的所有數據加密。disk_spill_integrit