大數據平安前十大挑戰

杭州安恒信息技術

楊永清Ppt制作：周吉大數據平安－前十大挑戰1.分布式編程框架中的平安計算2.非關系數據存儲的平安最正確實踐3.數據存儲平安和事務日志平安4.終端輸入驗證/過濾5.實時平安監控6.隱私保護的數據挖掘和分析的可擴展性和可組合性7.加密強制數據中心平安8.細粒度的訪問控制9.細粒度的審計10.數據起源1：分布式編程框架中的平安計算分布式編程框架存儲并行計算處理海量數據方式第一階段，每個塊的Mapper讀取數據，執行一些計算，并輸出一個鍵/值對的列表Reducer結合了屬于每個不同的鍵的值，并輸出該結果。有兩個主要的攻擊防范措施：1、加固mappers2、當存在不可信mapper時保護數據1：分布式編程框架中的平安計算－用例標題內容用例不可信的mappers可以被改變來窺探請求，改變MapReduce的腳本，或改變結果。數據映射器可能包含有意或無意的泄漏。1：分布式編程框架中的平安計算－用例主要場景mappers的威脅模型計算工作節點失靈基礎設施的攻擊偽數據節點2：非關系數據存儲的平安最正確實踐每個NoSQL數據庫的建立是為了應對分析世界形成的不同的挑戰，平安從來沒有在設計階段處理。使用NoSQL數據庫的開發人員通常在中間件中嵌入平安。NoSQL數據庫在數據庫中不提供顯示強制平安的任何支持。然而，NoSQL數據庫在集群方面對平安實踐的魯棒性帶來了額外的挑戰。2：非關系數據存儲的平安最正確實踐－用例對廣泛使用的NoSQL數據庫使用威脅建模技術做詳細威脅分析導出的威脅樹表明，NoSQL數據庫相比傳統的RDB來說只有一個非常薄的安全層。在一般情況下，NoSQL數據庫的安全理念，依賴于外部執行機制。為了減少安全事故，公司必須檢查中間件的安全策略，同時加固NoSQL數據庫本身，在不影響其操作功能的情況下使其能夠比得上安全的RDB。分析提供為服務（AaaS）情況下，幾個用戶共享框架。當前的NoSQL的安全機制，幾乎是不可能分隔共享框架的內部NoSQL數據庫的不同的云用戶有關的敏感數據。122：非關系數據存儲的平安最正確實踐－建模建模事務完整性低效的授權機制松懈的身份驗證機制注入攻擊敏感性缺乏一致性內部攻擊2：非關系數據存儲的平安最正確實踐－建模本數據的完整性需要通過應用程序或中間件層實施。在存儲和傳輸中使用密文。NoSQL的架構應該支持可插拔認證模塊以具備環境需求的所有級別安全實施。跨集群通信也應該得到更好的控制，使每個節點都可以驗證其他參與節點的信任級別適當的日志機制和模糊測試方法數據標記技術2：非關系數據存儲的平安最正確實踐－實現1將NoSQL隱藏在中間件的安全包裝下或使用像Hadoop框架來訪問NoSQL，可以在NoSQL外圍創建一個虛擬的安全層2作為脆弱的NoSQL數據的一種替代，加密提供了更好的保護。3：數據存儲和事務日志平安新的機制需要阻止非授權訪問并保持持續可用性。自動分層解決方案不要求追蹤數據的存儲位置，而這對數據存儲平安提出了新的挑戰。3：數據存儲和事務日志平安－用例自動分層存儲系統將很少使用的數據存儲到一個較低（更便宜）的層次來節省廠商的錢。然而，這個數據可能由不經常訪問的重要信息（如研發成果）組成。由于較低的層次往往將安全簡化，公司應仔細研究分層策略。元數據，即文本日志，引入了另一個需要加以保護的維度。日志中毒攻擊將有可能導致數據不一致和用戶之間的糾紛。3：數據存儲和事務日志平安－建模建模保密性和完整性出處可用性一致性勾結攻擊回退攻擊爭議3：數據存儲和事務日志平安－分析機密性和完整性，可以用強大的加密技術和消息摘要來實現。可以用來交換簽名的消息摘要，以解決潛在的糾紛。通過定期審計和哈希鏈或持久認證詞典〔PAD〕可以解決用戶的新鮮度和可串行寫。平安不可信的數據倉庫〔SUNDR〕可以用來檢測復制一致性攻擊和可串行化。兩個“無鎖〞的協議，線性和并發，已經被提議解決單寫多讀〔SWMR〕的問題。然而，SWMR情況相關的問題，超出了本文的范圍。播送加密和密鑰輪換可以用來提高可擴展性。研究人員已經提議處理出處問題[22]的技術。通過可恢復證明〔POR〕或可證明的數據占有〔PDP〕以很高的概率,提高數據的可用性。勾結攻擊方面，只要用戶不交換私人密鑰，基于策略的加密系統〔PBES〕可以成功地保證無勾結的環境。如果用戶愿意交換自己的私人密鑰不交換解密的內容，仲裁解密系統可防止勾結攻擊。如果用戶愿意交換解密的內容，數字版權管理可以防止勾結攻擊。最近兩個不可抵賴性協議已經被提議解決有爭議的問題，。分析3：數據存儲和事務日志平安－實現

23需要關注3個問題隱私保護加密數據的安全操作動態數據操作14：終端輸入驗證/過濾我們怎么能信任數據？我們怎樣才能驗證，輸入數據源是不是惡意？我們又如何從我們收集的數據中過濾惡意輸入？4：終端輸入驗證/過濾－建模對手可能篡改收集數據的設備，或可能篡改在設備上運行的數據收集應用程序，提供惡意輸入到一個中央數據收集系統。操縱輸入源對手可能會危害良性源傳輸到中央收集系統的數據〔例如，通過執行中間人攻擊或重放攻擊〕。對手可能會對一個數據采集系統執行ID克隆攻擊〔如Sybil攻擊〕12344：終端輸入驗證/過濾－分析1防止入侵者生成并發送惡意輸入到中央收集系統的解決方案2如果對手成功輸入惡意數據，在中央系統檢測和過濾惡意輸入的解決方案。4：終端輸入驗證/過濾－實現識別Sybil攻擊和ID欺騙攻擊，然后找出符合本錢效益的方式來減輕攻擊采取最大的小心來開發平安的數據采集平臺和應用，特別考慮BYOD情景中，將運行在不可信設備上。

在中央收集系統開發算法來檢測并過濾惡意輸入

5：實時平安監控使用相同的根底設施來數據分析監控大數據根底架構本身可以利用大數據技術大量誤報兩個主要的角度挑戰5：實時平安監控－建模～每個組件的安全性～安全集成這些組件●生態系統安全性●規避攻擊和數據中毒攻擊●其他障礙（法律法規等）5：實時平安監控－實現Hadoop中沒有內置的平安監控和分析工具，不同的Hadoop供給商正在開發和宣布前端系統監控Hadoop的請求實時監控的解決方案和框架〔如NIST的平安內容自動化協議〔SCAP〕〕正在慢慢進入大數據領域實時流：Storm〔〕和ApacheKafka6：隱私保護的數據挖掘和分析的可擴展性和可組合性－建模123●大數據存儲所在公司的內部員工可以濫用她的訪問級別和侵犯隱私政策●一個不受信任的合作伙伴可以濫用他們對數據的訪問權限來推斷用戶的私人信息●共享數據可以被重新識別6：隱私保護的數據挖掘和分析的可擴展性和可組合性－分析通過連續監控來進行濫用的檢測和阻止差分隱私差分隱私6：隱私保護的數據挖掘和分析的可擴展性和可組合性－實現靜態數據加密，訪問控制和授權機制；軟件補丁責任別離和訪問日志紀錄匿名數據可以重新識別7：加密強制數據中心平安有兩個根本不同的方式來控制不同的實體〔如個人，組織和系統〕對數據的可見性。第一種方法通過限制訪問底層系統來控制數據的可見性，如操作系統或虛擬機。第二種方法數據本身封裝在加密的保護殼中。7：加密強制數據中心平安－用例從源頭去限定數據的可見性正變得越來越重要對加密數據進行索引，分析和有意義的處理。確保數據的完整性。7：加密強制數據中心平安－建模

建模使用加密的密碼強制訪問控制方法，對手應該不能通過看密文識別對應的明文對于搜索和過濾加密數據的加密協議，對手除了相應的謂詞是否滿足應該不能再學到任何東西對于加密協議，用于對加密數據的計算中，對手不能通過看密文來識別相應的明文數據對于加密協議，確保數據來自確定來源的完整性

7：加密強制數據中心平安－分析1234●基于身份和屬性的加密方法使用加密技術進行強制訪問控制●oneh和Waters構建一個公鑰系統，支持比較查詢，子查詢和此類查詢的任意結合。●2021年，Gentry建成首個全同態加密方案●群簽名使個別實體簽上自己的數據，但對公眾來說只能看到組信息。只有受信任的第三方，可以查出個人的身份。7：加密強制數據中心平安－實現目前實現基于身份/屬性加密方案和群簽名的算法使用橢圓曲線組，支持雙線性配對圖。這使得組元素的表示稍大。此外，配對操作是計算昂貴的。Gentry原來構建完全同態加密〔FHE〕方案采用多項式環的理想格。雖然格子構建并不十分低效，FHE的計算開銷還遠遠實用。研究正在進行，以找到更簡單的結構，效率的提高和局部同態方案滿足特定的功能。8：細粒度訪問控制粗粒度的訪問機制的問題是，本來可以共享的數據常常被歸到一個更嚴格的類別以保證良好的平安性。細粒度的訪問控制使數據管理者可以更精確地共享數據，而不影響保密。8：細粒度訪問控制－建模跟蹤單個數據元素的保密要求跟蹤用戶的角色和權限正確實施強制訪問控制的保密要求8：細粒度訪問控制－分析盡可能在根底設施層實現，并適應標準和實踐給定域選擇其所需的適當的粒度水平8：細粒度訪問控制－實現實施細粒度的平安訪問，需要跨越大數據生態系統的元素。跟數據一起用于跟蹤訪問限制的協議是必要的，應該在存儲系統中實現，如HDFS和NoSQL數據庫。ApacheAccumulo是支持成熟的，單元級的訪問控制的NoSQL數據庫。9：細粒度審計合規性要求〔例如，PCI，薩班斯-奧克斯利法案〕，要求金融企業提供細粒度的審計記錄。銷售公司要訪問個人的社交媒體信息來優化在線廣告的部署。9：細粒度審計－建模及時獲取審計信息信息的的完整性，審計信息沒有被篡改所需的審計信息的完全性t授權審計信息的訪問主要因素9：細粒度審計－實現取證或SIEM工具收集，分析和處理這些信息從單個組件級別開始實施創立審核層/Orchestrator10：數據起源－用例幾個關鍵的平安應用要求數字記錄，例如，有關其產生的詳細情況。例子包括金融公司檢測內幕交易或確定研究調查的數據