1、YY直播應用大數據決勝安全對抗的實踐第1頁，共36頁。大數據安全對抗應用背景大數據分析在DDOS對抗中的應用大數據分析在機器人外掛識別中的應用1235第2頁，共36頁。大數據讓YY安全防御體系從“溫飽”過渡到“小康”第3頁，共36頁。歡聚時代(YY)直播業務 - 娛樂&游戲&教育第4頁，共36頁。DDOS攻擊滲透入侵外掛業務破壞逆向破解盜號盜Y幣面臨的安全威脅第5頁，共36頁。對抗技術演進攻擊、入侵、滲透等顯著特征模糊識別精 TEXT 別ADD CONTENTS確識從“精確的模式特征” 向 “模糊的模式特征”演進通過大數據分析、數據挖掘、實時計算等分析模糊特征第6頁，共36頁。第7頁，共36頁

2、。第8頁，共36頁。云防DDOS業務風控系統WAFKafka&Storm&Hadoop大數據(實時&離線)計算平臺(K-Means、Decision Tree、Apriori等)安全系統的log/message上報外掛對抗系統主機入侵檢測賬號安全系統計算結果在安全系統中應用業務系統(登陸、禮物、好友、搜索等)登陸、支付等協議數據上報計算分析結果:(IP畫像庫、設備畫像庫等)基線歷史數據：bps/pps/qps/rt等基線數據大數據計算在平臺框架第9頁，共36頁。大數據安全對抗應用背景大數據分析在DDOS對抗中的應用大數據分析在機器人外掛識別中的應用12345第10頁，共36頁。第11頁，共36

3、頁?；趕rc_ip頻率模式基于報文特征頻率模式src_ip的散列度&歸屬地報文的重復度攻擊報文聚類挖掘機器學習報文特征IP畫像庫大數據流量模型機器學習防御DDOS技術演進畸形報文特征非法填充報文特征黑名單攻擊報文特征白名單指紋特征Syn cookie等人機挑戰第12頁，共36頁。（1）機器學習報文提取特征；（2）大數據分析疑似的攻擊源ip；（3）基于大數據IP進行“柔性可活”人機挑戰和對抗；（4）基于歷史大數據學習單ip響應延時數學分布;在DDOS防御中的應用場景（1）報文特征根據經驗輸入程序；（2）根據當前請求頻率分析攻擊源；（3）根據當前的請求src_ip對抗；（4）根據經驗預先“拍”閾

4、值；第13頁，共36頁。場景一：大數據分析在報文特征機器學習和攻擊源IP的識別云防DDOS檢測模塊云防DDOS清洗模塊服務器A服務器B服務器CC的攻擊流量清洗后C的流量A的正常流量B的正常流量鏡像或分光A,B,C所有流量核心交換機LVS+Nginx集群(WAF)C的流量被牽引到清洗設備正常用戶攻擊者大數據中心WAF處理Http協議CC攻擊第14頁，共36頁。鏡像流量攻擊檢測引擎流量回注交換機轉發流量到業務服務器發現攻擊BGP宣告路由流量清洗引擎攻擊？沒有攻擊大數據分析平臺第15頁，共36頁。云防DDOS在清洗比例低于閾值自動抓包第16頁，共36頁。解析報文并提取關鍵信息挖掘至長度為4字節的特征

5、，發現特征：74 55 42 02挖掘完畢，最長長度為4字節，共15個特征，目前以文件方式記錄云防DDOS實現基于DPDK自動抓包分析報文特征第17頁，共36頁。正文第46字節 第45字節 Vx，其中x指代數據包正文部分第x個字節惡意特征概率發現特征由于算法決定，特征串需要經過序號排列最終符合閱讀習慣，后續將根據調用特征的接口所需規范進行翻譯實際所指代的含義V40 V41 V42 V43 V44 V45 V46 V47 V48 V49 V5064 * 94 * * 32 67 * 26 16 e764 54 94 * * 32 67 * 26 16 *第18頁，共36頁。發現可疑IP寫文件記錄

6、可疑IP惡意顯著性抽查結果與惡意IP庫中已收錄IP相互印證云防DDOS在攻擊報文中識別惡意IP分析到第10個pcap文件將前述的Apriori算法改造，可用于大規模發現DDOS攻擊中的惡意IP第19頁，共36頁。.總包量40萬，源地址數量39萬，散列度極高99%的IP只發送一個數據包源地址表面接近，實則地理分布分散，海外地址比例過高，分別來源泰國，日本，韓國，澳大利亞，廣州，福州等地（目標服務器位于遼寧沈陽）不同位置的服務器訪問相同的目標服務器，TTL高度集中在同一水平（238）時間戳源地址目標地址包長 TTL 源端口 目的端口偽造源地址攻擊的樣本第20頁，共36頁。度量說明定義

7、正常訪問真實地址攻擊虛假地址攻擊時間窗口內源地址散列程度該度量隨正常訪問真實地址攻擊虛假地址攻擊顯著提升單位時間窗口內，互異的IP數量除以總的包數量小于10%稍高，約30%40%約90%相繼同源數據包比例虛假地址攻擊中該比例較正常訪問或真實地址攻擊大幅降低時間軸上相鄰兩個訪問數據包具有同源的數量除以總體相鄰數目高于10%約10%上下小于5%時間窗口內單包傳輸比例虛假IP地址幾乎不會重復使用，絕大部分虛假地址只會發送一個數據包統計各源IP發包數量，計算發送單包IP數量的占比90%以上大于190%以上大于190%以上是單包時間窗口內TTL均值及標準差虛假IP數據包通常設置TTL為255，且虛假IP

8、占絕大多數下，TTL均值趨于更大計算單位時間窗口內數據包TTL的均值和方差均值：約50多至60多標準差：小于30均值：約50多至110多標準差：大于30均值：大于200標準差：小于30IP與指定相鄰IP間組內距離*真實地址傾向頻繁出現，且通常來自相近地理位置，虛假地址則傾向隨機，分布不存在規律某一源地址，計算它與其后N個地址的平均距離普遍小于50100上下，通常小于200普遍超過300第21頁，共36頁。正常訪問或真實地址攻擊中：1.2.同一IP總是頻繁重復出現，相鄰距離較多出現0的情況由于負載均衡和網絡加速技術，目標服務器總是服務于相對固定區域的用戶而虛假地址攻擊中：1.2.幾乎不存在相鄰距

9、離為0的情況（虛假IP不會重復出現）訪問目標機器的IP呈現隨機化K相鄰IP組內距離概念第22頁，共36頁。正常樣本.5.源地址散列程度 ：0.028相繼同源IP比例：46%發包規模：90%以上29個包以上TTL均值 62，標準差1310個相鄰IP間距：79真實地址攻擊樣本.5.源地址散列程度 ：0.101相繼同源IP比例：8.5%發包規模：90%以上22個包以上TTL均值 51，標準差1410個相鄰IP間距：105虛假地址攻擊樣本.5.源地址散列程度 ：0.931相繼同源IP比例：3.0%發包規模：99%以上單包TTL均值 230，標準差3410個相鄰

10、IP間距：455第23頁，共36頁。IP相鄰間IP距離IP相鄰間IP距離K相鄰IP組內距離（K=10）真實地址樣本虛假地址樣本 100%國內地址 超過50%有在惡意IP庫收錄 同外掛和網絡代理維度匹配 （確認為真實地址） 約6%IP與惡意IP庫記錄重合 絕大部分海外地址第24頁，共36頁。大數據IP畫像在CC攻擊對抗中的應用場景檢測算法：（1）單src_ip的連接數超過閾值（舉例：200 QPS)；（2）后端業務服務器（tomcat)響應延時超時比例超過閾值(舉例：50%）；（3）后端業務服務器（tomcat)響應延時延遲比例閾值(舉例：8s以上30%）；防御算法：（1）人機挑戰(antico

11、okie-js)；（2）根據當前連接數，封src_ip top n 的http請求；應用大數據：（1）計算所有后端服務器(tomcat)響應nginx集群的響應的延時數學分布；（2）計算分析歷史單src_ip的連接數數學分布數據；（3）根據當前的連接數top n 同時結合IP畫像庫大數據，精確度更高；第25頁，共36頁。云防DDOS外掛對抗WAF防刷系統IP畫像數據分析移動安全加固反廣告過濾賬號安全系統秩序違規反向探測掃描IP畫像庫（1）探測開放代理端口（2）探測XX云主機（3）探測域名解析IP（4）探測IP歸屬地（5）探測運行路由服務IP畫像服務接口層提供IP畫像調用接口，返回IP惡意定級、

12、命中維度IP畫像庫大數據分析框架圖第26頁，共36頁。第27頁，共36頁。大數據安全對抗應用背景大數據分析在DDOS對抗中的應用大數據分析在機器人外掛識別中的應用12345第28頁，共36頁。第29頁，共36頁。第30頁，共36頁。正常用戶&行為惡意用戶&行為攻擊行為、入侵行為、滲透掃描行為、外掛機器人用戶等惡意特征明顯；正常用戶&行為特征明顯；大數據分析Storm/Hadoop大數據分析在用戶行為識別的應用第31頁，共36頁。設備畫像設備硬件信息設備環境信息IP畫像網絡信息黑產IP歷史地域信息用戶畫像行為模式惡意歷史信息登陸信息特征通訊協議特征進程埋點特征技術行為特征技術KafkaStorm

13、Hadoop數據挖掘分析機器人外掛對抗系統機器人用戶大數據識別框架設備運行信息對抗策略下發登陸服務對抗策略下發XXXX服務對抗策略下發頻道服務第32頁，共36頁。已知某條件概率，如何得到兩個事件交換后的概率，也就是在已知P(A|B)的情況下如何求得P(B|A) 。換成反外掛領域語言理解：已知外掛（非外掛）中uid的各特征組合的百分比，根據樸素貝葉斯定理，可求得當出現指定特征組合時，該特征視為外掛（非外掛）的概率第33頁，共36頁。分析1Confidence=0.5為例對這些序列計算密度函數正態分布指數分布第34頁，共36頁。分析2左圖是將不同的Confidence得到的序列的分布函數集中展現。橫軸是單個IP多開UID數量，縱軸是多開數量占總體數量的百分比。如圖中的黑圈，表示Confidence為0的情況下，一個IP登錄一個UID的情況占比超過90%。對應的紅圈位置，表明