修訂記錄課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEHC120330004UTMV3R1V1.0開發(fā)/優(yōu)化者時(shí)間審核人開發(fā)類型（新開發(fā)/優(yōu)化）余雷2012/08/24姚傳哲優(yōu)化本頁不打印第四章WEB過濾技術(shù)目標(biāo)學(xué)完本課程后，您將能夠:了解WEB過濾技術(shù)基礎(chǔ)知識(shí)；了解常見的WEB威脅；熟悉WEB過濾關(guān)鍵技術(shù)；掌握WEB過濾技術(shù)應(yīng)用。目錄WEB過濾技術(shù)概述WEB過濾關(guān)鍵技術(shù)WEB過濾技術(shù)應(yīng)用WEB過濾技術(shù)WEB過濾技術(shù)是一種針對(duì)WEB漏洞、WEB分類等進(jìn)行深度檢測(cè)然后進(jìn)行訪問控制的安全上網(wǎng)管理技術(shù)，包括：URL過濾搜索關(guān)鍵字過濾基于WEB內(nèi)容過濾惡意網(wǎng)頁URL過濾WEB相關(guān)威脅及問題僵尸和病毒等威脅賬號(hào)、密碼等機(jī)密信息泄漏帶寬占用，工作效率降低法律風(fēng)險(xiǎn)惡意網(wǎng)站惡意網(wǎng)站產(chǎn)生的威脅：盜竊游戲、網(wǎng)銀賬號(hào)遠(yuǎn)程控制僵尸網(wǎng)絡(luò)隱私泄露商業(yè)威脅每天持續(xù)有新的惡意網(wǎng)站增加，高峰時(shí)>2萬個(gè)/天華為云安全系統(tǒng)檢測(cè)惡意網(wǎng)站地域分布TOP10漏洞網(wǎng)頁掛馬惡意站點(diǎn)利用瀏覽器漏洞利用插件漏洞鏈接其它惡意站點(diǎn)惡意軟件木馬下載器后門蠕蟲…惡意廣告盜取網(wǎng)游帳號(hào)盜取IM帳號(hào)盜取銀行帳號(hào)成為肉雞…$$$Step1Step2Step3Step4Step6Step5Step7目錄WEB過濾技術(shù)概述WEB過濾關(guān)鍵技術(shù)2.1網(wǎng)站URL過濾技術(shù)2.2搜索關(guān)鍵字過濾技術(shù)2.3WEB內(nèi)容過濾技術(shù)2.4惡意網(wǎng)頁檢測(cè)關(guān)鍵技術(shù)WEB過濾技術(shù)應(yīng)用員工員工員工暴力網(wǎng)站色情網(wǎng)站視頻網(wǎng)站業(yè)務(wù)網(wǎng)站購物網(wǎng)站新聞網(wǎng)站……Internet機(jī)構(gòu)員工不受控地訪問網(wǎng)站資源，將可能：嚴(yán)重降低員工的工作效率浪費(fèi)企業(yè)網(wǎng)絡(luò)帶寬資源從惡意站點(diǎn)引入病毒、木馬等進(jìn)入內(nèi)網(wǎng)帶來版權(quán)、政治等法律風(fēng)險(xiǎn)大量色情、暴力信息影響人們的身心健康隨著互聯(lián)網(wǎng)的普及，網(wǎng)絡(luò)信息與日俱增，大量娛樂、商務(wù)信息吞噬人們的寶貴時(shí)間防火墻URL過濾必要性Internet機(jī)構(gòu)內(nèi)網(wǎng)員工A員工C員工B

1.用戶訪問2.TCP3次握手建立連接3.瀏覽器發(fā)送HTTPGet請(qǐng)求4.設(shè)備截獲HTTPGet請(qǐng)求，檢測(cè)是否合法防火墻5.合法，則放行請(qǐng)求，用戶可瀏覽對(duì)應(yīng)網(wǎng)站6.不合法，設(shè)備可以直接斷開TCP連接7.不合法，設(shè)備可以推送告警頁面后斷開TCP連接URL過濾原理？name=tom&age=20pathhostnamequery[:port]URL地址結(jié)構(gòu)Internet上的每一個(gè)網(wǎng)頁都具有一個(gè)唯一的標(biāo)識(shí)，稱為URL（UniformResourceLocator）地址URL匹配方式匹配方式條目匹配結(jié)果前綴匹配

匹配所有以開頭的URL，如：、/solutions.do后綴匹配aspx匹配所有以aspx結(jié)尾的URL，如：、關(guān)鍵字匹配

匹配所有包含的URL，如：www./news/solutions.aspx、www./it/精確匹配

只匹配。/solutions.aspx、/en/等不會(huì)匹配該條目參數(shù)匹配a-param匹配所有參數(shù)中包含a-param的URL，如：$%%a-param^&、，但是不會(huì)匹配、URL黑白名單支持的匹配方式黑白名單過濾匹配方式白名單黑名單前綴匹配支持支持后綴匹配支持支持關(guān)鍵字匹配支持支持精確匹配支持支持參數(shù)匹配不支持支持URL審計(jì)Internet機(jī)構(gòu)內(nèi)網(wǎng)員工A員工C員工B防火墻

eLog服務(wù)器URL分類過濾黑白名單URL自定義分類URL預(yù)定義分類第三方分類服務(wù)器InternetURL分類過濾技術(shù)URL策略描述銷售部URL控制……研發(fā)部URL控制……總工辦URL控制……研究部URL控制………………分類名稱動(dòng)作新聞阻斷政治允許色情阻斷暴力阻斷…………分類名稱動(dòng)作體育阻斷友商允許搜索允許游戲阻斷…………每條URL策略定義了分類的處理動(dòng)作根據(jù)自定義分類或者預(yù)定義分類，用戶可以創(chuàng)建多個(gè)URL策略URL分類過濾技術(shù)實(shí)現(xiàn)過程Internet機(jī)構(gòu)內(nèi)網(wǎng)員工A員工C員工B

防火墻分類服務(wù)器URL過濾總體流程URL分類服務(wù)器WEB服務(wù)器UNTRUST用戶TRUSTUSG50001.HTTP訪問請(qǐng)求2.URL白名單放行3.URL黑名單阻斷4.本地自定義分類URL控制策略阻斷放行5.遠(yuǎn)程預(yù)定義分類URL控制策略阻斷放行未匹配任何策略的處理方式阻斷放行分類查詢返回分類目錄WEB過濾技術(shù)概述WEB過濾關(guān)鍵技術(shù)2.1網(wǎng)站URL過濾技術(shù)2.2搜索關(guān)鍵字過濾技術(shù)2.3WEB內(nèi)容過濾技術(shù)2.4惡意網(wǎng)頁檢測(cè)關(guān)鍵技術(shù)WEB過濾技術(shù)應(yīng)用搜索關(guān)鍵字過濾概念搜索關(guān)鍵字過濾技術(shù)是指對(duì)指定搜索關(guān)鍵字進(jìn)行過濾，控制內(nèi)網(wǎng)用戶的搜索內(nèi)容，防止用戶獲得敏感信息。搜索關(guān)鍵字過濾原理UNTRUSTTRUST用戶WEB服務(wù)器搜索關(guān)鍵字策略執(zhí)行過濾策略信息推送在用戶端發(fā)起搜索請(qǐng)求搜索關(guān)鍵字過濾流程http輕量級(jí)引擎送入U(xiǎn)RL部分?jǐn)?shù)據(jù)分離host和page部分檢測(cè)覆蓋的搜索引擎?找到關(guān)鍵字參數(shù)的位置提取關(guān)鍵字搜索關(guān)鍵字狀態(tài)?狀態(tài)機(jī)匹配命中?查找命中對(duì)應(yīng)動(dòng)作返回動(dòng)作給http輕量級(jí)引擎YN放行YYNN目錄WEB過濾技術(shù)概述WEB過濾關(guān)鍵技術(shù)2.1網(wǎng)站URL過濾技術(shù)2.2搜索關(guān)鍵字過濾技術(shù)2.3WEB內(nèi)容過濾技術(shù)2.4惡意網(wǎng)頁檢測(cè)關(guān)鍵技術(shù)WEB過濾技術(shù)應(yīng)用WEB內(nèi)容過濾技術(shù)介紹Web內(nèi)容過濾對(duì)用戶訪問Web頁面的內(nèi)容進(jìn)行控制。網(wǎng)頁瀏覽關(guān)鍵字HTTPPOST過濾HTTPPOST文件過濾上傳/下載文件名關(guān)鍵字上傳/下載文件類型關(guān)鍵字文件大小過濾WEB內(nèi)容過濾原理用戶發(fā)起上傳附件的操作，觸發(fā)發(fā)送HTTP報(bào)文。HTTP報(bào)文經(jīng)過防火墻時(shí)，防火墻會(huì)對(duì)其進(jìn)行過濾：如果匹配上傳文件名關(guān)鍵字策略，執(zhí)行過濾策略（阻斷或告警）；同時(shí)可以選擇向用戶推送Web頁面，提醒用戶訪問受限。如果沒有匹配上傳文件名關(guān)鍵字策略，則允許該HTTP報(bào)文通過。用戶可以正常上傳該文件。WEB內(nèi)容過濾－網(wǎng)頁瀏覽關(guān)鍵字過濾UNTRUSTTRUST用戶WEB服務(wù)器策略：若網(wǎng)頁中包含“XXXX”，那么將阻斷（告警\不處理）用戶瀏覽該網(wǎng)頁。1、首先用戶端發(fā)起瀏覽請(qǐng)求2、數(shù)據(jù)流給過防火墻時(shí)，檢索將要瀏覽的網(wǎng)頁中是否包含“XXXX”3、將檢索的結(jié)果與訪火墻上已定義好的策略進(jìn)行匹配，如果檢索到“XXXX”，那么將阻斷用戶訪問此網(wǎng)頁，并向客戶端推送信息；如果沒檢索到“XXXX”，就將流量放行。WEB內(nèi)容過濾－HTTPPOST過濾UNTRUSTTRUST內(nèi)網(wǎng)用戶策略：若HTTPPOST中包含“XXXX”,那么將阻斷（告警\不處理）HTTPPOST操作；1、首先用戶端發(fā)起HTTPpost請(qǐng)求2、數(shù)據(jù)流經(jīng)過防火墻時(shí)，檢索HTTPpost內(nèi)容中是否包含“XXXX”3、將檢索的結(jié)果與訪火墻上已定義好的策略進(jìn)行匹配，如果檢索到POST內(nèi)容中包“XXXX”，那么將阻斷用戶HTTPPOST請(qǐng)求，并向客戶端推送信息。如果檢索到POST內(nèi)容中包“XXXX”，將對(duì)流量進(jìn)行放行InternetWEB內(nèi)容過濾－上傳/下載關(guān)鍵字過濾上傳/下載關(guān)鍵字包括：文件名，可以是任何文件名稱；文件類類型，如：doc、mp3等；UNTRUSTTRUST內(nèi)網(wǎng)用戶通過防火墻可以定義阻止特殊的文件名稱或文件類型通過InternetWEB內(nèi)容過濾－文件大小過濾文件大小過濾技術(shù)主要是針對(duì)文件的大小進(jìn)行WEB內(nèi)容過濾，當(dāng)文件超過規(guī)定的大小時(shí)，將阻斷（告警\不處理）文件上傳或下載業(yè)務(wù)，如果小于或等于該文件大小時(shí)，將放行文件。UNTRUSTTRUST內(nèi)網(wǎng)用戶定義超過了文件規(guī)定的大小時(shí)，將阻斷（告警\不處理）文件上傳或下載業(yè)務(wù)；InternetWeb內(nèi)容過濾流程目錄WEB過濾技術(shù)概述WEB過濾關(guān)鍵技術(shù)2.1網(wǎng)站URL過濾技術(shù)2.2搜索關(guān)鍵字過濾技術(shù)2.3WEB內(nèi)容過濾技術(shù)2.4惡意網(wǎng)頁檢測(cè)關(guān)鍵技術(shù)WEB過濾技術(shù)應(yīng)用網(wǎng)絡(luò)爬蟲技術(shù)

惡意網(wǎng)頁檢測(cè)特征庫比對(duì)安全沙箱

惡意網(wǎng)頁解密惡意網(wǎng)頁還原啟發(fā)式行為識(shí)別惡意網(wǎng)頁檢測(cè)關(guān)鍵技術(shù)惡意網(wǎng)站的識(shí)別方式網(wǎng)頁代碼靜態(tài)指紋檢查網(wǎng)頁啟發(fā)式行為分析識(shí)別頁面存在惡意特征代碼解析分析惡意行為在沙箱中進(jìn)行識(shí)別檢測(cè)模塊檢測(cè)技術(shù)識(shí)別方法惡意網(wǎng)站識(shí)別方法—特征庫特征是一串特定的字符串，采用特征比對(duì)的方法分析速度快，分析結(jié)果準(zhǔn)確明晰，能達(dá)到檢測(cè)網(wǎng)頁是否存在惡意代碼的目的。掛馬工具產(chǎn)生代碼黑客編寫掛馬頁面常用手段掛馬頁面分析人員進(jìn)行特征分析惡意URL特征庫惡意網(wǎng)站識(shí)別方法—反變形變形是惡意網(wǎng)頁通常采用的自我隱藏方法，達(dá)到躲避特征檢測(cè)的方法，因此在特征分析之前要將這些變形的網(wǎng)頁首先進(jìn)行反變形還原；變形的掛馬頁面對(duì)變形頁面進(jìn)行還原一些轉(zhuǎn)換函數(shù)關(guān)鍵函數(shù)進(jìn)行替換多頁面拆分手動(dòng)增加變型代碼使用工具對(duì)代碼變形．．．對(duì)變形頁面進(jìn)行還原對(duì)頁面進(jìn)行檢測(cè)惡意網(wǎng)站識(shí)別方法—頁面解密加密同樣是惡意網(wǎng)頁通常采用的自我隱藏方法，采用腳本加密的方法將網(wǎng)頁內(nèi)容變得面目全非，達(dá)到躲避特征檢測(cè)的方法，因此需要對(duì)頁面進(jìn)行必要的解密；加密后的掛馬頁面對(duì)變形頁面進(jìn)行還原自定義的加密方法使用腳本自帶的

加密函數(shù)進(jìn)行加密使用工具對(duì)代碼加密．．．對(duì)加密頁面進(jìn)行解密對(duì)頁面進(jìn)行檢測(cè)頁面加密方式惡意網(wǎng)站識(shí)別方法—ShellcodeShellcode是一段緩沖區(qū)溢出代碼，通常和ActiveX插件配合使用，用來溢出具有漏洞的計(jì)算機(jī)，達(dá)到黑客控制目的，一段Shellcode會(huì)被多個(gè)惡意網(wǎng)頁引用，網(wǎng)頁中是否存在shellcode是判斷是否惡意網(wǎng)頁的重要標(biāo)準(zhǔn)。使用未公開的shellcode

進(jìn)行緩沖區(qū)溢出使用公開的shellcode

進(jìn)行緩沖區(qū)溢出對(duì)已知shellcode和

插件特征進(jìn)行檢測(cè)對(duì)疑似shellocde溢出

進(jìn)行沙箱檢測(cè)Shellcode使用方式惡意網(wǎng)站識(shí)別方法—行為檢測(cè)

網(wǎng)頁行為是指網(wǎng)頁在計(jì)算機(jī)上被解釋執(zhí)行后可能產(chǎn)生的動(dòng)作，比如操作文件，讀寫注冊(cè)表等，對(duì)某些特定行為的檢測(cè)可以明晰的界定一個(gè)網(wǎng)頁是否存在惡意代碼。對(duì)部分目錄寫文件操作進(jìn)行監(jiān)控沙箱檢測(cè)對(duì)文件執(zhí)行進(jìn)行監(jiān)控對(duì)網(wǎng)絡(luò)GET行為進(jìn)行監(jiān)控

．．．對(duì)關(guān)鍵注冊(cè)表進(jìn)行監(jiān)控目錄WEB過濾技術(shù)概述WEB過濾關(guān)鍵技術(shù)WEB過濾技術(shù)應(yīng)用WEB過濾技術(shù)應(yīng)用場(chǎng)景介紹安全設(shè)備安全設(shè)備安全設(shè)備合作伙伴分支機(jī)構(gòu)內(nèi)部網(wǎng)絡(luò)TRUST域企業(yè)內(nèi)部網(wǎng)絡(luò)企業(yè)總部(>500人)外部網(wǎng)絡(luò)開啟防火墻、web過濾功能UNTRUSTURL的遠(yuǎn)程預(yù)定義分類服務(wù)器DMZ域部署各種應(yīng)用服務(wù)器WEB等應(yīng)用服務(wù)器群VPN隧道VPN隧道WEB過濾技術(shù)應(yīng)用功能列表提供WEB過濾的豁免IP地址集；根據(jù)本地配置的黑白名單進(jìn)行WEB過濾；根據(jù)自定義分類進(jìn)行WE