深圳北大青鳥嘉華學(xué)校–以就業(yè)為導(dǎo)向，學(xué)習(xí)零起點(diǎn)，是深圳高端IT職業(yè)技能培訓(xùn)學(xué)校領(lǐng)導(dǎo)品牌！培訓(xùn)項(xiàng)目：高端軟件、網(wǎng)絡(luò)工程師（可通過搜索引擎檢索“深圳北大青鳥嘉華學(xué)校”進(jìn)入學(xué)校網(wǎng)站）廣告屏蔽軟件開發(fā)技術(shù)方案【摘要】廣告、垃圾網(wǎng)頁充斥Internet，給用戶瀏覽造成了極大的不方便，而且極大的消耗了網(wǎng)絡(luò)的帶寬以及終端用戶系統(tǒng)的資源。本技術(shù)方案在參考研究比較大量廣告屏蔽技術(shù)后，提出了一種基于關(guān)鍵詞列表以及BHO（BrowserHelperObjects）的垃圾網(wǎng)頁過濾方案。【關(guān)鍵詞】垃圾網(wǎng)頁廣告屏蔽BHOHOOK一、概述目前網(wǎng)絡(luò)上流行的廣告技術(shù)主要有分為以下三種：彈出式窗口，浮動(dòng)式窗口以及內(nèi)嵌式廣告圖片。大量不必要的信息占滿了整個(gè)顯示區(qū)域，使得有效信息的獲取變得很難。這些垃圾網(wǎng)頁主要都是依靠JavaScript（簡稱JS）實(shí)現(xiàn)的。這種腳本語言是在客戶端下載完成后，由客戶端的JVM解釋執(zhí)行的。因此它是一種客戶端執(zhí)行的語言，即runatclient。其中，彈出式與浮動(dòng)式窗口主要是由window.open()或者window.showModelessDialog()等創(chuàng)建新窗口等命令完成的。而內(nèi)嵌式廣告圖片則是由其編寫的一些特效函數(shù)做到的。和樣式表文件（CSS）相似，這些運(yùn)行的代碼未必直接寫道用戶所訪問的網(wǎng)頁之中，他可以通過通過如如形式的連接隱藏在后臺，直接對所下載到的HTML文檔進(jìn)行分析并不能完全有效的屏蔽這些語句。接下來將對國內(nèi)外研究現(xiàn)狀具體的實(shí)現(xiàn)技術(shù)進(jìn)行敘述。二、國內(nèi)外研究現(xiàn)狀垃圾網(wǎng)頁過濾技術(shù)發(fā)展到現(xiàn)在已經(jīng)很成熟了，各大公司的產(chǎn)品的準(zhǔn)確率和招回率都已經(jīng)能達(dá)到很高的水準(zhǔn)。目前在這個(gè)領(lǐng)域比較領(lǐng)先也比較流行的幾款軟件有MicrosoftIE6.0中自帶的網(wǎng)頁過濾組件，Maxthon公司的Maxthon以及MyIE2系列瀏覽器中附加的垃圾網(wǎng)頁過濾插件，GoogleToolbar也具有網(wǎng)頁過濾功能；國內(nèi)在這領(lǐng)域的軟件也有很多，如深圳北大青鳥嘉華學(xué)校–以就業(yè)為導(dǎo)向，學(xué)習(xí)零起點(diǎn)，是深圳高端IT職業(yè)技能培訓(xùn)學(xué)校領(lǐng)導(dǎo)品牌！培訓(xùn)項(xiàng)目：高端軟件、網(wǎng)絡(luò)工程師（可通過搜索引擎檢索“深圳北大青鳥嘉華學(xué)校”進(jìn)入學(xué)校網(wǎng)站）廣告屏蔽軟件開發(fā)技術(shù)方案【摘要】廣告、垃圾網(wǎng)頁充斥Internet，給用戶瀏覽造成了極大的不方便，而且極大的消耗了網(wǎng)絡(luò)的帶寬以及終端用戶系統(tǒng)的資源。本技術(shù)方案在參考研究比較大量廣告屏蔽技術(shù)后，提出了一種基于關(guān)鍵詞列表以及BHO（BrowserHelperObjects）的垃圾網(wǎng)頁過濾方案。【關(guān)鍵詞】垃圾網(wǎng)頁廣告屏蔽BHOHOOK一、概述目前網(wǎng)絡(luò)上流行的廣告技術(shù)主要有分為以下三種：彈出式窗口，浮動(dòng)式窗口以及內(nèi)嵌式廣告圖片。大量不必要的信息占滿了整個(gè)顯示區(qū)域，使得有效信息的獲取變得很難。這些垃圾網(wǎng)頁主要都是依靠JavaScript（簡稱JS）實(shí)現(xiàn)的。這種腳本語言是在客戶端下載完成后，由客戶端的JVM解釋執(zhí)行的。因此它是一種客戶端執(zhí)行的語言，即runatclient。其中，彈出式與浮動(dòng)式窗口主要是由window.open()或者window.showModelessDialog()等創(chuàng)建新窗口等命令完成的。而內(nèi)嵌式廣告圖片則是由其編寫的一些特效函數(shù)做到的。和樣式表文件（CSS）相似，這些運(yùn)行的代碼未必直接寫道用戶所訪問的網(wǎng)頁之中，他可以通過通過如如形式的連接隱藏在后臺，直接對所下載到的HTML文檔進(jìn)行分析并不能完全有效的屏蔽這些語句。接下來將對國內(nèi)外研究現(xiàn)狀具體的實(shí)現(xiàn)技術(shù)進(jìn)行敘述。二、國內(nèi)外研究現(xiàn)狀垃圾網(wǎng)頁過濾技術(shù)發(fā)展到現(xiàn)在已經(jīng)很成熟了，各大公司的產(chǎn)品的準(zhǔn)確率和招回率都已經(jīng)能達(dá)到很高的水準(zhǔn)。目前在這個(gè)領(lǐng)域比較領(lǐng)先也比較流行的幾款軟件有MicrosoftIE6.0中自帶的網(wǎng)頁過濾組件，Maxthon公司的Maxthon以及MyIE2系列瀏覽器中附加的垃圾網(wǎng)頁過濾插件，GoogleToolbar也具有網(wǎng)頁過濾功能；國內(nèi)在這領(lǐng)域的軟件也有很多，如3721上網(wǎng)助手，雅虎助手以及百度工具欄都有這方面的功能。在大多數(shù)軟件中用戶都可以設(shè)置網(wǎng)頁過濾的級別，如只過濾彈出網(wǎng)頁，過濾浮動(dòng)窗口，或者過濾所有的廣告，包括頁面當(dāng)中的flash動(dòng)畫以及Gif動(dòng)畫。由于上述公司的實(shí)現(xiàn)技術(shù)相對保密，在相對比較短的時(shí)間內(nèi)很難了解到他們實(shí)現(xiàn)的核心技術(shù)。但通過這幾天對這幾款軟件的使用與分析，發(fā)現(xiàn)他們主要是使用垃圾網(wǎng)頁關(guān)鍵詞列表技術(shù)實(shí)現(xiàn)的。如Maxthon瀏覽器中的廣告獵手就維護(hù)了一個(gè)專家關(guān)鍵詞列表。在下載網(wǎng)頁并執(zhí)行其中的JS代碼時(shí)，瀏覽器將對JS指定需要下載的連接進(jìn)行過濾，如有與關(guān)鍵詞列表項(xiàng)符合的鏈接則取消其下載（具體取消方法將在下一章進(jìn)行介紹），并將所取消的連接寫入相應(yīng)的數(shù)據(jù)存儲(chǔ)文件中，并在過濾網(wǎng)頁列表中加入該記錄。用戶只需雙擊該條記錄就可以重新加載該頁面。其他的過濾技術(shù)也都大同小異，在此就不再復(fù)述了。三、實(shí)現(xiàn)技術(shù)3.1預(yù)備知識經(jīng)過對現(xiàn)存的網(wǎng)絡(luò)產(chǎn)品的比較，本文將采用基于關(guān)鍵詞列表以及BHO的技術(shù)實(shí)現(xiàn)對垃圾網(wǎng)頁的過濾。下面現(xiàn)介紹一下BHO。BHO（BrowserHelperObjects）是瀏覽器幫助對象，是一種實(shí)時(shí)組件對象模型（in-processCOM）。瀏覽器將會(huì)在每次打開的時(shí)候加載它。BHO和瀏覽器運(yùn)行在相同的內(nèi)存區(qū)域，并且可以對窗口及其模型作任意的操作。例如，它可以檢測到瀏覽器的后退、前進(jìn)和文件完成等事件，訪問瀏覽器的菜單和工具欄而且可以進(jìn)行改動(dòng)，在當(dāng)前頁面創(chuàng)建窗口等操作，簡而言之，BHO就好像一個(gè)我們派去的間諜，監(jiān)視并控制著瀏覽器的動(dòng)作。因此我們要進(jìn)行IE開發(fā)，BHO應(yīng)該是我們最得力的助手。深圳北大青鳥嘉華學(xué)校–以就業(yè)為導(dǎo)向，學(xué)習(xí)零起點(diǎn)，是深圳高端IT職業(yè)技能培訓(xùn)學(xué)校領(lǐng)導(dǎo)品牌！培訓(xùn)項(xiàng)目：高端軟件、網(wǎng)絡(luò)工程師（可通過搜索引擎檢索“深圳北大青鳥嘉華學(xué)校”進(jìn)入學(xué)校網(wǎng)站）瀏覽器訪問網(wǎng)頁是按照一下這個(gè)過程進(jìn)行的：Navigate->NavigateComplete->DownloadBegin->DownloadComplete->DocumentComplete我們所使用的BHO就好像鉤子（HOOK），可以hook到這些典型的IE事件當(dāng)中。我們也正是通過控制這些事件進(jìn)行過濾。3.2總體設(shè)計(jì)廣告過濾插件彈出式窗口過濾模塊浮動(dòng)式窗口過濾模塊網(wǎng)頁內(nèi)容過濾模塊數(shù)據(jù)存儲(chǔ)模塊關(guān)鍵詞維護(hù)模塊用戶接口模塊廣告過濾插件結(jié)構(gòu)圖上面是廣告過濾插件的結(jié)構(gòu)圖。由于對彈出式窗口、浮動(dòng)式窗口和網(wǎng)頁內(nèi)容中的廣告圖片的過濾方法有所不同，而且需要根據(jù)用戶的配置進(jìn)行選擇過濾，本文將這三種過濾方式化分為三個(gè)模塊進(jìn)行實(shí)現(xiàn)。數(shù)據(jù)存儲(chǔ)模塊是用來存儲(chǔ)被過濾網(wǎng)址的相關(guān)信息，其中包括過濾網(wǎng)址的類型（彈出式窗口，浮動(dòng)式窗口還是網(wǎng)頁內(nèi)部圖片），當(dāng)前的屏蔽時(shí)間，其網(wǎng)址的URL還有過濾規(guī)則。將其按照一定的格式存儲(chǔ)在數(shù)據(jù)文件中，以備讀取。關(guān)鍵詞維護(hù)模塊主要用來維護(hù)過濾規(guī)則關(guān)鍵詞，它包括系統(tǒng)默認(rèn)的專家關(guān)鍵詞，以及用戶通過用戶接口注冊的新關(guān)鍵詞，還有維護(hù)在線更新關(guān)鍵詞列表（將在隨后介紹）。用戶接口主要負(fù)責(zé)用戶對過濾級別的選擇，過濾網(wǎng)址列表的查詢及招回，以及用戶自定義關(guān)鍵詞的添加與維護(hù)。下面將就具體模塊的功能與實(shí)現(xiàn)進(jìn)行詳細(xì)介紹。3.2.1彈出式窗口過濾模塊彈出式窗口的過濾方法很多，主要分為一下幾類：1.根據(jù)窗口外觀，如樣式、類名、大小判斷（彈出式窗口一般不包括狀態(tài)欄，菜單欄或工具欄）。2.利用BHO攔截在深圳北大青鳥嘉華學(xué)校–以就業(yè)為導(dǎo)向，學(xué)習(xí)零起點(diǎn)，是深圳高端IT職業(yè)技能培訓(xùn)學(xué)校領(lǐng)導(dǎo)品牌！培訓(xùn)項(xiàng)目：高端軟件、網(wǎng)絡(luò)工程師（可通過搜索引擎檢索“深圳北大青鳥嘉華學(xué)校”進(jìn)入學(xué)校網(wǎng)站）瀏覽器訪問網(wǎng)頁是按照一下這個(gè)過程進(jìn)行的：Navigate->NavigateComplete->DownloadBegin->DownloadComplete->DocumentComplete我們所使用的BHO就好像鉤子（HOOK），可以hook到這些典型的IE事件當(dāng)中。我們也正是通過控制這些事件進(jìn)行過濾。3.2總體設(shè)計(jì)廣告過濾插件彈出式窗口過濾模塊浮動(dòng)式窗口過濾模塊網(wǎng)頁內(nèi)容過濾模塊數(shù)據(jù)存儲(chǔ)模塊關(guān)鍵詞維護(hù)模塊用戶接口模塊廣告過濾插件結(jié)構(gòu)圖上面是廣告過濾插件的結(jié)構(gòu)圖。由于對彈出式窗口、浮動(dòng)式窗口和網(wǎng)頁內(nèi)容中的廣告圖片的過濾方法有所不同，而且需要根據(jù)用戶的配置進(jìn)行選擇過濾，本文將這三種過濾方式化分為三個(gè)模塊進(jìn)行實(shí)現(xiàn)。數(shù)據(jù)存儲(chǔ)模塊是用來存儲(chǔ)被過濾網(wǎng)址的相關(guān)信息，其中包括過濾網(wǎng)址的類型（彈出式窗口，浮動(dòng)式窗口還是網(wǎng)頁內(nèi)部圖片），當(dāng)前的屏蔽時(shí)間，其網(wǎng)址的URL還有過濾規(guī)則。將其按照一定的格式存儲(chǔ)在數(shù)據(jù)文件中，以備讀取。關(guān)鍵詞維護(hù)模塊主要用來維護(hù)過濾規(guī)則關(guān)鍵詞，它包括系統(tǒng)默認(rèn)的專家關(guān)鍵詞，以及用戶通過用戶接口注冊的新關(guān)鍵詞，還有維護(hù)在線更新關(guān)鍵詞列表（將在隨后介紹）。用戶接口主要負(fù)責(zé)用戶對過濾級別的選擇，過濾網(wǎng)址列表的查詢及招回，以及用戶自定義關(guān)鍵詞的添加與維護(hù)。下面將就具體模塊的功能與實(shí)現(xiàn)進(jìn)行詳細(xì)介紹。3.2.1彈出式窗口過濾模塊彈出式窗口的過濾方法很多，主要分為一下幾類：1.根據(jù)窗口外觀，如樣式、類名、大小判斷（彈出式窗口一般不包括狀態(tài)欄，菜單欄或工具欄）。2.利用BHO攔截在DownloadBegin和DownloadComplete之間的彈出事件，不允許彈出新窗口。3.對URL進(jìn)行過濾，攔截可以網(wǎng)址的下載。經(jīng)過對各種方法的比較，本文將采用BHO攔截與URL過濾相結(jié)合的方法進(jìn)行對彈出式窗口的過濾。在BHO中，所有的彈出頁面都是通過OnNewWindow2(LPDISPATCH*ppDisp,BOOL*Cancel);打開的。但是如果其第二個(gè)參數(shù)Cancel=True，瀏覽器就不可以打開新的窗口了。下面我們看一下瀏覽器彈出窗口的過程：OnDownloadBegin->發(fā)現(xiàn)window.open等Js或者vbs->OnNewWindow2()->OnDownloadComplete首先在BHO里利用IObjectWithSiteImpl::SetSite獲得IWebBrowser2指針，然后利用Invoke處理,可以在瀏覽器OnDownloadBegin的事件中將一個(gè)外部信號量設(shè)置為True，而在OnDownloadComplete事件中將他設(shè)置回False，并在OnNewWindow2()中添加如下代碼：Cancel=（所設(shè)置的信號量）;這樣就可以在網(wǎng)頁下載的過程中防止新窗口的打開。同時(shí)，在這個(gè)過程中，還要對每個(gè)所要下載網(wǎng)址的URL進(jìn)行關(guān)鍵詞匹配，如果有關(guān)鍵詞匹配成功，同樣取消下載。這是為了防止一些特殊的網(wǎng)頁的彈出技術(shù)為我們現(xiàn)深圳北大青鳥嘉華學(xué)校–以就業(yè)為導(dǎo)向，學(xué)習(xí)零起點(diǎn)，是深圳高端IT職業(yè)技能培訓(xùn)學(xué)校領(lǐng)導(dǎo)品牌！培訓(xùn)項(xiàng)目：高端軟件、網(wǎng)絡(luò)工程師（可通過搜索引擎檢索“深圳北大青鳥嘉華學(xué)校”進(jìn)入學(xué)校網(wǎng)站）在未知的。這個(gè)關(guān)鍵詞列表有系統(tǒng)自帶，并采用WebService技術(shù)定期通過官方網(wǎng)站服務(wù)器定期更新。最后還要將過濾的網(wǎng)址信息交由數(shù)據(jù)存儲(chǔ)模塊保存，以備查閱和招回。3.2.2浮動(dòng)式窗口過濾模塊浮動(dòng)式窗口主要采用HTML語言中的<div>定義一個(gè)層，并使用JS使其達(dá)到懸浮或者移動(dòng)等效果。它的主要特征有兩個(gè)：(1)<div>的position屬性為absolute。(2)其實(shí)現(xiàn)的關(guān)鍵詞中包含setInterval()等函數(shù)。因此我們需要對網(wǎng)頁中的這些關(guān)鍵詞進(jìn)行過濾即可。將其層取消顯示。同時(shí)大多數(shù)的浮動(dòng)窗口都包含動(dòng)畫文件（如.swf、.gif等），我們在實(shí)現(xiàn)關(guān)鍵詞過濾時(shí)同樣需要對這些文件進(jìn)行過濾，并將過濾信息存儲(chǔ)到數(shù)據(jù)模塊。3.2.3網(wǎng)頁內(nèi)容過濾模塊網(wǎng)頁內(nèi)容過濾主要是針對主頁面中的動(dòng)畫文件進(jìn)行過濾。本文采用的就是關(guān)鍵詞過濾。關(guān)鍵詞列表是由系統(tǒng)自帶的專家關(guān)鍵詞列表與用戶維護(hù)的自定義關(guān)鍵詞列表組成。其關(guān)鍵詞匹配過程如下：在前文介紹了網(wǎng)頁打開的過程，本文利用BHO在瀏覽器調(diào)用IObjectWithSiteImpl::SetSite方法傳遞對當(dāng)前瀏覽器的引用指針給你的程序。然后瀏覽器調(diào)用你的組深圳北大青鳥嘉華學(xué)校–以就業(yè)為導(dǎo)向，學(xué)習(xí)零起點(diǎn)，是深圳高端IT職業(yè)技能培訓(xùn)學(xué)校領(lǐng)導(dǎo)品牌！培訓(xùn)項(xiàng)目：高端軟件、網(wǎng)絡(luò)工程師（可通過搜索引擎檢索“深圳北大青鳥嘉華學(xué)校”進(jìn)入學(xué)校網(wǎng)站）在未知的。這個(gè)關(guān)鍵詞列表有系統(tǒng)自帶，并采用WebService技術(shù)定期通過官方網(wǎng)站服務(wù)器定期更新。最后還要將過濾的網(wǎng)址信息交由數(shù)據(jù)存儲(chǔ)模塊保存，以備查閱和招回。3.2.2浮動(dòng)式窗口過濾模塊浮動(dòng)式窗口主要采用HTML語言中的<div>定義一個(gè)層，并使用JS使其達(dá)到懸浮或者移動(dòng)等效果。它的主要特征有兩個(gè)：(1)<div>的position屬性為absolute。(2)其實(shí)現(xiàn)的關(guān)鍵詞中包含setInterval()等函數(shù)。因此我們需要對網(wǎng)頁中的這些關(guān)鍵詞進(jìn)行過濾即可。將其層取消顯示。同時(shí)大多數(shù)的浮動(dòng)窗口都包含動(dòng)畫文件（如.swf、.gif等），我們在實(shí)現(xiàn)關(guān)鍵詞過濾時(shí)同樣需要對這些文件進(jìn)行過濾，并將過濾信息存儲(chǔ)到數(shù)據(jù)模塊。3.2.3網(wǎng)頁內(nèi)容過濾模塊網(wǎng)頁內(nèi)容過濾主要是針對主頁面中的動(dòng)畫文件進(jìn)行過濾。本文采用的就是關(guān)鍵詞過濾。關(guān)鍵詞列表是由系統(tǒng)自帶的專家關(guān)鍵詞列表與用戶維護(hù)的自定義關(guān)鍵詞列表組成。其關(guān)鍵詞匹配過程如下：在前文介紹了網(wǎng)頁打開的過程，本文利用BHO在瀏覽器調(diào)用IObjectWithSiteImpl::SetSite方法傳遞對當(dāng)前瀏覽器的引用指針給你的程序。然后瀏覽器調(diào)用你的組件的IObjectWithSiteImpl::Invoke，并傳遞WebBrowserEventsID，因此可以根據(jù)EventsID判斷瀏覽器正在做什么，因此可以在這里對下載事件進(jìn)行過濾。比如在Invoke發(fā)生時(shí)，ID為DISPID_BEFORENAVIGATE2，則表明瀏覽器“正要”去瀏覽某個(gè)url。如果在這里對其處理，就可以實(shí)現(xiàn)禁止瀏覽某些URL。要實(shí)現(xiàn)對文件下載的禁止，我們需要截獲EventsID是否是DISPID_DOWNLOADBEGIN，并在這里“欺騙”一下IE，讓他結(jié)束下載。為此需要實(shí)現(xiàn)IInternetProtocolRoot接口的Start方法：HRESULTStart(LPCWSTRszUrl,IInternetProtocolSink*pOIProtSink,IInternetBindInfo*pOIBindInfo,DWORDgrfPI,HANDLE_PTRdwReserved);其第二個(gè)參數(shù)（IInternetProtocolSink*pOIProtSink）用來判斷下載是否結(jié)束。因此我們首先判斷szURL能否與關(guān)鍵詞列表項(xiàng)匹配或者包含.swf以及.gif等文件，如果匹配成功，即該網(wǎng)址包含違禁關(guān)鍵字，則調(diào)用IInternetProtocolSink::ReportResult方法將Start方法的第二個(gè)參數(shù)設(shè)置為真（pOIProtSink->ReportResult(S_OK,0,NULL);），這樣就是現(xiàn)了“欺騙”IE，在下載文件之前就結(jié)束了其下載。同時(shí)我們還需也將被過濾的網(wǎng)址添加到數(shù)據(jù)存儲(chǔ)文件中，整個(gè)過濾過程就完成了。3.2.4數(shù)據(jù)存儲(chǔ)模塊數(shù)據(jù)存儲(chǔ)模塊將實(shí)現(xiàn)對過濾網(wǎng)址的類型（彈出式窗口，浮動(dòng)式窗口還是網(wǎng)頁內(nèi)部圖片），當(dāng)前的屏蔽時(shí)間，其網(wǎng)址的URL還有過濾規(guī)則按照一定格式存儲(chǔ)到文件當(dāng)中，并能夠按照需要進(jìn)行讀取。其實(shí)現(xiàn)主要通過特定格式的讀寫文件。3.2.5關(guān)鍵詞維護(hù)模塊該模塊管理過濾關(guān)鍵詞，并通過WebService與官方服務(wù)器交互，定期更新關(guān)鍵詞列表，實(shí)現(xiàn)系統(tǒng)的自動(dòng)更新。3.2.6關(guān)鍵詞維護(hù)模塊用戶接口主要負(fù)責(zé)用戶對過濾級別的選擇，過濾網(wǎng)址列表的查詢及招回，以及用戶自定義關(guān)鍵詞的添深圳北大青鳥嘉華學(xué)校–以就業(yè)為導(dǎo)向，學(xué)習(xí)零起點(diǎn)，是深圳高端IT職業(yè)技能培訓(xùn)學(xué)校領(lǐng)導(dǎo)品牌！培訓(xùn)項(xiàng)目：高端軟件、網(wǎng)絡(luò)工程師（可通過搜索引擎檢索“深圳北大青鳥嘉華學(xué)校”進(jìn)入學(xué)校網(wǎng)站）加與維護(hù)。用戶可以通過雙擊過濾網(wǎng)址列表項(xiàng)招回被過濾網(wǎng)頁。下面就是整個(gè)系統(tǒng)的數(shù)據(jù)流圖：過濾模塊彈出式