3/3一、數(shù)據(jù)采集常用工具安裝配置使用數(shù)據(jù)采集常用工具安裝配置使用

一、Encode-DecodeTools(URL編碼轉(zhuǎn)碼)

二、Fiddler2(提交數(shù)據(jù)抓包)

三、LocoySpiderV2010SP3_Ultimate_Dog_Build2011-05-20(火車頭數(shù)據(jù)采集器)

四、Notepad++V5.9.3(多功能代碼編輯器)

先給大家介紹第一款工具：Encode-DecodeTools

URL編碼轉(zhuǎn)換工具，用以將16進(jìn)制格式還原為ASCII碼，并可以處理類似%u3235這樣的unicode格式。

這里我們用于數(shù)據(jù)抓包回來的數(shù)據(jù)是URL編碼后的，所以我們要使用這個工具來進(jìn)行反編碼。例如我們通過百度來搜索內(nèi)容，搜索后的數(shù)據(jù)，會自動進(jìn)行編碼，在地址欄中顯示出來。

例如：我在百度中搜索《小螞蟻地方門戶網(wǎng)站系統(tǒng)》，點擊搜索后，地址欄如下：

http://./doc/f06d90c36137ee06eff91862.html/s?wd=%D0%A1%C2%EC%D2%CF%B5%D8%B7%BD%C3%C5%BB%A7%CD%F8%D5%BE%CF%B5%CD%B3

前面的網(wǎng)站我們看得懂，s?wd=后面的數(shù)據(jù)，我們無法知道他顯示的是什么內(nèi)容，數(shù)據(jù)被URL編碼，這里我們就要使用到第三方工具來完成解碼操作。

這個工具使用起來很簡單的，只是把URL編碼的數(shù)據(jù)復(fù)制到這個軟件的文本框中即可解順利完成密操作。

軟件不光可以使用完成解操作，也可以使用中文字符、URL、網(wǎng)頁代碼等進(jìn)行數(shù)據(jù)字符進(jìn)行加密操作等等。

這里介紹給大家，主要是想讓大家了解到我們后面使用抓包工具，抓到的數(shù)據(jù)是被編碼后的，我們根據(jù)無法看懂?dāng)?shù)據(jù)被加碼后的內(nèi)容，所以我們在制作發(fā)布模塊中，這個工具算是必用到的一個工具，之前的教程中也有很多朋友問我，這個工具是做什么用的，這里大家看了上面的介紹，希望對這個工具已經(jīng)很熟悉不過了吧。呵呵

介紹第二款工具：Fiddler2數(shù)據(jù)抓包(軟件永久免費)

Fiddler2是一個網(wǎng)絡(luò)調(diào)試代理，用來監(jiān)測本地計算機(jī)和Internet之間所有的HTTP通訊。

可以監(jiān)測所有的HTTP通訊，設(shè)置斷點，并且可以修改到進(jìn)入到本地計算機(jī)的數(shù)據(jù)和從本地計算機(jī)出去的數(shù)據(jù)（就是可以偽造數(shù)據(jù)）。如果玩黑客的朋友應(yīng)該知道的，上傳文件，可以利用NC偽造數(shù)據(jù)包，上傳wehshell馬等等。Fiddler包含一個JScript.NET事件腳本子系統(tǒng)（event-basedscriptingsubsystem），可以使用任何一種.Net語言擴(kuò)展。Fiddler2軟件安裝圖解，F(xiàn)iddler2安裝包打開后，點擊按鈕[IAgree]進(jìn)行下步安裝

點擊按鈕[Browse]選擇Fiddler2軟件安裝目錄，點擊按鈕[Install]進(jìn)行安裝下一步。

這里最后一步，提示安裝完成，點擊按鈕[Close]，完成Fiddler2安裝！

Fiddler2安裝完成后，會在開始菜單中創(chuàng)建一個軟件啟動快捷方式，我們來打開軟件，簡單熟悉一下我們常用的幾個功能。操作步驟：開始菜單《開始->程序-Fiddler2》如圖：

打開Fiddler2軟件時，啟動時間會根據(jù)不同操作系統(tǒng)判斷啟動時間，過程中會出現(xiàn)Fiddler2啟動界面，如圖：

主界面，F(xiàn)iddler2是我們數(shù)據(jù)采集過程一款輔助工具，所以每個功能不做詳細(xì)講解，主要講解我們使用的幾項功能。

五個常用功能使用：

1、File->CaptureTraffic(快捷鍵F12)注：開始監(jiān)聽數(shù)據(jù)或者停止監(jiān)聽數(shù)據(jù)

2、Edit->Remove->AllSessions(快捷鍵Ctrl+x)注：刪除全部監(jiān)聽到的數(shù)據(jù)信息

3、ProcessFilter注：利用鼠標(biāo)拖拽到數(shù)據(jù)鋪捉窗口上進(jìn)行數(shù)據(jù)監(jiān)聽

4、Inspectors->TextView注：鋪捉頁面請求內(nèi)容部分?jǐn)?shù)據(jù)信息

5、Inspectors->Raw注：監(jiān)聽到頁面原始信息，就是沒有經(jīng)過分析處理過

由于這幾個功能無法用字面的方式描述清楚，下面直接給大家錄制個視頻使用教程。

視頻文件位置：視頻文件夾下面《Fiddler2視頻教程》，語音教程，觀看前，請帶好耳機(jī)！

介紹第三款工具：LocoySpiderV2010SP3_Ultimate_Dog_Build2011-05-20(火車頭數(shù)據(jù)采集器)

火車采集器(軟著登字0144474號，2009SR017475)(LocoySpider)是一款專業(yè)的功能強(qiáng)大的網(wǎng)絡(luò)數(shù)據(jù)/信息挖掘軟件，通過靈活的配置，您可以很輕松的從網(wǎng)頁上抓取文字、圖片、文件等任何資源。程序支持遠(yuǎn)程下載圖片文件，支持網(wǎng)站登陸后的信息采集，支持探測文件真實地址，支持代理，支持防盜鏈的采集，支持采集數(shù)據(jù)直接入庫和模仿人手工發(fā)布等許多功能特點。火車采集器支持從任何類型的網(wǎng)站采集獲取您所需要的信息，如各種新聞類網(wǎng)站、論壇、電子商務(wù)網(wǎng)站、求職招聘網(wǎng)站等。同時具有強(qiáng)大的網(wǎng)站登錄采集、多頁和分頁的采集、網(wǎng)站跨層采集、POST采集、腳本頁面采集、動態(tài)頁面采集等高級采集功能。強(qiáng)大的php和c#插件支持，讓您可以通過二次開發(fā)實現(xiàn)您所想要的任何更強(qiáng)大的功能。

火車頭官方網(wǎng)站：http://./doc/f06d90c36137ee06eff91862.html/火車頭官方論壇：http://./doc/f06d90c36137ee06eff91862.html/

商業(yè)用戶下載：http://./doc/f06d90c36137ee06eff91862.html/spider-59853-1-1.html

火車頭環(huán)境支持：Microsoft.NETFramework2.0版(x86)

微軟官方下載：http://./doc/f06d90c36137