搜索引擎中網絡爬蟲的設計分析

1)網絡爬蟲高度可配置性。2)網絡爬蟲可以解析抓到的網頁里的鏈接3)網絡爬蟲有簡單的存儲配置4)網絡爬蟲擁有智能的根據網頁更新分析功能5)網絡爬蟲的效率相當的高那么依據特征，其實也就是要求了，如何設計爬蟲呢？要注意哪些步驟呢？1)url的遍歷和紀錄這點larbin做得非常的好，其實對于url的遍歷是很簡單的，例如：cat[whatyougot]tr\"\\ngawk'{print$2}'pcregrep^http://就可以得到一個所由的url列表2)多進程VS多線程各有優點了，現在一臺普通的PC例如一天可以輕松爬下5個G的數據。大約20萬網頁。3)時間更新控制最傻的做法是沒有時間更新權重，一通的爬，回頭再一通的爬。通常在下一次爬的的數據要跟上一次進行比較，如果連續5次都沒有變化，那么將爬這個網頁的時間間隔擴大1倍。如果一個網頁在連續5次爬取的時候都有更新，那么將設置的爬取時間縮短為原來的1／2。注意，效率是取勝的關鍵之一。4)爬的深度是多少呢？看情況了。如果你比較牛，有幾萬臺服務器做網絡爬蟲，我勸您跳過這一點。如果你同我一樣只有一臺服務器做網絡爬蟲，那么這樣一個統計您應該知道：網頁深度：網頁個數：網頁重要程度0:1::101:20::82::600::53::2000::24above:6000:一般無法計算好了，爬到三級就差不多了，再深入一是數據量擴大了3／4倍，二是重要度確下降了許多，這叫做“種下的是龍種，收獲的是跳蚤。5)爬蟲一般不之間爬對方的網頁，一般是通過一個Proxy出去，這個proxy有緩解壓力的功能，因為當對方的網頁沒有更新的時候，只要拿到header的tag就可以了，沒有必要全部傳輸一次了，可以大大節約網絡帶寬。apachewebserver里面紀錄的304一般就是被cache的了。6)請有空的時候照看一下robots.txt7)存儲結構。這個人人見智，google用gfs系統，如果你有7／8臺服務器，我勸你用NFS系統，要是你有70／80個服務器的話我建議你用afs系統，要是你只有一臺服務器，那么隨便。給一個代碼片斷，是我寫的新聞搜索引擎是如何進行數據存儲的：NAME=`echo$URLperl-p-e's/([^\w\-\.\@])/$1eq"\n"?"\n":sprintf("%%%2.2x"，ord($1))/eg'`mkdir-p$AUTHORnewscrawl.pl$URL--user-agent="+(+)"-outfile=$AUTHOR/$NAME特別是注意以下幾句：1.通常在下一次爬的的數據要跟上一次進行比較，如果連續5次都沒有變化，那么將爬這個網頁的時間間隔擴大1倍，如果一個網頁在連續5次爬取的時候都有更新，那么將設置的爬取時間縮短為原來的1／2。網頁更新頻度嚴重影響著搜索引擎蜘蛛程度對網站的爬行，爬取次數越多意味著網頁收錄幾率會越大、收錄數量越多，收錄是SEO最