《數據采集技術與應用》課件-2.3 網絡爬蟲的工作原理和流程_第1頁
《數據采集技術與應用》課件-2.3 網絡爬蟲的工作原理和流程_第2頁
《數據采集技術與應用》課件-2.3 網絡爬蟲的工作原理和流程_第3頁
《數據采集技術與應用》課件-2.3 網絡爬蟲的工作原理和流程_第4頁
《數據采集技術與應用》課件-2.3 網絡爬蟲的工作原理和流程_第5頁
已閱讀5頁，還剩5頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

爬蟲的工作原理和流程數據采集技術與應用內容/content通用爬蟲的工作原理01聚焦爬蟲的工作原理02爬蟲的工作流程03總結與思考04爬蟲的工作原理通用網絡爬蟲和聚焦網絡爬蟲是如何工作的？通用爬蟲的工作原理通用網絡爬蟲的采集目標是整個互聯網上的所有網頁，它會從一個或多個初始URL開始，獲取初始URL對應的網頁數據，并不斷從該網頁數據中抽取新的URL放到隊列中，直至滿足一定的條件后停止。通用爬蟲的工作原理（1）獲取初始URL。既可以由用戶指定，也可以由待采集的初始網頁指定。（2）抓取頁面，并獲得新URL。根據初始URL抓取對應的網頁，之后將該網頁存儲到原始網頁數據庫中，并且在抓取網頁的同時對網頁內容進行解析，并從中提取出新URL。（3）將新URL放入URL隊列。有了新URL之后，我們需要將新URL放入URL隊列中。（4）讀取新URL。從URL隊列中讀取新URL，并根據該URL獲取對應網頁數據，同時從新網頁中抽取新的URL。（5）是否滿足停止條件。若網絡爬蟲滿足設置的停止條件，則停止采集；若網絡爬蟲沒有滿足設置的停止條件，則繼續根據新URL抓取對應的網頁，并重復步驟（2）~（5）。聚焦爬蟲的工作原理聚焦網絡爬蟲面向有特殊需求的人群，它會根據預先設定的主題順著某個垂直領域進行抓取，而不是漫無目的地隨意抓取。與通用網絡爬蟲相比，聚焦網絡爬蟲會根據一定的網頁分析算法對網頁進行篩選，保留與主題有關的網頁鏈接，舍棄與主題無關的網頁鏈接，其目的性更強。聚焦爬蟲的工作原理（1）根據需求確定好聚焦網絡爬蟲的采集目標，以及進行相關的描述。（2）獲取初始URL。（3）根據初始URL抓取頁面，并獲得新URL。（4）從新URL中過濾掉與采集目標無關的URL。（5）將過濾后的URL放到URL隊列中。（6）根據一定的抓取策略，從URL隊列中確定URL優先級，并確定下一步要抓取的URL。（7）從下一步要抓取的URL中讀取新URL，以準備根據新URL抓取下一個網頁。（8）若聚焦網絡爬蟲滿足設置的停止條件，或沒有可獲取的URL時，停止采集；若網絡爬蟲沒有滿足設置的停止條件，則繼續根據新URL抓取對應的網頁，并重復步驟（3）~（8）。爬蟲的工作流程(1)選擇一些網頁，將這些網頁的鏈接作為種子URL放入待抓取URL隊列中。(2)從待抓取URL隊列中依次讀取URL。(3)通過DNS解析URL，把URL地址轉換為網站服務器所對應的IP地址。(4)將IP地址和網頁相對路徑名稱交給網頁下載器，網頁下載器負責網頁內容的下載。(5)網頁下載器將相應網頁的內容下載到本地。(6)將下載到本地的網頁存儲到頁面庫中，同時將使用過的URL放入到已抓取的URL隊列中，避免重復抓取。(7)對于剛下載的網頁中抽取出所包含的URL信息。(8)在已抓取URL隊列中檢查抽取的URL是否被下載過。如果它還未被下載過，則將這個URL放入待抓取URL隊列中。如此重復（2）~（8），直到待抓取URL隊列為空。

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論