Presentation網絡爬蟲入門|以華師圖書館/豆瓣為例(Python實現)@汪政EastChinaNormalUniversity2024年11月10日CONTENTS目錄1什么是爬蟲2背景意義3三步走4模擬登陸5豆瓣抓取6小結2024年11月10日EastChinaNormalUniversity選題背景三步走Review模擬登陸豆瓣抓取小結在我們日常上網瀏覽網頁的時候，經常會看到一些好看的圖片，我們就希望把這些圖片保存下載，或者用戶用來做桌面壁紙，或者用來做設計的素材。我們最常規的做法就是通過鼠標右鍵，選擇另存為。但有些圖片鼠標右鍵的時候并沒有另存為選項，還有辦法就通過就是通過截圖工具截取下來，但這樣就降低圖片的清晰度。好吧～！其實你很厲害的，右鍵查看頁面源代碼。

我們再來看下知乎神貼~可以干哪些有趣的事情？12024年11月10日圖片文本視頻EastChinaNormalUniversity選題背景三步走Review模擬登陸豆瓣抓取小結[第一步]爬哪里（URL）：獲取整個頁面數據[第二步][第三步]怎么爬（Method）:非常強大的正則表達式，以及許多開源庫（urllib,BeautifulSoup）

我們可以通過python

來實現這樣一個簡單的爬蟲功能，把我們想要的代碼爬取到本地。下面就看看如何使用python來實現這樣一個功能。

一般我們三步走！三步走22024年11月10日EastChinaNormalUniversity爬什么（interesting）：你對什么感興趣選題背景三步走Review模擬登陸豆瓣抓取小結Review2024年11月10日EastChinaNormalUniversity瀏覽器訪問服務器的過程在用戶訪問網頁時，不論是通過、IP，還是點擊鏈接，瀏覽器向WEB服務器發出了一個HttpRequest），WEB服務器接收到瀏覽器的請求之后，響應客戶端的請求，發回相應的響應信息（HttpResponse），瀏覽器解析引擎，排版引擎分析返回的內容，呈現給用戶。交互的過程中，HTTP請求和響應時發送的都是一個消息結構。實例：（華東師范大學圖書館）選題背景三步走Review模擬登陸豆瓣抓取小結代碼分析：模擬登陸華東師范大學圖書館爬蟲結果：借閱歷史.txt模擬登陸華東師范大學圖書館\并爬取借閱歷史42024年11月10日EastChinaNormalUniversity

當你要模擬登錄一個網站時，首先要搞清楚網站的登錄處理細節（發了什么樣的數據，給誰發等...）。通過抓取http數據包來分析該網站的登錄流程。同時，我們還要分析抓到的post包的數據結構和header，要根據提交的數據結構和heander來構造自己的post數據和header。并發送給指定url。我們通過urllib2等幾個模塊提供的API來實現request請求的發送和相應的接收。大部分網站登錄時需要攜帶cookie，所以我們還必須設置cookie處理器來保證cookie選題背景三步走Review模擬登陸豆瓣抓取小結抓取豆瓣上計算機類圖書評分最高的top150本書籍，并保存在本地Excel中。2024年11月10日step1分析網頁源代碼結構step2確定爬蟲方法step2本地保存EastChinaNormalUniversity課題背景三步走Review模擬登陸豆瓣抓取小結小結72024年11月10日多線程……代理偽裝使用代理服務器偽裝成瀏覽器訪問反”反盜鏈”多線程并發抓取驗證碼的處理代碼簡單，使用方便，性能也不俗，可謂居家旅行，殺人放火（黑網站），咳咳，之必備神器。EastChi