豆瓣電影排行榜爬蟲(chóng)預(yù)期結(jié)果爬取豆瓣電影的熱門(mén)榜，獲取熱門(mén)榜信息并生成excel文件實(shí)現(xiàn)數(shù)據(jù)可視化成果演示1.py-VisualStudioCode2022-06-2214-21-12.mp4設(shè)計(jì)思路以及代碼展示豆瓣網(wǎng)未登陸的情況下無(wú)法采集數(shù)據(jù)，requests.get會(huì)返回418，418的意思是被網(wǎng)站的反爬程序識(shí)別返回的結(jié)果，所以采集之前要先登錄網(wǎng)站，并且復(fù)制網(wǎng)站的User-Agent和Cookie信息，并且把User-Agent和Cookie轉(zhuǎn)化為字典格式，網(wǎng)頁(yè)鼠標(biāo)右鍵——檢查——Network——Doc——F5刷新網(wǎng)址（這步很重要）——選擇Name下面的‘top250?start=0&filter=’——Headers——Cookie，User-Agent（位于cookie下面）User-Agent和Cookie在網(wǎng)站的位置如下：

可以看到，頁(yè)面上每個(gè)電影的名稱(chēng)都是一個(gè)鏈接，鏈接會(huì)跳到電影的詳情頁(yè)。由于每一個(gè)頁(yè)面上能看到的電影信息有限，所以需要進(jìn)入電影的詳情頁(yè)，才可以采集電影的詳細(xì)信息。首先采集頁(yè)面上25部電影的鏈接采集每部電影的詳細(xì)信息在每一部電影的詳情頁(yè)面，我們采集的信息包括：電影名稱(chēng)、豆瓣評(píng)分、評(píng)分人數(shù)、導(dǎo)演、編劇、主演、類(lèi)型、制片國(guó)家/地區(qū)、語(yǔ)言、上映日期、片長(zhǎng)、又名、IMDb鏈接。代碼如下總代碼展示（基礎(chǔ)版）代碼優(yōu)化通過(guò)觀(guān)察可以看出，豆瓣電影top250榜單總共有10個(gè)頁(yè)面，每個(gè)頁(yè)面有25部電影，總共250部電影。并且，這10個(gè)頁(yè)面的網(wǎng)址有一定的規(guī)律性，那就是網(wǎng)址中的

start

位置，第1個(gè)頁(yè)面start=0，第2個(gè)頁(yè)面start=25，第10個(gè)頁(yè)面start=225，可以推測(cè)出這10個(gè)頁(yè)面的網(wǎng)址中的start呈現(xiàn)出[0,25,50,75,100,125,150,175,200,225]的序列分布規(guī)律。于是可以通過(guò)python循環(huán)自動(dòng)生成10個(gè)網(wǎng)址，并且