大數(shù)據(jù)導(dǎo)論Scrapy項(xiàng)目搭建————數(shù)據(jù)采集需求說(shuō)明Scrapy項(xiàng)目開(kāi)發(fā)可以有多種方式，可以使用Python自帶的可視化開(kāi)發(fā)工具

IDLE，也可以使用其它支持Python開(kāi)發(fā)的開(kāi)發(fā)工具。

本課將基于IDEA集成開(kāi)發(fā)環(huán)境講解搭建一個(gè)爬取新浪網(wǎng)的新聞模塊的Scrapy項(xiàng)目。

需求說(shuō)明爬取字段：標(biāo)題數(shù)據(jù)目標(biāo)HTML區(qū)域：<divid="xy-impcon"></div>創(chuàng)建項(xiàng)目

1、打開(kāi)IDEA，“新建項(xiàng)目”2、項(xiàng)目類(lèi)別選擇“Python”3、ProjectSDK選擇本機(jī)安裝的python版本，點(diǎn)擊“下一步”創(chuàng)建項(xiàng)目

4、設(shè)置項(xiàng)目名：SinaProject5、設(shè)置項(xiàng)目位置，本課項(xiàng)目位置是E:\TeachProjects\PythonProjects\SinaProject6、點(diǎn)擊完成創(chuàng)建項(xiàng)目

此時(shí)，SinaProject項(xiàng)目還僅僅是普通的python項(xiàng)目。7、點(diǎn)擊IDEA的左下角的“Terminal”8、輸入創(chuàng)建Scrapy項(xiàng)目的命令，項(xiàng)目名為GetNews。

scrapystartprojectGetNews可以看到工程列表中已新增了一個(gè)GetNews的文件夾Scrapy常用命令創(chuàng)建項(xiàng)目：scrapystartprojectxxx進(jìn)入項(xiàng)目：cd

xxx

#進(jìn)入某個(gè)文件夾下創(chuàng)建爬蟲(chóng)：scrapygenspiderxxx（爬蟲(chóng)名）（網(wǎng)站域名）生成文件：scrapycrawlxxx-oxxx.json(生成某種類(lèi)型的文件)運(yùn)行爬蟲(chóng)：scrapycrawlXXX列出所有爬蟲(chóng)：scrapylist獲得配置信息：scrapysettings[options]新增item模型

Item用來(lái)定義結(jié)構(gòu)化數(shù)據(jù)字段，用來(lái)保存爬取到的數(shù)據(jù)。

可以通過(guò)創(chuàng)建一個(gè)scrapy.Item類(lèi)，并且定義類(lèi)型為scrapy.Field的類(lèi)屬性來(lái)定義一個(gè)Item（可以理解成類(lèi)似于ORM的映射關(guān)系）

在Items.py文件中，創(chuàng)建一個(gè)NewsItem類(lèi)，和構(gòu)建item模型（model），添加news_title屬性，如圖。編寫(xiě)爬蟲(chóng)1、點(diǎn)擊IDEA的左下角的“Terminal”2、切換到GetNews項(xiàng)目：cdGetNews3、輸入創(chuàng)建爬蟲(chóng)的命令：

scrapygenspidernews""

此時(shí)，在項(xiàng)目下的spider目錄下，已新增了一個(gè)news.py的爬蟲(chóng)文件編寫(xiě)爬蟲(chóng)打開(kāi)spider目錄下的news.py爬蟲(chóng)文件，做如圖修改。由于需要在IDEA中執(zhí)行，確保name值與爬蟲(chóng)類(lèi)名一致。編寫(xiě)爬蟲(chóng)

修改爬蟲(chóng)的parse方法，對(duì)response對(duì)象解析提取數(shù)據(jù)。

這里使用了Xpath對(duì)爬取的內(nèi)容進(jìn)行解析。

本課中，僅打印出爬取的標(biāo)題，不做存儲(chǔ)。運(yùn)行爬蟲(chóng)打開(kāi)setting.py文件，設(shè)置忽略robots.txt規(guī)則，修改。