第Python爬取當網書籍數據并數據可視化展示目錄一、開發環境二、模塊使用三、爬蟲代碼實現步驟1.導入所需模塊2.發送請求,用python代碼模擬瀏覽器發送請求3.解析數據,提取我們想要數據內容4.多頁爬取5.保存數據,保存csv表格里面四、數據可視化1.導入所需模塊2.導入數據3.可視化

一、開發環境

Python3.8Pycharm2025.2專業版

二、模塊使用

csv模塊把爬取下來的數據保存表格里面的內置模塊

requestspipinstallrequests數據請求模塊

parselpipinstallparsel數據解析模塊css選擇器去提取數據

三、爬蟲代碼實現步驟

導入所需模塊發送請求,用python代碼模擬瀏覽器發送請求解析數據,提取我們想要數據內容多頁爬取保存數據,保存csv表格里面

1.導入所需模塊

importrequests

#數據請求模塊第三方模塊需要pipinstallrequests

importparsel

#數據解析模塊第三方模塊需要pipinstallparsel

importcsv

#保存csv表格數據模塊內置模塊

importtime

#時間模塊

2.發送請求,用python代碼模擬瀏覽器發送請求

headers請求頭作用就是python代碼偽裝成瀏覽器對于服務器發送請求

User-Agent用戶代理瀏覽器的基本身份標識

標題中無效的返回字符或前導空格：User-Agent不要留有空格

通過requests模塊里面get請求方法，對于url地址發送請求，并且攜帶上面header請求頭參數，最后用response變量接收返回數據

url=f'/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-{page}'

#headers請求頭字典數據類型

headers={

'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/96.0.4664.45Safari/537.36'

response=requests.get(url=url,headers=headers)

3.解析數據,提取我們想要數據內容

selector=parsel.Selector(response.text)

#對于獲取到的html字符串數據進行轉換selector對象

#css選擇器就是根據標簽屬性提取相應的數據

lis=selector.css('ul.bang_listli')

forliinlis:

#.name定位class類名name標簽a標簽attr()屬性選擇器取a標簽里面title屬性get()獲取數據

title=li.css('.namea::attr(title)').get()

#書名

#獲取標簽里面文本數據直接text

comment=li.css('.stara::text').get().replace('條評論','')

#評論

recommend=li.css('.star.tuijian::text').get().replace('推薦','')

#推薦

author=li.css('.publisher_infoa:nth-child(1)::attr(title)').get()

#作者

publish=li.css('div:nth-child(6)a::text').get()

#出版社

price_n=li.css('.price.price_n::text').get()

#售價

price_r=li.css('.price.price_r::text').get()

#原價

price_s=li.css('.price.price_s::text').get()

#折扣

price_e=li.css('.price.price_e.price_n::text').get()

#電子書價格

href=li.css('.namea::attr(href)').get()

#詳情頁

dit={

'書名':title,

'評論數':comment,

'推薦量':recommend,

'作者':author,

'出版社':publish,

'售價':price_n,

'原價':price_r,

'折扣':price_s,

'電子書價格':price_e,

'詳情頁':href,

}

csv_writer.writerow(dit)

#數據保存到csv

print(title,comment,recommend,author,publish,price_n,price_r,price_s,price_e,href,sep='|')

4.多頁爬取

forpageinrange(1,26):

#字符串格式化方法

print(f'正在爬取第{page}頁的數據內容')

time.sleep(1.5)

url=f'/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-{page}'

5.保存數據,保存csv表格里面

#創建打開一個文件進行保存

f=open('當當圖書.csv',mode='a',encoding='utf-8',newline='')

csv_writer=csv.DictWriter(f,fieldnames=[

'書名',

'評論數',

'推薦量',

'作者',

'出版社',

'售價',

'原價',

'折扣',

'電子書價格',

'詳情頁',

csv_writer.writeheader()

#寫入表頭

運行代碼，效果如下圖：

四、數據可視化

1.導入所需模塊

importpandasaspd

frompyecharts.chartsimport*

frompyecharts.globalsimportThemeType#設定主題

frommons.utilsimportJsCode

importpyecharts.optionsasopts

2.導入數據

df=pd.read_csv('書籍信息.csv',encoding='utf-8',engine='python')

df.head()

3.可視化

書籍總體價格區間:

pie1=(

Pie(init_opts=opts.InitOpts(theme='dark',width='1000px',height='600px'))

.add('',datas_pair_1,radius=['35%','60%'])

.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:iypmrgu%"))

.set_global_opts(

title_opts=opts.TitleOpts(

title="當當網書籍\n\n原價價格區間",

pos_left='center',

pos_top='center',

title_textstyle_opts=opts.TextStyleOpts(

color='#F0F8FF',

font_size=20,

font_weight='bold'

),

)

)

.set_colors(['#EF9050','#3B7BA9','#6FB27C','#FFAF34','#D8BFD8','#00BFFF','#7FFFAA'])

pie1.render_notebook()

pie1=(

Pie(init_opts=opts.InitOpts(theme='dark',width='1000px',height='600px'))

.add('',datas_pair_2,radius=['35%','60%'])

.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:xiebpdi%"))

.set_global_opts(

title_opts=opts.TitleOpts(

title="當當網書籍\n\n售價價格區間",

pos_left='center',

pos_top='center',

title_textstyle_opts=opts.TextStyleOpts(

color='#F0F8FF',

font_size=20,

font_weight='bold'

),

)

)

.set_colors(['#EF9050','#3B7BA9','#6FB27C','#FFAF34','#D8BFD8','#00BFFF','#7FFFAA'])

pie1.render_notebook()

各個出版社書籍數量柱狀圖:

bar=(

Bar(init_opts=opts.InitOpts(height='500px',width='1000px',theme='dark'))

.add_xaxis(counts.index.tolist())

.add_yaxis(

'出版社書籍數量',

counts.values.tolist(),

label_opts=opts.LabelOpts(is_show=True,position='top'),

itemstyle_opts=opts.ItemStyleOpts(

color=JsCode("""newecharts.graphic.LinearGradient(

0,0,0,1,[{offset:0,color:'rgb(255,99,71)'},{offset:1,color:'rgb(32,178,170)'}])

"""

)

)

)

.set_global_opts(

title_opts=opts.TitleOpts(

title='各個出版社書籍數量柱狀圖'),

xaxis_opts=opts.AxisOpts(name='書籍名稱',

type_='category',

axislabel_opts=opts.LabelOpts(rotate=90),

),

yaxis_opts=opts.AxisOpts(

name='數量',

min_=0,

max_=29.0,

splitline_opts=opts.SplitLineOpts(is_show=True,linestyle_opts=opts.LineStyleOpts(type_='dash'))

),

tooltip_opts=opts.TooltipOpts(trigger='axis',axis_pointer_type='cross')

)

.set_series_opts(

markline_opts=opts.MarkLineOpts(

data=[

opts.MarkLineItem(type_='average',name='均值'),

opts.MarkLineItem(type_='max',name='最大值'),

opts.MarkLineItem(type_='min',name='最小值'),

]

)

)

bar.render_notebook()

書籍評論數最高Top20:

bar=(

Bar(init_opts=opts.InitOpts(height='500px',width='1000px',theme='dark'))

.add_xaxis(price_top.index.tolist())

.add_yaxis(

'書籍單價',

price_top.values.tolist(),

label_opts=opts.LabelOpts(is_show=True,position='top'),

itemstyle_opts=opts.ItemStyleOpts(

color=JsCode("""newecharts.graphic.LinearGradient(

0,0,0,1,[{offset:0,color:'rgb(255,99,71)'},{offset:1,color:'rgb(32,178,170)'}])

"""

)

)

)

.set_global_opts(

title_opts=opts.TitleOpts(

title='單價最高的書籍詳細柱狀圖'),

xaxis_opts=opts.AxisOpts(name='書籍名稱',

type_='cate