湖南商務職業(yè)技術學院畢業(yè)設計

目錄

1引言1

1.1項目背景1

1.2開發(fā)環(huán)境與工具2

1.2.1Python簡介2

1.2.2MySQL簡介2

1.2.3Jupyternotebook簡介2

1.2.4第三方庫簡介3

1.2.5Pyecharts介紹3

2需求分析3

2.1可行性需求分析3

2.2采集目標功能分析4

2.3關鍵技術分析4

2.3.1網絡爬蟲技術4

2.3.2文件存取技術5

2.3.3可視化技術5

2.3.4數據清洗技術5

3數據采集6

3.1采集頁面分析6

3.2字段分析8

3.2.1產品/品種字段分析8

3.2.2所在產地字段分析9

3.2.3價格分析10

3.2.4添加時間字段分析11

3.3編程實現11

4數據清洗與處理12

4.1數據清洗12

4.2數據儲存14

I

湖南商務職業(yè)技術學院畢業(yè)設計

5數據統(tǒng)計與分析17

5.1數據準備17

5.2數據展示19

5.2.1依據“所在產地”找出產品量最大前10和最少前10的數據統(tǒng)計19

5.2.2依據水果品種數據詞頻進行統(tǒng)計21

5.2.3依據產水果商品價格進行統(tǒng)計和分析22

5.2.4依據果農上傳水果價格時間進行統(tǒng)計23

5.3綜述24

6小結24

參考資料25

II

湖南商務職業(yè)技術學院畢業(yè)設計

基于Python的中國水果交易網數據采集與分析

1引言

近些年來，信息技術的發(fā)展已成為中國社會發(fā)展的最重要特征之一。該領

域為中國經濟發(fā)展帶來了巨大的應用價值，凸顯了社會發(fā)展的多樣性。隨著中

國技術發(fā)展的不斷創(chuàng)新，電子商務領域也面臨著創(chuàng)新發(fā)展的挑戰(zhàn)。盡管電子商

務是近幾年才發(fā)展起來的新興產業(yè)，但技術創(chuàng)新必然會帶來新的變化。其中，

大數據、云計算等高新技術和新興技術在推動這一內容方面發(fā)揮了重要作用。

利用大數據技術收集和分析信息的能力可以為電子商務交易提供動態(tài)的實時服

務體驗，有助于更有效地控制信息和運營電子商務業(yè)務。

1.1項目背景

中國水果電子交易平臺于2011年1月1日正式上線！它是由來自安徽的

安徽方偉創(chuàng)立的，在水果和電子商務等領域有經驗！我們希望建立亞洲最大的

水果貿易信息平臺！

專業(yè)的國內水果交易平臺為其成員提供豐富的商業(yè)信息，并每天推薦大量

知名公司，提供不同行業(yè)經濟活動的參考。憑借其獨特的市場定位和深度服務

內容，該網站每天有數千次訪問，并穩(wěn)步增長，成為企業(yè)溝通，發(fā)布和接收信

息的重要渠道。

通過中國水果交易網市場的數據采集、利用可以有效的了解水果市場的發(fā)

展趨勢。利用python強大的爬蟲庫，可視化庫，anaconda庫等，為數據分析和

挖掘提供強大支持。

針對中國水果交易網水果類的產品進行數據分析挖掘行為，通過數據可視

化將爬取到的數據圖形化，從而直觀的了解市場和水果之間的供給關系，預測

消費者對市場上水果的喜好要求，從而制定一個可以適應不同消費個性需求的

營銷方案，為農產平打開新市場。

充分利用python語言，針對中國水果交易網水果類農產品，對產品數據進

行爬取、清洗、可視化分析，從中找出我們需要的信息。農業(yè)生產力和市場一

直有不平衡的問題存在，從而發(fā)生農產品滯銷，這時大數據技術的優(yōu)點就體現

出來了，可以利用大數據來分析市場需求，來解決果農的相關問題，幫助果農

更好的掌握信息，從根本上解決問題。

本項目大致步驟分為：確定目標，明確目的，數據爬取，數據清洗，數據

1

湖南商務職業(yè)技術學院畢業(yè)設計

可視化分析這五項，本項目將中國水果交易網數據信息爬取到本地，將數據轉

換成用戶看得懂，讀得懂的數據，讓用戶更容易了解市場信息。

1.2開發(fā)環(huán)境與工具

本項目涉及到中國水果交易信息的數據采集可趨勢分析，以及呈現數據的

可視化圖形，技術包含python爬蟲技術、可視化分析技術、數據采集和分析技

術。所用的軟件主要包括chrome瀏覽器、pycharm，和基于一些python的開發(fā)

環(huán)境和工具，使用到的數據棧有python、Anaconda、Echarts、Jupyter

notebook。

1.2.1Python簡介

20世紀80年代末,荷蘭的龜叔（GuidoRossum）創(chuàng)造了Python。

Python語言是在ABC語言的基礎上開發(fā)而形成的，最初是作為ABC語言的

一個替代品開發(fā)的。盡管ABC語言是一種強大的高級編程語言，但不幸的是，

由于ABC語言好還尚未被廣泛使用。在這個基礎上，Guido在開發(fā)之初選擇了開

源Python語言。Python語言不僅增加了ABC語言中所沒有的許多功能，而且還

為它開發(fā)了許多豐富而強大的庫。有了這些Python庫，程序員可以輕松地將其

他語言的不同模塊（特別是C語言和C++語言）結合起來，所以Python語言通

常被稱為“膠水”語言。

1.2.2MySQL簡介

由瑞典公司MySQLAB開發(fā)的MySQL關系型數據庫管理系統(tǒng)是Oracle的產

品。MySQL是最流行的關系型數據庫管理系統(tǒng)之一。在Web應用程序方面，MySQL

也是最好的RDBMS（關系數據庫管理系統(tǒng)）應用程序。

MySQL是一個關系數據庫管理系統(tǒng)。相對數據庫將數據存儲在不同的表中，

而不是將所有數據放在一個大型倉庫中，這樣提高了速度和靈活性。

MySQL數據庫使用的SQL語言是最常用的標準數據庫訪問語言。MySQL軟件

采用雙重授權策略，分為社交版和商業(yè)版。MySQL由于其體積小、速度快、總擁

有成本低，尤其是開源的，通常被選為創(chuàng)建小型、中型和大型網站的網站數據

庫。

1.2.3Jupyternotebook簡介

JupyterNotebook是一個開源的Web應用程序，允許用戶創(chuàng)建和共享包含

2

湖南商務職業(yè)技術學院畢業(yè)設計

代碼、公式、可視化和文本的文檔。其應用包括：數據清理和轉換、數值建模、

統(tǒng)計建模、數據可視化、機器學習等。

1.2.4第三方庫簡介

Requests：是一個清晰簡單的第三方庫，用于處理HTTP請求。它們最大的

一個優(yōu)點是在編程過程更加接近訪問URL的過程。這個庫基于urllib3，Python

語言庫。

Csv：csv屬于python中的內置模塊,它能夠直接讀取csv格式的文件或者

將數據直接存入到csv表格中。并且csv文件是表格和數據庫中常見的文件操

作格式。

Numpy：是Python中的一個用于第三方數字計算的開源庫，用于處理相同

類型數據的多維數組，縮寫為“ndarray”,簡稱數組。這個開源庫可以用來進

行存儲和處理大型矩陣，這比Python語言的列表結構更有效。Numpy提供了許

多先進的數值編程工具，如矩形計算，向量處理，n維數據轉換等。

Pandas：一個基于Numpy擴展的重要第三方庫，用于解決數據分析任務。

Pandas提供了一組標準數據模型以及各種功能和方法，以快速方便地輸出數據，

并提供了有效處理大型數據集所需的工具。。

Matplotlib是Python符號庫。它可以與Numpy一起工作，并提供了一個有

效的開源MATLAB替代品。

wordcloud、scipy、jieba：生成中文詞云的。

1.2.5Pyecharts介紹

pyecharts是Python與Echarts結合之后的產物，Echarts是一個由百度

開源的數據可視化庫，它是一個純JavaScript的圖表庫，可以為用戶提供直觀

生動，可以直接交互，可高度個性化定制的數據可視化圖表，pyecharts封裝了

Echarts各類圖表的基本操作，通過了渲染機制，直接輸出一個包含JS代碼的

HTML文件。

2需求分析

2.1可行性需求分析

1.技術可行性

以Windows10為操作系統(tǒng)，基于python3.8版本，采用了jupyternotebook

3

湖南商務職業(yè)技術學院畢業(yè)設計

和PyCharm為開發(fā)工具，運用mysql進行數據庫存儲；

對于python爬蟲來說，python是非常優(yōu)秀的編程語言，因為python中有

很多非常好用的爬蟲庫，像xpath、beautifulSoup、正則表達式等等，可以十

分方便的寫爬蟲腳本。

在數據可視化中，也經常會使用python的可視化庫matplotlib、pyEcharts。

Python編程語言的語法很簡單，方便用戶進行代碼編寫，可讀性強。

本次項目使用python編程語言，利用簡單易懂的python進行程序的編寫，

能夠讓我更加輕松的編寫爬蟲、數據清洗、可視化。再加上利用python強大的

第三方庫，利用這些庫，為我爬取中國水果交易網的信息、數據清洗、可視化

提供了十分良好的技術支持。

2．項目可行性

本次項目利用大數據技術對中國水果交易網進行數據采集分析，通過對這

些數據的可視化分析，可以從這些圖像中發(fā)現一些價格上，銷售上的規(guī)律。通

過利用這樣的技術對中國水果交易網水果的銷售可以有預見性的分析，可以用

來解決很多農產品上經常出現的問題，比如農業(yè)生產和市場匹配的問題。通過

大數據分析，對市場上存在的問題預知，對市場起一個先知作用，在農產品的

生產和銷售上參與，可以精確定位消費者們的喜好，提高自己農產品的質量，

從而定制一個更有針對性的銷售策略，滿足消費者需求。

2.2采集目標功能分析

此次項目的數據來源于中國水果交易網(“/”),是

使用xpath對數據進行定位爬取中國水果交易網水果行情信息，數據爬取共

12000條記錄，以此保證數據的準確性。

基于python編程語言的開發(fā)環(huán)境和xpath，對中國水果交易網水果行情進

行爬取采集數據，所有的數據都是來源于中國水果交易網上水果行情的真實信

息，然后對網頁上的產品、所在產地，和價格，和上傳時間進行爬取，然后將

數據進行清洗，去掉一些不需要的信息，然后通過可視化作圖進行展示，讓數

據變得美觀，利于用戶的閱讀性。

2.3關鍵技術分析

2.3.1網絡爬蟲技術

網絡爬蟲也叫網絡機器人或者網頁蜘蛛。利用程序或者是腳本來自動穿梭

4

湖南商務職業(yè)技術學院畢業(yè)設計

互聯(lián)網，然后進行數據信息的采集。網絡爬蟲按照系統(tǒng)結構和實現技術，可以

分為：通用網絡爬蟲、聚焦網絡爬蟲、增量式網絡爬蟲、深層網絡爬蟲等等。

網絡爬蟲基本工作流程：

首先選取url網址，將這些url網址放入代抓取的url隊列中；利用http

庫發(fā)送一個requests的請求到目標網站上面去。如果服務器正常響應，就會返

回一個response對象給用戶，而這個response對象上就會包含有要獲取的網

頁內容。然后再利用python網絡爬蟲自帶的解析庫，對爬取到的數據進行解析。

最后就可以保存成各種格式的文件，然后放入數據庫中。

2.3.2文件存取技術

CSV全稱“Comma-SeparatedValues”，是一種使用逗號分割值格式的文件

格式，也是一種純文本格式文件。他可以和excel表格進行轉換。

MySQL數據庫是一個關系型數據庫管理系統(tǒng)。關系型數據庫將數據存儲在不

同的表中，而不是存儲在大型數據倉庫中，這可以提高運行速度、增加靈活性

并簡化數據管理。

2.3.3可視化技術

數據可視化就是將大量的數據進行清洗，通過圖形化進行有效的表達，能

夠更加簡潔高效的觀看到某些數據得不到的信息，幫助我們發(fā)現某些數據尋找

不到的特征和規(guī)律。

Pyecharts是一個用于生成ECharts圖表的類庫。實際上就是ECharts與

Python的對接，提供直觀，交互豐富，可以高度個性化制定的數據可視化圖表。

本項目是針對中國水果交易網爬取的數據進行數據可視化分析，觀察其數

據的變化，分析其數據走向。

2.3.4數據清洗技術

在本項目中數據清洗主要利用python編程語言中的pandas庫。

Pandas是一個免費的開源的第三方python庫，是python數據分析必不可

少的工具之一，pandas是Python編程語言的核心數據分析支持庫，提供了快速、

靈活、明確的數據結構，目的在于可以簡單、直觀地處理關系型、標記型數據。

它可以為python提供了高性能，和易于使用的數據結構像Series結構和

DataFrame結構。

在本項目中使用pandas庫主要是為了清洗數據，對數據進行分組，求和等

5

湖南商務職業(yè)技術學院畢業(yè)設計

操作，然后找出符合要求的數據，讓數據最后能夠符合作圖的要求。

3數據采集

針對中國水果采集網的相關數據進行采集，使用了python編程語言和第三

方庫xpath爬蟲庫進行數據爬取采集。通過解析網站信息，獲得網站信息，并

通過pandas將數據轉成DataFrame，再存成csv文件，最后存到MySQL數據庫

中。

3.1采集頁面分析

通過觀察圖3-1其中的URL為：

(“/market?page=1”),與圖3-2的URL相比較

(“/market?page=2”)可以發(fā)現只有URL的最后一個數

字發(fā)生改變。

圖3-1第一頁URL

6

湖南商務職業(yè)技術學院畢業(yè)設計

圖3-2第二頁URL

按F12調出開發(fā)者工具,刷新頁面,可以發(fā)現該頁面是GET請求，如圖3-3

所示，利用全局搜索工具定位到所需數據位置，點擊開發(fā)者工具中的Network

找到網頁URL，然后選擇headers，并找到User-Agent（如圖3-4）設置為請求

頭。

圖3-3開發(fā)者工具GET

7

湖南商務職業(yè)技術學院畢業(yè)設計

圖3-4網頁代碼User-Agent

3.2字段分析

通過開發(fā)者工具，我們可以確定需要爬取的有關數據有：水果的產品/品種、

水果的所在產地、水果的價格、水果的添加時間。通過分析可知，所有爬取的

每條數據都在class="market-tableclearFlo"中（如圖3-5所示），使用xpath

定位到數據所在位置，通過xpath的路徑：‘//div[class="market-table

clearFlo"]/ul/a’就可以挖掘出每個頁面的每條數據。

圖3-5網頁源代碼

3.2.1產品/品種字段分析

打開開發(fā)者工具，分析水果行情的“產品/品種”在ul標簽下的a標簽的

第一個li[@class="list1"]上，使用xpath定位“產品/品種”的路徑：

“l(fā)i[@class="list1"]/text()”定位到后保存到變量product中（如圖3-6）

得到數據(如圖3-7)。

8

湖南商務職業(yè)技術學院畢業(yè)設計

圖3-6‘產品/品種’xpath查詢代碼

圖3-7‘產品/品種’數據

3.2.2所在產地字段分析

分析水果行情的“所在產地”都在ul標簽下的a標簽的第二個

li[@class="list2ellipsis"]上，使用xpath定位“所在產地”的路徑：

“l(fā)i[@class="list2ellipsis"]/text()”定位到后保存到變量

product_place中（如圖3-8）得到數據(如圖3-9)。

圖3-8‘所在產地’xpath查詢代碼

9

湖南商務職業(yè)技術學院畢業(yè)設計

圖3-9‘所在產地’數據

3.2.3價格分析

分析水果行情的“價格”都在ul標簽下的a標簽的第3個

li[@class="list3"]上，使用xpath定位“價格”的路徑：“l(fā)i[@class="

list3"]/text()”定位到后保存到變量price中（如圖3-10）得到數據(如圖

3-11)。

圖3-10“價格”xpath查詢代碼

圖3-11“價格”數據

10

湖南商務職業(yè)技術學院畢業(yè)設計

3.2.4添加時間字段分析

分析水果行情的“添加時間”都在ul標簽下的a標簽的第4個

li[@class="list6"]上，使用xpath定位“添加時間”的路徑：“l(fā)i[@class="

list6"]/text()”定位到后保存到變量date中（如圖3-12）得到數據(如圖

3-13)。

圖3-12“添加時間”xpath查詢代碼

圖3-13“添加時間”數據

3.3編程實現

項目使用的是pycharm程序，針對中國水果交易網的數據，用python程序

開發(fā)，爬蟲代碼基于xpath，利用xpath方法進行網頁數據位置定位，有效的查

找節(jié)點位置。借助這些完成網頁數據的的http請求，響應，解析和存儲。

代碼實現如下（圖3-14、圖3-15）：

11

湖南商務職業(yè)技術學院畢業(yè)設計

圖3-14編程代碼一

圖3-15編程代碼二

4數據清洗與處理

在當今這個時代，每時每刻都會有大量的數據出現，這些數據不是可以直

接使用的，需要對數據進行重新的審查和校驗，目的在于刪除重復的信息、糾

正存在的錯誤等等，所以數據的清洗對我們爬蟲爬取下來的數據來說是必不可

少的。數據清洗從字面意思上來看就是把“臟”的“數據清洗干凈”，其中數

據清洗的主要類型包括：殘缺數據、錯誤數據、重復數據。

4.1數據清洗

第一步部署環(huán)境，導入分析的包和數據。通過pandas庫讀取我們需要的數

12

湖南商務職業(yè)技術學院畢業(yè)設計

據，利用pd.read_csv來讀取csv文件。這里我們可以觀察到數據（圖4-1）需

不需要進行數據清洗，有沒有臟數據。

圖4-1數據清洗準備頁面

通過這里的數據可以發(fā)現，爬取的數據存在一些不統(tǒng)一的情況，這會對后

續(xù)的數據處理造成影響。其中存在誤差的字段是product和price兩個字段。

首先，在price中出現多種單位（/件、/斤、/箱等），在確保數據量足夠

的情況下，我們可以利用panda的索引特性將元/斤的數據保存下來，將其他不

是元/斤的數據刪除。（如圖4-2）

在product中出現非水果字段（其他），這種字段會影響數據的準確性，

所以需要將product等于其他的行刪除，只保留正確的水果名稱。（如圖4-2）

只保留字段price的純數字字段，然后保存完畢的數據存入新表中（如圖

4-3）

13

湖南商務職業(yè)技術學院畢業(yè)設計

圖4-2數據清洗完成界面一

圖4-3數據清洗完成界面二

4.2數據儲存

本次項目的數據存儲是通過MySQL數據庫的文件存儲方式進行存儲。將爬

14

湖南商務職業(yè)技術學院畢業(yè)設計

取的數據通過Pandas的“DataFrame.to_csv()”按utf-8個字符編碼格式存儲

成csv文件，在將csv文件保存到MySQL數據庫中。

如圖4-4所示：

圖4-4數據存儲為csv頁面

MySQL是一個關系的數據庫管理系統(tǒng)。關系數據庫將數據存儲在不同的表中，

而不是將所有數據存儲在大型倉庫里面，從而提高了速度和靈活性。本次項目

將數據導入Mysql數據庫進行保存，這里可以使用一款軟件（navicatfor

mysql），您可以在這里使用MySQL導航軟件，這是管理MySQL的完美解決方案。

是一個嵌入式方法，可以將CSV表直接存儲在MySQL中。

這里我們創(chuàng)建好數據庫之后，右擊“表”選擇“導入向導”(如圖4-5)，

圖4-5導入向導

出現“導入向導”選項框，點擊“csv文件”（如圖4-6），

15

湖南商務職業(yè)技術學院畢業(yè)設計

圖4-6設置導入格式

然后選擇數據源（如圖4-7），

圖4-7數據源選擇

之后就可以一直使用默認選項到步驟5（選擇目標表），可以更改數據表的

名字，這里不做修改（如圖4-8）。

圖4-8修改表名

點擊下一步到步驟6，這里可以修改表的類型（如圖4-9）。

16

湖南商務職業(yè)技術學院畢業(yè)設計

圖4-9調整表

最后選擇開始導入，完成導入，然后打開表看自己導入的數據（如圖

4-10）。

圖4-10數據存儲MySQL頁面

5數據統(tǒng)計與分析

5.1數據準備

使用mysql將我們存入數據庫frame_produce_analyse的數據表

fruit_analyse1中的數據取出，然后使用juypternotebook對數據數據準備

（如圖5-1）。

17

湖南商務職業(yè)技術學院畢業(yè)設計

圖5-1準備數據

本項目爬取“中國水果交易網”，一共爬取500頁數據，最終清洗完成的

數據量是8751條，然后將這8751條數據進行數據可視化分析。

18

湖南商務職業(yè)技術學院畢業(yè)設計

5.2數據展示

5.2.1依據“所在產地”找出產品量最大前10和最少前10的數據統(tǒng)計

根據爬取出來的“所在產地”進行可視化分析，按照每個地區(qū)出產的產品

總數進行統(tǒng)計，按照數量最多的地區(qū)從大到小排序，最后通過可視化技術對數

據進行圖形化展示。統(tǒng)計完圖形化展示如下：

圖5-2各產地產品總數最多前10個

根據爬取出來的“所在產地”進行可視化分析，按照每個地區(qū)出產的產品

總數進行統(tǒng)計，按照數量最少的地區(qū)從大到小排序，最后通過可視化技術對數

據進行圖形化展示。統(tǒng)計完圖形化展示如下：

19

湖南商務職業(yè)技術學院畢業(yè)設計

圖5-3各產地產品總數最少前10個

通過對圖形5-2和圖形5-3分析可得：

在前10地區(qū)產品總數中產品數最多的是渭南市，達到總產數404個。產品

數最少的是云南，產品數僅僅只有1個。

中國31個?。ㄊ?自治區(qū)）均有水果分布，其中山東省水果產量常年位居

全國首位，陜西、河南、廣西、廣東水果常年在全國水果產量前5位浮動。像

渭南市，陜西省轄地級市，位于陜西中東部，關中平原東部，屬暖溫帶半濕潤

半干旱季風氣候，四季分明，光照充足，雨量適宜，盛產水果，如蒲城酥梨、

白水蘋果、大荔西瓜等等。

實現代碼如下：

圖5-2各產地產品總數最多前10個代碼

20

湖南商務職業(yè)技術學院畢業(yè)設計

圖5-4各產地產品總數最少前10個代碼

5.2.2依據水果品種數據詞頻進行統(tǒng)計

讀取csv表，對總數據中的水果名進行關鍵詞分析形成視覺上的放大顯示,

可以從圖形化展示中篩選出有用的文本信息，過濾掉大量不需要的信息。

如下圖所示：

圖5-5水果品種詞云圖

從圖5-5可知，詞云圖中出現頻次最高的桔子，紅富士蘋果、葡萄、橙子、

梨、西瓜次之。

可以發(fā)現果農們主要的水果產品是桔子，因為桔子對氣候的要求并不嚴格，

很多地區(qū)都有種植柑橘類水果，而且桔子成熟后，產量也是極大的，價格也便

21

湖南商務職業(yè)技術學院畢業(yè)設計

宜，深受廣大群眾的喜愛，這也就成為大多數果農的主要產品之一。

實現代碼如下：

圖5-6詞云圖代碼

5.2.3依據產水果商品價格進行統(tǒng)計和分析

圖5-7不同價格商品的數據頁面

上圖通過爬取出來的數據的商品價格進行可視化數據分析統(tǒng)計，按照價格

發(fā)布數量從大到小進行排序（取前20條數據），然后通過可視化對每條數據的

價格進行統(tǒng)計。

從圖4-7中可以得知價格在2元一斤和3元一斤的水果最多。

我們可以看到排名第一的水果數量和排名靠后的水果數量相差很大。第一

的價格只有2元，而最后的有20元，在價格上也相差很大。這就說明在一定程

度上果農們更喜歡種植產量大價格低的水果，像是桔子、蘋果之類的。

22

湖南商務職業(yè)技術學院畢業(yè)設計

實現代碼如下圖5-8：