項目三數據采集《大數據技術應用基礎》模塊一

認識網絡爬蟲核心目標職業能力1．了解網絡爬蟲的用途以及相關使用規范；2．能掌握Python爬蟲的基本流程框架；3．能使用Python爬蟲爬取需要的數據；4．能將Python處理的數據與本地數據相互轉換。職業素養1．養成自行獲取數據分析所需要資料的習慣；2．培養遵守相關網絡爬蟲法律規定與規范的精神；3．培養編寫規范代碼習慣以提高代碼靈活性。知識圖譜項目背景為了完成老師針對茶葉品類做一份詳盡調查報告的任務，在學習了Python的基本操作以后，小張首先需要進行茶葉品類相關數據的獲取，而對數據的收集工作，網絡爬蟲有著極高的效率與準確性，可以用較短的時間獲取大量的數據以供分析，故小張將在本項目開始學習如何利用Python進行網絡爬蟲爬取需要的數據并保存到本地。在本項目中，小張需要學習本地文件的操作以及如何編寫爬蟲程序，找到適合的數據網頁，并使用爬蟲數據進行爬取，最后再使用本地文件的操作方法將數據保存為Excel類的表格型文件。0102爬蟲的分類與原理編寫爬蟲的基本流程問題引入學習了如何處理本地文件之后，小張又遇到了難題，茶葉品類的數據改如何采集呢？如果自己一個個到網站上復制粘貼不僅時間成本高，而且還容易出錯。小張請教老師了解到Python網絡爬蟲可以高效的獲取分析的數據來源，不但節省時間，而且不會出錯，故小張決定開始學習Python網絡爬蟲來獲取自己想要的數據。爬蟲的分類與原理01一、爬蟲的分類與原理（一）什么是網絡爬蟲概念網絡爬蟲又稱網絡蜘蛛、網絡機器人，它是一種按照一定的規則自動瀏覽、檢索網頁信息的程序或者腳本。功能能夠自動請求網頁，并將所需要的數據抓取下來。通過對抓取的數據進行處理，從而提取出有價值的信息。一、爬蟲的分類與原理（一）什么是網絡爬蟲當用戶搜索引擎發起搜索時，我們輸入的關鍵詞被獲取到之后會從其收錄的眾多網站中進行搜索，然后找到相關聯的網頁再以一定的推薦算法將它們展示給用戶。大型的網絡爬蟲一、爬蟲的分類與原理（二）網絡爬蟲的規范使用網頁開發者為了保護自己的網頁會編寫一個存放于網頁根目錄下的robots協議文件，該文件寫明了訪問者可以進行爬取的位置與不能爬取的位置。約定俗成的協議，不具備法律效力一、爬蟲的分類與原理（二）網絡爬蟲的規范使用網絡信息委員會發布《網絡爬蟲的法律規制》一、爬蟲的分類與原理（二）網絡爬蟲的規范使用惡意抓取侵害他人權益和經營自由通過網絡爬蟲訪問和收集網站數據行為本身已經產生了相當規模的網絡流量，不當手段將幫助非法組織建立虛假網站，產生欺詐風險，以及對知識產權、商業秘密的竊取行為。對目標網站產生DDOS攻擊的效果，導致大量時間和金錢的損失的行為。涉及個人隱私數據抓取與販賣的行為。網絡爬蟲是把雙刃劍，在使用網絡爬蟲爬取數據時，需要注意遵守相關法律規定，不做任何違法之舉。一、爬蟲的分類與原理（三）網絡爬蟲的分類按照系統結構和實現技術分類增量式網絡爬蟲通用網絡爬蟲聚焦網絡爬蟲3類一、爬蟲的分類與原理（三）網絡爬蟲的分類又稱全網爬蟲，爬取對象從一些關鍵的URL擴充到整個Web，是搜索引擎的重要組成部分，爬取的范圍和數量巨大，所以對爬取的速度與儲存空間要求較高，但對爬取頁面的順序要求較低，通常采用并行爬取的方式進行爬取策略：主要有深度搜索與廣度搜索兩種。通用網絡爬蟲一、爬蟲的分類與原理（三）網絡爬蟲的分類又稱主題網絡爬蟲，從名稱容易理解這類爬蟲是有一定的目的性的，只聚焦于某一主題的網頁以及網頁內容，是面向特定需求的一種網絡爬蟲。聚焦網絡爬蟲聚焦網絡爬蟲：爬取范圍小，數量也相對較小，對爬取速度與儲存空間都沒有通用網絡爬蟲那么高的要求，極大地節省了硬件與網絡資源，是數據分析常用的爬取手段。聚焦網絡爬蟲通用網絡爬蟲一、爬蟲的分類與原理（三）網絡爬蟲的分類指對已下載網頁采取增量式更新和只爬取新產生的或者已經發生變化網頁的爬蟲。增量式網絡關注的是網頁的實時變化，通常用于監測某一事務的發展，能夠在一定程度上保證爬取到的是最新的網頁信息。增量式網絡爬蟲編寫爬蟲的基本流程02二、編寫爬蟲的基本流程1．使用request函數打開URL（網址）以獲得網頁HTML對象2．獲取網頁源代碼，在瀏覽器或記事本中分析網頁結構以及元素節點3．通過不同方式定位到需要爬取的元素位置，主要定位方式有id定位、name定位、xpath表達式定位、鏈接定位、標簽定位、類名定位和css選擇器定位等，再對元素進行提取文本等操作，這一過程還可以使用正則表達式解析文本的方式來達到同樣的效果4．在得到數據之后將數據儲存到本地磁盤或數據庫中。Python編寫爬蟲程序的一