大數據，大智慧，大未來項目1：校園消費數據網頁制作項目描述大數據采集技術課程主要目的是通過網絡爬蟲技術，獲取網頁源代碼，根據網頁結構對源代碼進行解析，從而獲取數據，可以說網頁結構是獲取網頁源代碼和解析代碼的基礎。本課程主要依托的工作場景是校園消費數據管理系統，這是一個需要用戶登錄之后才能訪問的系統。本項目主要介紹和數據采集相關的網頁制作技能，包括登錄頁面和消費數據展示頁面的制作，讓學生掌握網頁制作的基礎知識和基本技能，包括使用HTML進行網頁布局、使用FORM實現表單交互、以及使用簡單的PHP和HTML混編實現分頁顯示。任務分解項目1校園消費數據網頁制作任務1.1.登錄頁面制作HTML布局表單交互任務1.2流水查詢頁面制作數據獲取HTML布局與數據展示分頁顯示0102大數據，大智慧，大未來1.1登錄頁面制作任務描述根據對校園消費數據系統應用單位的調研，已知管理員可以通過賬號和密碼登錄該校的校園消費數據系統進行數據查詢。根據校園消費數據采集的實際需求出發，本任務要求實現登錄頁面的制作。壹知識儲備Knowledgereserve貳技能小練Skillpractice叁任務實施Taskimplementation肆任務小結TasksummaryCONTENTS目錄知識儲備第一環節WampServerForm標簽Input標簽Div標簽知識點1.1WampServer為了進行校園消費數據網頁制作，并運行熟悉其工作流程，本任務是基于WampServer集成開發環境，使用SubLimeText3編輯器進行代碼編寫。因此，本任務重點講述在Windows10下WampServer的啟動、服務的查看，以及SubLimeText3進行登錄網頁的制作。WampServer就是WindowsApacheMysqlPHP集成安裝環境，即在Windows操作系統下的Apache、Php和Mysql的服務器軟件。擁有簡單的圖形和菜單安裝和配置環境。知識點1.1WampServerApache(音譯為阿帕奇)是世界使用排名第一的Web服務器軟件。它可以運行在幾乎所有廣泛使用的計算機平臺上，由于其跨平臺和安全性被廣泛使用，是最流行的Web服務器端軟件之一。MySQL是一個關系型數據庫管理系統，由瑞典MySQLAB公司開發，屬于Oracle旗下產品。MySQL是最流行的關系型數據庫管理系統之一，在WEB應用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關系數據庫管理系統)應用軟件之一。PHP（PHP:HypertextPreprocessor）即“超文本預處理器”，是在服務器端執行的腳本語言，尤其適用于Web開發并可嵌入HTML中。

技能小練知識點1.2Form標簽Form標簽是html中重要的組成部分，是用于搜集不同類型的用戶所輸入的信息。格式：<formaction=""method=""name=””></form>語法說明：action：定義在提交表單時執行的動作，向服務器提交表單的通常做法是使用提交按鈕，通常，表單會被提交到web服務器上的網頁。method：規定在提交表單時所用的HTTP方法（GET或POST）。name：一個頁面上的表單可能不止一個，為了區分這些表單，就需要name屬性給表單命名，通常與id屬性值相同。需要注意的是表單名稱中不能包含特殊字符和空格。注意：Form標簽需要和input等標簽一同使用，有關input標簽的內容將在知識點1.4中做介紹。

技能小練知識點1.3Input標簽<input>表示form表單中的一種輸入對象，其又隨type類型不同而分為文本輸入框、密碼輸入框，單選/復選框，提交/重置按鈕等。用戶名將使用文本輸入框，格式如下所示。<inputtype=”text”name=”根據要求設置”/>以上是一個文本域<input>的基本構成，其中type屬性設置為text，表示是文本域，name指定了該文本輸入框的名稱，在后臺使用php進行數據交互時將使用該名訪問這個元素。知識點1.3Input標簽知識點1.4Div標簽<div>標簽定義HTML文檔中的一個分隔區塊或者一個區域部分。<div>標簽常用于組合塊級元素，以便通過CSS來對這些元素進行格式化，其格式如下：<divid=""class=""style="">塊包含的內容</div>知識點1.4Div標簽style屬性：設置圖層的樣式，未定義前通過瀏覽器查看不到效果。圖層style屬性的取值可以由多個“屬性/屬性值”對構成。其中主要屬性有：position屬性——定義圖層的定位方式，。left、top屬性——定義圖層左上角位置(左邊距和上邊距)。width、height屬性一一定義圖層的寬度和高度。float屬性——設置圖層的浮動位置，可以向左、向右浮動或不浮動。clear屬性——清除圖層內浮動,與浮動屬性是一對作用相反的屬性。。z-index屬性——設置圖層的層疊的上、下層關系，設置此屬性以實現多個圖層層疊的效果。z-index值越大，圖層的位置越高。子層始終位于父層之上。

技能小練技能小練第二環節技能1：編寫第一個網頁小練要求基于WampServer集成開發包，使用SublimeText編寫第一個網頁，頁面顯示“HelloWorld!”技能2：Form的使用小練要求使用Form，編寫一個簡單文本框進行用戶交互。技能3：Div的使用小練要求使用Div，完成如下頁面。任務實施第三環節子任務劃分打開login.php文件并分析其構成用戶名密碼登錄按鈕登錄頁面制作啟動WampServer啟動開發環境打開項目啟動服務并打開項目任務小結第四環節任務小結通過知識儲備我們掌握了WampServer集成開發環境的相關概念，了解了form、div和input標簽，牛刀小試初步熟悉了與之相關的技能點，完成了登錄頁面的制作。這個頁面是用戶登錄消費數據管理平臺的入口，也是我們后面進行數據采集的基礎。大數據，大智慧，大未來1.2流水查詢制作任務描述根據對校園消費數據系統應用單位的調研，已知管理員可以通過賬號和密碼登錄該校的校園消費數據系統進行數據查詢。根據校園消費數據采集的實際需求出發，本任務要求實現流水查詢頁面的制作。壹知識儲備Knowledgereserve貳技能小練Skillpractice叁任務實施Taskimplementation肆任務小結TasksummaryCONTENTS目錄知識儲備第一環節PHP標記Table標簽A標簽知識點1.4PHP標記標記格式說明XML風格<?phpecho"C語言中文網";?>使用最多的標記風格簡短風格<?echo"C語言中文網";?>在日常的開發中并不推薦使用這種風格的標記ASP風格<%echo"C語言中文網";%>已移除SCRIPT風格<scriptlanguage="php">echo'C語言中文網';</script>已移除知識點1.5Table標簽在HTML中，使用<table></table>標簽來創建一個表格，在<table></table>中使用<tr></tr>來表示表格中的一行，有幾行就有幾個<tr></tr>，在<tr></tr>中需要使用<td></td>來創建一個單元格，有幾個單元格就有幾個<td></td>。下面簡單介紹以下<table></table>標簽的使用HTML表格由<table>標簽來定義。HTML表格是一種用于展示結構化數據的標記語言元素。每個表格均有若干行（由<tr>標簽定義），每行被分割為若干單元格（由<td>標簽定義），表格可以包含標題行（<th>）用于定義列的標題。tr：tr是tablerow的縮寫，表示表格的一行。td：td是tabledata的縮寫，表示表格的數據單元格。th：th是tableheader的縮寫，表示表格的表頭單元格。

技能小練知識點1.6A標簽<a>是HTML語言標簽，用于定義超鏈接，用于從一個頁面鏈接到另一個頁面。<a>元素最重要的屬性是href屬性，它指定鏈接的目標。<ahref="https://">這是一個鏈接</a>

技能小練技能小練第二環節技能4：Table標簽小練小練要求完成如圖一個3行*3列的表格。技能5：a標簽小練小練要求在網頁文字“打開百度”添加超鏈接，可以直接跳轉打開百度。任務實施第三環節子任務劃分頁面結構分析表格流水查詢實現表格顯示流水創建數據庫拷貝備份文件到指定路徑執行數據庫還原操作數據準備頁面結構分析分頁導航實現分頁顯示任務小結第四環節任務小結通過知識儲備我們了解了PHP標記的基本概念以及常見的標記方式，掌握了Table、A標簽的使用，牛刀小試初步熟悉了與之相關的技能點，完成了流水查詢頁面的制作。這個頁面是顯示用戶消費數據的頁面，是我們后面數據采集的對象。大數據，大智慧，大未來2.1登錄任務描述通過瀏覽器打開消費系統商家中心0/xiyun/login.php，并輸入用戶名、密碼，點擊“登錄”可以進入校園消費數據查詢系統。本任務是使用Python編程，模擬瀏覽器登錄校園消費數據，為后續爬取數據做準備。壹知識儲備Knowledgereserve貳技能小練Skillpractice叁任務實施Taskimplementation肆任務小結TasksummaryCONTENTS目錄知識儲備第一環節SessionCookies知識點2.1SessionSession：在計算機中，尤其是在網絡應用中，稱為“會話控制”。Session對象存儲特定用戶會話所需的屬性及配置信息。這樣，當用戶在應用程序的Web頁之間跳轉時，存儲在Session對象中的變量將不會丟失，而是在整個用戶會話中一直存在下去。當用戶請求來自應用程序的Web頁時，如果該用戶還沒有會話，則Web服務器將自動創建一個Session對象。當會話過期或被放棄后，服務器將終止該會話。Session對象最常見的一個用法就是存儲用戶的首選項。知識點2.1SessionSession常見操作：#1.創建session對象session=requests.session()#2.使用session對象，實現之后所有的接口請求session.get()session.post()session.put()

技能小練知識點2.2CookieCookie是指某些網站服務器為了辨別用戶身份和進行Session跟蹤，而儲存在用戶瀏覽器上的文本文件，Cookie是一個記錄了用戶登錄狀態以及用戶屬性的加密字符串，Cookie可以保持登錄信息到用戶下次與服務器的會話。Cookie以鍵/值對形式存儲。Cookie驗證流程：當用戶第一次登陸網站時，服務端會在返回的響應頭ResponseHeaders中添加Cookie數據，瀏覽器接收到響應頭的信息后，會將Cookie保存至瀏覽器本地存儲中，當用戶再次向該網站發送請求時，請求頭中就會攜帶Cookie，這樣服務器通過讀取Cookie就能識別登陸用戶了。

技能小練技能小練第二環節技能1：Session模擬登錄小練要求測試網站位于0/session/login，正確的用戶名和密碼分別是：admin和123456，編寫程序，實現使用session方式進行登錄。技能2：Cookie模擬登錄小練要求測試網站位于0/session/login，正確的用戶名和密碼分別是：admin和123456，編寫程序，實現使用cookie方式進行登錄。任務實施第三環節子任務劃分定義函數調用函數驗證結果登錄實現谷歌瀏覽器參數：URLMethodRefererFormData登錄分析任務小結第四環節任務小結通過知識儲備我們掌握了Session和Cookie的相關概念，了解Session和Cookie模擬登錄的技能點，并使用這些技能點完成了校園消費系統模擬登錄，為后續數據采集做好準備。大數據，大智慧，大未來2.2查詢設計任務描述在瀏覽器進行流水查詢時，在查詢日期文本框按照要求輸入查詢日期，點擊查詢按鈕后，可以查詢到該日期的消費記錄。本任務是python編程模擬用戶輸入查詢日期，獲取流水數據。壹知識儲備Knowledgereserve貳技能小練Skillpractice叁任務實施Taskimplementation肆任務小結TasksummaryCONTENTS目錄知識儲備第一環節正則表達式Re知識點2.3正則表達式Re（2）re庫的基本使用Re庫使用rawstring類型（原生字符串類型），表示為r'test'，例如：r'[1-9]\d{5}'表示大陸的郵政編碼。【原生字符串：不包含轉義符的字符串】應用：當正則表達式中包含轉義字符時，用rawstring來表達。又稱規則表達式。（英語：RegularExpression，在代碼中常簡寫為regex、regexp或RE），計算機科學的一個概念。正則表達式通常被用來檢索、替換那些符合某個模式(規則)的文本。（1）re庫的調用方法importre知識點2.3正則表達式Re功能函數作用re.search()在一個字符串中搜索匹配正則表達式的第一個位置，返回match對象，在字符串中搜索和正則表達式一樣的地方。re.match()從一個字符串的開始位置起匹配正則表達式，返回match對象，只在給定字符串的開始位置匹配正則表達式。re.findall()搜索字符串，以列表類型返回全部的匹配字符串。re.split()將一個字符串按照正則表達式匹配結果進行分割，返回子串的列表類型。re.finditer()搜索字符串，返回一個匹配結果的迭代類型，每個迭代元素是match對象，可以通過循環方式對每一個匹配進行相關操作。re.sub()在一個字符串中替換所有匹配正則表達式的子串，返回替換后的字符串。（3）re庫的主要功能函數

技能小練技能小練第二環節技能3:正則表達式Re小練小練要求（1）從字符串“BIT100085”提取郵政編碼；（2）搜索字符串“BIT100081TSU10