1、大數據分析課程教學大綱課程英文名稱：Survey Programming課程編號：HZ190650課程類別：個性化培養平臺課程性質：選修課學分：2學時：32（其中：講課學時：32實驗學時：0上機學時：0）適用專業：測繪工程開課部門：環境與資源學院測繪與地理信息工程系先修課程：空間數據庫基礎、數據結構與算法（C語言）、網絡編程技術基礎B、大學計算機A、程序設計基礎（C語言）后續課程：測繪工程專業畢業設計（論文）等一、課程目標通過本課程的學習，使學生具備以下知識和能力：1.能夠將數學、自然科學與工程科學的基本理論運用相聯系，運用大數據的相關理論和工具處理和分析復雜測繪工程存在的問題。2.在設計開發

2、的過程中，結合工程管理與經濟決策方法，將大數據的相關處理方法正確應用在測繪實踐項目管理中。二、課程目標與畢業要求的對應關系課程目標指標點畢業要求課程目標12.1能夠將數學、自然科學與工程科學的基本理論運用到識別、分析復雜測繪工程存在的問題；2.問題分析：能夠應用數學、自然科學和工程科學的基本原理與方法，識別、表達、分析復雜測繪工程問題，并通過文獻研究尋求其解決方案，以獲得有效結論。課程目標211.2具有項目經理應具備的規劃、組織、協調及管理等基礎素質，能在多學科環境下，在設計開發的過程中，運用工程管理與經濟決策方法；11.項目管理：掌握測繪工程管理知識與決策方法，并將其在多學科環境中正確應用在

3、測繪實踐項目管理中三、課程目標與教學內容和教學方法的對應關系單元大數據分析教學內容教學方法課程目標教學環節訓練環節1大數據的基本理論授課4學時課程目標12爬蟲知識概述授課8學時作業1：安裝python3，熟悉開發環境課程目標13數據庫設計原理與基本方法授課4學時作業2：創建數據庫、創建數據表并往表中插入記錄課程目標14數據可視化的概念與工具授課6學時作業3：練習繪制各種繪制圖形課程目標25數據存儲的基本概念授課2學時課程目標26數據清洗授課2學時作業4：使用Excle進行數據有效性分析課程目標27數據格式與編碼技術授課6學時課程目標2四、課程的主要內容及基本要求（一）理論教學部分第一單元大數據

4、（4學時，支撐課程目標1）知識點大數據的定義、大數據的原理、大數據的發展歷程、大數據的特征、大數據的戰略意義、大數據的產業鏈重點大數據的特征、大數據的戰略意義難點大數據的特征、大數據的戰略意義基本要求1、識記：大數據的定義、大數據的原理、大數據的特征2、領會：大數據的發展歷程、大數據的戰略意義、大數據的產業鏈第二單元爬蟲與大數據（8學時，支撐課程目標1）知識點爬蟲的基本概念、爬蟲的作用、爬蟲的運行機制、Python3的安裝與開發環境、Python3的各種數據類型及各種數據類型的相互轉換、網頁結構、爬蟲的運行原理、爬蟲的實現方法、Python3中的爬蟲模塊重點爬蟲的原理、Python3的安裝與開

5、發環境、熟練書寫并運行Python3程序、熟練書寫并運行Python3程序、各種數據類型的掌握及相互轉換、urllib模塊的應用、Requests的應用、網頁結構難點爬蟲的原理、Python3的安裝與開發環境、熟練書寫并運行Python3程序、熟練書寫并運行Python3程序、各種數據類型的掌握及相互轉換、urllib模塊的應用、Requests的應用、網頁結構基本要求1、識記：爬蟲的基本概念、爬蟲的作用、各種數據類型及各種數據類型的相互轉換、網頁結構2、領會：Python3的書寫風格、爬蟲的運行原理3、簡單應用：書寫并運行Python3、安裝Requests庫4、綜合應用：使用Request

6、s爬取網頁內容第三單元數據庫連接與查詢（4學時，支撐課程目標1）知識點數據庫模型、MySql的安裝、MySql的基本操作、Python中連接MySql數據庫的基本原理及方法。重點MySql的基本操作、Python中連接與操作MySql數據庫的基本方法難點MySql的基本操作、Python中連接與操作MySql數據庫的基本方法基本要求1、識記：數據庫模型2、領會：MySql數據庫的基本操作3、簡單應用：創建數據庫、創建數據表并往表中插入記錄4、綜合應用：新建數據庫，并建立數據表，使用Python進行數據庫管理第四單元數據可視化基礎與應用（6學時，支撐課程目標2）知識點數據可視化的概念、數據可視化

7、的發展、數據可視化的方法與應用、數據可視化的圖表、numpy基礎、matplotlib庫的導入、matplotlib庫可視化方法及可視化實現、使用precharts繪制圖形重點數據可視化的方法、數據可視化的應用、numpy中的數學基礎、matplotlib庫的實現、數據可視化的應用、使用precharts繪制圖形難點數據可視化的方法、數據可視化的應用、numpy中的數學基礎、matplotlib庫的實現、matplotlib庫的可視化方法、使用precharts繪制圖形基本要求1、識記：數據可視化的方法、numpy中的數學基礎2、領會：數據可視化的應用、數據可視化的應用3、簡單應用：使用mat

8、plotlib庫各種圖形、使用precharts繪制圖形4、綜合應用：練習繪制各種繪制圖形第五單元大數據存儲與清洗（4學時，支撐課程目標2）知識點數據存儲的類型、數據存儲的方式、數據存儲的核心技術、數據清洗的基本概念、數據清洗的主要工具、數據標準化技術與實現重點數據存儲的方式與核心技術、數據清洗的工具難點數據存儲的方式與核心技術、數據清洗的工具基本要求1、識記：數據存儲的類型、數據存儲的方式、數據存儲的核心技術。2、領會：數據存儲3、簡單應用：下載并安裝OpenRefine與Kettle4、綜合應用：使用Excle進行數據有效性分析，并清除重復的數據第六單元數據格式與編碼技術（6學時，支撐課程

9、目標2）知識點文件格式、數據類型、字符編碼、Kettle的工作流程與應用、數據抽取的定義、數據抽取的方法、數據抽取的工具、pandas數據分析與清洗重點字符編碼、Kettle的各種用法、Kettle數據抽取方法、pandas數據分析難點字符編碼、Kettle的各種用法、Kettle數據抽取方法、pandas數據分析基本要求1、識記：文件格式、數據類型、字符編碼2、領會：數據抽取的定義、數據抽取的方法3、簡單應用：字符編碼的各種用法4、綜合應用：Kettle數據清洗與轉換的用法學時分配知識單元理論學時第一單元 大數據大數據概述、大數據的意義、大數據的產業鏈分析4第二單元爬蟲與大數據爬蟲概述、py

10、thon介紹、爬蟲的相關知識、利用爬蟲抓取網頁內容8第三單元數據庫連接與查詢數據庫、MySQL數據庫、使用Python操作MySQL數據庫4第四單元數據可視化基礎與應用數據可視化、matplotlib可視化基礎、pyecharts可視化應用6第五單元大數據存儲與清洗大數據存儲、數據清洗、數據標準化4第六單元數據格式與編碼技術文件格式、數據類型與編碼、數據清洗與轉換工具的使用6合 計32五、教學方法與手段本課程是一門技術含量高、實踐環節較強的專業選修課，因此授課過程中要求精講多練，打好基礎，加強實踐，重在培養學生的空間想象力及實際動手能力，建議授課以多媒體為主，輔之以程序演示、課后作業等，理論與

11、案例相結合的手段進行教學。六、考核要求、方式與成績評定考核要求：需覆蓋大綱中各知識單元全部教學內容，理解講授內容，掌握基本內容，能夠獨立或合作完成每次作業。考核形式：考查成績評定：課程考核選擇百分制模式，課題報告與平時作業相結合。課程考核總評成績由兩部分構成，具體計算為總評成績課題報告50%+作業訓練成績50%。評價環節評估課程目標對應畢業要求平時成績（100分）作業1課程目標12.1（20分）作業2課程目標12.1（20分）作業3課程目標211.2（40分）作業4課程目標211.2（40分）課題報告（100分）課題報告課程目標1、2、2.1、11.2平時成績由提交作業成果與作業說明文檔的評定

12、，作業會隨教學進度多次上交評分，每次評分在作業總成績中所占比重由授課教師根據作業量和難度確定，評分參考標準如下表：作業成績評定標準考核內容90-100分75-89分60-74分低于60分按時提交作業（權重0.1）按時完成并提交。按時提交，但作業提交不全。補交作業，作業齊全。補交作業，且作業資料不齊成果質量（權重0.5）程序編寫完成，運行結果正確，界面美觀，代碼冗余低，人機交互友好，有創新。程序編寫完成，運行結果正確，代碼少量冗余。程序編寫完成，正常運行，代碼冗余明顯。程序編寫未完成，無法正常運行，代碼冗余明顯。作業說明文檔（權重0.4）文檔思路清晰，結構合理，表述完整，實事求是，有思考，有特色。文檔思路清晰，表述完整，有思考，實事求是。文檔表述完整，思路較亂，無問題思考，有少量抄襲現象。文檔思路不清，表述不完整，抄襲明顯。七、選用教材、講義和