1、感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！工業和信息化精品系列教材信息技術（拓展模塊）大數據模塊五感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！目錄認識大數據了解大數據技術了解大數據工具任務一任務二任務三熟悉大數據安全任務四感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責

2、任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！我們身處飛速發展的社會之中，整個社會每時每刻都在產生并使用海量的數據，大到工程施工、環保監測，小到外賣點餐、網絡購物等，在大數據技術的幫助下，產生的這些數據都能夠被我們高效地利用起來。本任務將對大數據的基本知識進行介紹，讓大家對大數據有更深入的體會，再通過體驗大數據帶來的便利進行實踐操作。任務描述任務描述認識大數據任務一感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！相關知識（一）大數據的概念和特征（二）

3、大數據的結構類型（三）大數據的時代背景相關知識認識大數據任務一（四）大數據的應用場景（五）大數據的發展趨勢感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！5 （一）大數據的概念和特征在合理時間內無法用傳統數據庫軟件工具或傳統流程對其內容進行抓取、管理、處理和分析，能有效支持決策制訂的復雜數據集合。要想更透徹地理解這個定義，我們還需要知道大數據的獨有特征。感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！

4、包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！6 （二）大數據的結構類型預定義數據類型、格式和結構的數據，可以簡單地理解為數據庫中的數據結構化數據具有不規則數據格式的文本數據，可使用工具將其格式化處理準結構化數據具有可識別的模式并可以解析的文本數據，如自描述和具有定義模式的XML數據等半結構化數據沒有固定結構的數據，通常保存為不同類型的文件，如文本文檔、PDF 文檔、圖像和視頻文件等非結構化數據大數據的結構類型感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠

5、償！7 （三）大數據的時代背景隨著信息技術的飛速發展，互聯網、移動互聯網、云計算、物聯網等技術相繼出現并應用到我們的生活、學習和工作中，各種新型的信息交流不斷涌現，全球數據信息量呈指數式增長。僅2011年，全球數據總量就達到了1.8 ZB（1 ZB 相當于1 萬億GB）。而現在，全球數據總量已經超過了40 ZB，數據已經發展成為全社會的資源，各個行業既是數據的創造者，也是數據的消費者。在這樣的背景下，如何處理這樣龐大的數據，如何在這些數據中快速找到實用的信息，如何將這些有價值的數據信息服務于社會，就是我們迫切需要解決的問題。感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利

6、益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！8 （四）大數據的應用場景大數據的應用場景包括各行各業對大數據的處理和分析，而實際上大數據的應用遠不僅限于這些行業。01零售業02金融業03醫療業04教育業05農業06交通業感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！9 （五）大數據的發展趨勢與大數據相關的配套政策和實施細則，以及管理機制都將逐步完善，這些措施將促進大數據加快落地，為大數據實現政用、商用、民用

7、提供幫助和指導。人工智能將成為大數據生態中的重要組成部分，相關方面將得到廣泛應用，包括醫療、電商、交通、金融、教育等領域都將取得突破性發展。工業大數據在自身基礎設施建設及同其他產業平臺的融合方面將更加完善，將探索出制造業網絡化、數字化和智能化發展的新模式。大數據安全法律體系建設將進一步完善，安全技術、產品和服務等方面的創新應用將不斷增多。伴隨市場對數據交易需求的增大，以及相關機制的完善，未來有望出現立體化的數據市場交易格局。大數據學科自身的理論體系將得以建立，并有望在豐富完善過程中對學科理論基礎的探索發揮更大作用。感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復

8、制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！任務實踐實際生活中你感受或體驗過大數據帶來的便利嗎？請按照表所示的書寫方式將具體內容填寫到表格中。認識大數據任務一事項主要工作網絡購物通過大數據向自己推送喜愛的商品品牌和類型，節省了購物時間任感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！目錄認識大數據了解大數據技術了解大數據工具任務一任務二任務三熟悉大數據安全任務四感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以

9、及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！大數據技術是指人們在使用大數據時，為了實現對數據進行采集、處理、存儲、分析、可視化等操作而用到的各種技術。本任務將對大數據的基本知識進行介紹，讓大家對大數據有更深入的體會，再通過體驗大數據帶來的便利進行實踐操作。任務描述任務描述了解大數據技術任務二感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！相關知識（一）大數據采集（二）大數據預處理（三）大數據存

10、儲與管理相關知識（四）大數據分析與挖掘（五）大數據可視化了解大數據技術任務二感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！14 （一）大數據采集n 采集內容數據采集這類數據可以使用Hadoop、Spark、Cloudera 等專門的海量數據采集工具，能滿足每秒數百MB 的數據采集和傳輸需求。n 采集網絡數據采集這類數據可以通過網絡爬蟲或網站公開的應用程序接口等方式從網站上獲取數據信息。n 采集其他企業或組織機構的內部數據對于需要采集某些企業的生產經營數據或研究機構的

11、學科研究數據等保密性要求較高的數據，可以通過與該企業或研究機構開展合作，使用特定系統接口等相關方式進行采集感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！15 （一）大數據采集數據倉庫技術是企業較常選擇的一種采集技術，可以輕松采集企業內部的大量數據，其作用是將企業中分散、零亂、標準不統一的數據整合到一起，為企業的決策提供分析依據。感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，

12、按照傳播下載次數進行十倍的索取賠償！16 （二）大數據預處理通過大數據預處理可以將結構復雜的數據轉換為單一的或便于處理的數據，同時可以清除數據中的干擾項，保證數據的質量和可靠性，最終為數據分析打下基礎。感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！17 （二）大數據預處理更正、修復一些錯誤數據，同時對數據進行歸納整理，并將其存儲數據清洗采用線性或非線性的數學變換方法，將多維數據壓縮成較少維數的數據數據交換將數據源中的數據集成到一個統一的數據集合中數據集成從數據庫或數

13、據倉庫中選取并建立使用者感興趣的數據集合數據規約大數據預處理感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！18 （三）大數據存儲與管理大數據場景下，數據量呈爆發式增長，而數據存儲能力的增長遠遠趕不上數據的增長，因此選擇合適的大數據存儲與管理技術十分重要。直接附加存儲網絡附加存儲存儲區域網絡iSCSI 網絡存儲01020403感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照

14、傳播下載次數進行十倍的索取賠償！19 （四）大數據分析與挖掘大數據分析是指利用正確的分析方法和分析工具對經過預處理的大數據進行分析，從中提取出具有價值的信息，為大數據可視化環節提供關鍵的數據結果。1大數據分析01多維聚類分析02因子分析03相關分析04對應分析05回歸分析06方差分析感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！20 （四）大數據分析與挖掘大數據挖掘是一個發現數據特征和模式的過程，一般來說，大數據挖掘的過程包含6 個環節。2大數據挖掘感謝您下載包圖網

15、平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！21 （四）大數據分析與挖掘對于大數據挖掘的方法而言，常用的主要方法包括以下幾種。神經網絡算法決策樹方法覆蓋正例排斥反例方法模糊集方法遺傳算法粗糙集方法統計分析方法感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！22 （五）大數據可視化大數據可視化的呈現形式也比一般的數據可視化的呈現形式更加多樣，具體有以下3

16、種。數據可視化指標可視化數據關系可視化感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！任務實踐本次任務實踐將利用八爪魚采集器采集58 同城網站中成都地區招聘程序員的數據，然后在Excel 中對數據進行預處理、分析和可視化操作，挖掘出該地區在招聘程序員時對學歷要求的情況。了解大數據技術任務二（一）采集招聘數據（二）處理并分析數據感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照

17、傳播下載次數進行十倍的索取賠償！目錄認識大數據了解大數據技術了解大數據工具任務一任務二任務三熟悉大數據安全任務四感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！2020 年4 月9 日發布的關于構建更加完善的要素市場化配置體制機制的意見將數據與土地、勞動力、資本、技術并稱為5 種要素，數據對社會生活方式和國家治理能力產生的重要影響可見一斑。對大數據工具而言，從海量的數據背后挖掘到隱含的價值，便是其使命所在。本任務將介紹Hadoop 和Spark 這兩種常用的大數據工具

18、，然后通過搜索大數據工具相關的問題進行實踐操作。任務描述任務描述了解大數據工具任務三感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！相關知識（一）Hadoop（二）Spark相關知識了解大數據工具任務三感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！27 （一）HadoopHadoop 是基于Java 開發的大數據工具，它具有很好的跨平臺特性

19、，其核心是分布式文件系統和MapReduce。Hadoop 作為分布式計算平臺，不僅能夠處理海量數據，還具備其他一些優勢。感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！28 （二）SparkSpark 源于美國加州大學伯克利分校AMPLab 的集群計算平臺，于2010 年開放源碼，在2013年進入Apache 孵化器項目，并于2014 年成為Apache 三個頂級項目之一。Spark 被稱為下一代計算平臺，它立足于內存計算，從多迭代批量處理出發，兼容數據倉庫、流處理

20、和圖計算等多種計算方式，其設計目標是讓數據分析更加快速，提供比Hadoop 更上層的應用程序接口，支持交互查詢和迭代計算。感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！任務實踐根據表中的搜索關鍵詞搜索相關內容，了解與大數據工具相關的知識，并回答問題。了解大數據工具任務三搜索關鍵詞HadoopMapReduceSpark大數據工具問題 Hadoop 大數據工具在未來還會流行嗎？為什么？ MapReduce 到底有什么缺陷？該搜索引擎技術會過時嗎？ 與Hadoop 相比

21、，Spark 強大在哪些地方？ 通過互聯網了解了大數據工具后，你還知道哪些目前較為熱門的大數據工具，它們的優勢各是什么？感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！目錄認識大數據了解大數據技術了解大數據工具任務一任務二任務三熟悉大數據安全任務四感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！目前，我國正處于建立健全與大數據采集、分析等環節

22、相關的監管制度中，在沒有標準和相應監管措施的情況下，大數據泄露事件多有發生，這已經暴露出大數據時代用戶隱私安全的尖銳問題。人們在高效利用大數據技術的同時，也需要增強安全隱私意識，加強全方位的安全隱私防護，明確數據歸屬及訪問權限，讓大數據更好地為人們的生活和工作服務。本任務將介紹大數據相關的安全問題和安全防護方法，然后通過案例分析進行實踐操作。任務描述任務描述熟悉大數據安全任務四感謝您下載包圖網平臺上提供的PPT作品，為了您和包圖網以及原創作者的利益，請勿復制、傳播、銷售，否則將承擔法律責任！包圖網將對作品進行維權，按照傳播下載次數進行十倍的索取賠償！相關知識（一）大數據應用中面臨的安全問題（二）大數據的安全防護方法相關知識熟悉大數據安全任務