第1章大數據介紹大數據概述

大數據（bigdata），指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據時代的概念最早是全球知名咨詢公司麥肯錫提出的。按照麥肯錫的理念來理解，大數據并不是神秘的，不可觸摸的，它是一種新興的產業，從提出概述至今不斷在推動著世界經濟的轉型和進一步的發展。

“大數據”一詞在1980年未來學家阿爾文·托夫勒著的《第三次浪潮》書中將“大數據”稱為“第三次浪潮的華彩樂章”。

1997年美國宇航局研究員邁克爾·考克斯和大衛·埃爾斯沃斯首次使用“大數據”這一術語來描述20世紀90年代的挑戰。2007–2008年隨著社交網絡的激增，技術博客和專業人士為“大數據”概念注入新的生機。

2008年9月《自然》雜志在推出了名為“大數據”的封面專欄，同年“大數據”概念得到了美國政府的重視。

從2009-2010年“大數據”成為互聯網技術行業中的熱門詞匯。“大數據時代已經到來”出現在2011年6月麥肯錫發布了關于“大數據”的報告，正式定義了大數據的概念，后逐漸受到了各行各業關注。

2012年，大數據一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數據，并命名與之相關的技術發展與創新。

2008年9月《自然》雜志在推出了名為“大數據”的封面專欄，同年“大數據”概念得到了美國政府的重視。2014年“大數據”首次出現在我國國內的《政府工作報告》中。

2015年國務院正式印發《促進大數據發展行動綱要》。

2016年我國大數據行業發展的相關政策細化落地，國家發改委、環保部、工信部、國家林業局、農業部等均推出了關于大數據的發展意見和方案。大數據的影響（1）大數據對科學活動的影響（2）大數據對思維方式的影響（3）大數據對社會發展的影響（4）大數據對就業市場的影響數據在我們的生活中，數據無處不在。比如銀行通過收集客戶的受教育程度、經濟能力、住房情況等數據，可以開展相應的金融業務和服務。再比如醫院的電子病歷上，通常包含患者的病程情況、檢查檢驗結果、手術記錄等，這些數據可以有效的輔助醫生來監控病人的病情。

簡單來說，數據就是為了某種目的而收集和轉換的任意字符集。數據既包括文本、數字，也包含圖像、語音和視頻等。將數據記錄下來，可以幫助我們更好地分析、整理和提取數據中蘊含的知識以及規律。數據在計算機系統中是以二進制的形式來存儲的，用0或1來表示。結構化數據

存儲在計算機的數據又分成兩類。第一類稱為結構化數據，是指在系統中定義好數據的結構，再嚴格地按照定義好的結構來存儲、計算和管理數據。

最常見的結構化數據就是關系型數據庫中的二維表，其中每一行稱為一個記錄，每一列稱作一個字段。比如在表中我們記錄的是每一年每個國家二氧化碳的總排放量和人均排放量，那么在表中先定義了4個字段，年份、人均二氧化碳排放量、國家和總二氧化碳排放量。非結構化數據另一類稱為非結構化數據，是指數據結構不規則或不完整，甚至沒有預定義的數據模型。非結構化數據是大量存在的，比如文本、圖像、視頻和語音等。這些數據對我們的生活是非常重要的。在很多的行業領域里，80%的業務相關的信息都是來自于非結構化數據，特別是文本數據。在圖中展示了從2009年到2017年數據的增長情況，可以看出非結構化數據增長得非常迅速。

非結構化數據的第一類——文本數據，是最常見的也是最多的。我們展示了兩個文本數據，第一個是新聞數據，標題是“解碼澳門經濟快速發展的‘隱形翅膀’”，它的來源是新華社的一篇新聞。這樣一個有標題、有正文的新聞是一個典型的文本數據。

文本數據比結構化數據要占用更多的內存，比如“hello！”這樣一個簡單的單詞，計算機用二進制表示出來，會看到一長串數字。那么可想而知，大量的文本將占用更多的存儲空間，表示起來也更加復雜。圖像是另一種非結構化數據。一張標有數字8的圖像，大家看到它可能會想到馬路上各種各樣的廣告牌和數字顯示LED屏。這個圖像是由很多小方格組成的，小方格被稱為像素點。

數字8的圖像中，橫排有16個像素點，豎排有22個像素點，一共由16×22個像素點組成。圖像是黑白的灰度圖，為了表現黑白的深淺不同，我們在每一個像素點上標有不同的數值，大家可以發現最小的是0，最大的是255，也就是說用256個等級來區分顏色的深淺度，這樣我們就得到了一個矩陣。事實上在計算機中也是用數字矩陣的形式存儲圖像的。語音是第三種非結構化數據形式。例如人說話的聲音、唱歌，都是由于空氣震動而產生的聲波。除了空氣以外，在固體和液體中聲音也是可以傳播的。第四類非結構化數據是視頻，它是由一系列的靜態影像與聲音組合而成的。視頻按照一定的刷新頻率進行刷新和播放，利用了人眼的視覺暫留原理，當播放的速率超過每秒24幀以上時，可以給人一種平滑連續變化的動態視覺效果。因此視頻的本質實際上是不斷變化的圖像，可以把它看作是單位時間內聲音的存儲和若干幀圖像的存儲來處理，只不過處理視頻需要更強大的存儲和計算能力。在我們的日常生活中數據隨處可見。數據是為了某種目的而收集和整理的任意字符集。在計算機中數據最終使用0和1來表示。數據可以分類結構化數據和非結構化數據。非結構化數據包括文本、圖像、語音和視頻等，它們是現在大數據和人工智能領域關注的重點。大數據的特征隨著對大數據認識的不斷加深，人們認為大數據一般具有四個特征：數據量大、數據類型繁多、數據產生速度快以及數據價值密度低。1.數據量大大數據中的數據量大，就是指的海量數據。由于大數據往往是采取全樣分析，因此大數據的“大”首先體現在其規模和容量遠遠超出傳統數據的測量尺度2.數據類型繁多（1）結構化數據常指存儲關系在數據庫中的數據，該數據遵循某種標準，如企業財務報表、醫療數據庫信息、行政審批數據、學生檔案數據等。（2）非結構化數據常指不規則或不完整的數據，包括所有格式的辦公文檔、XML、HTML、各類報表、圖片、圖像以及咅頻、視頻信息等。企業中80%的數據都是非結構化數據，這些數據每年都按指數增長60%。相對于以往便于存儲的以文本為主的結構化數據，越來越多的非結構化數據的產生給所有廠商都提出了挑戰。在網絡中非結構化數據越來越成為數據的主要部分。值得注意的是：非結構化數據具有內部結構，但不通過預定義的數據模型或模式進行結構化。它可能是文本的或非文本的，也可能是人為的或機器生成的。它也可以存儲在像NoSQL這樣的非關系數據庫中。（3）半結構化數據常指有一定的結構與一致性約束，但在本質上不存在關系的數據，如常用于跨平臺傳輸的XML數據以及JSON數據等。3.數據產生速度快在數據處理速度方面，有一個著名的“1秒定律”，即要在秒級時間范圍內給出分析結果，超出這個時間，數據就失去價值了。大數據是一種以實時數據處理、實時結果導向為特征的解決方案4.數據價值密度低隨著互聯網以及物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何結合業務邏輯并通過強大的機器算法來挖掘數據價值，是大數據時代最需要解決的問題。大數據技術應用與基礎大數據的應用無處不在，從金融業到娛樂業，從制造業到互聯網行業，從物流業到運輸業，到處都有大數據的身影。大數據關鍵技術（1）大數據采集數據采集位于數據分析生命周期的重要一環，它通過傳感器數據、社交網絡數據、移動互聯網數據等方式獲得各種類型的結構化、半結構化及非結構化的海量數據。（2）大數據預處理現實中的數據大多是“臟”數據，如缺少屬性值或僅僅包含聚集數據等，因此需要人們對數據進行預處理。數據預處理技術主要包含以下幾點：數據清理：用來清除數據中的噪聲，糾正不一致。數據集成：將數據由多個數據源合并成一個一致的數據存儲，如數據倉庫。數據歸約：通過如聚集、刪除冗余特征或聚類來降低數據的規模。數據變換：把數據壓縮到較小的區間，如[0,1]，可以提高涉及距離度量的挖掘算法的準確率和效率。（3）大數據存儲

大數據存儲是將數量巨大、難于收集、處理、分析的數據集持久化到計算機中。由于大數據環境一定是海量的數據環境，并且增量都有可能是海量的，因此大數據的存儲和一般數據的存儲有極大的差別，需要非常高性能、高吞吐率、大容量的基礎設備。（4）大數據分析挖掘

數據分析與挖掘的目的是把隱藏在一大批看來雜亂無章的數據中的信息集中起來，進行萃取、提煉，以找出所研究對象的內在規律。大數據計算模式計算模式的出現有力推動了大數據技術和應用的發展，所謂大數據計算模式，即根據大數據的不同數據特征和計算特征，從多樣性的大數據計算問題和需求中提煉并建立的各種高層抽象（abstraction）或模型（model）。大數據計算模式對應的系統如下所示。大數據查詢與分析計算：HBase、Hive、Cassandra、Premel、Impala、Shark、Hana、Redis。

批處理計算：

MapReduce、Spark。

流式計算：Scribe、Flume、Storm、S4、SparkStreaming。

迭代計算：HaLoop、iMapReduce、Twister、Spark。

圖計算：Pregel、PowerGrapg、GraphX。

內存計算：Dremel、Hana、Redis。大數據框架大數據框架，是對于可以進行大數據分析處理工具的集合，主要用于負責對大數據系統中的數據進行計算。數據包括從持久存儲中讀取的數據或通過消息隊列等方式接入到系統中的數據，而計算則是從數據中提取信息的過程。按照對所處理的數據形式和得到結果的時效性分類，大數據處理框架可以分為三類：批處理系統、流處理系統和混合處理系統。大數據與云計算大數據與云計算機都較好的代表了IT界發展的趨勢，二者相互聯系，密不可分。大數據的本質就是利用計算機集群來處理大批量的數據，大數據的技術關注點在于如何將數據分發給不同的計算機進行存儲和處理。云計算機是計算機硬件資源的虛擬化，而大數據是對于海量數據的高效處理。大數據與人工智能人工智能（ArtificialIntelligence），英文縮寫為AI。它是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。大數據與人工智能的區別第一，在概念上兩者有所不同，大數據和云計算可以理解為技術上的概念，人工智能是應用層面的概念，人工智能的技術前提是云計算和大數據。第二，在實現上，大數據主要是依靠海量數據來幫助人們對問題作出更好的判斷和分析，而人工智能一種計算形式，它允許機器執行認知功能，例如對輸入起作用或作出反應，類似于人類的做法，并能夠替代人類對認知結果作出決定。大數據是一個事關我國經濟社會發展全局的戰略性產業，大數據技術為社會經濟活動提供決策依據，提高各個領域的運行效率，提升整個社會經濟的集約化程度，對于我國經濟發展轉型具有重要的推動作用。

大數據的意義從國家層面上講，大數據在推動中國經濟轉型方面也將發揮重要作用。其一，通過大數據的分析可以幫助解決中國城鎮化發展中面臨的住房、教育、交通等難題。例如，在城市發展中，大數據是“智慧城市”建設中不可或缺的組成部分。通過對交通流量數據的實時采集和分析，可以指導駕駛者選擇最佳路線，改善城市交通狀況。其二，通過大數據的研究有助于推動鋼鐵、零售等傳統產業升級，向價值鏈高端發展。其三，大數據的應用可以幫助中國在發展戰略性新興產業方面迅速站穩腳跟，鞏固并提升競爭優勢。大數據在許多企業應用程序中的確扮演著相當重要的角色，大數據的應用對于企業帶來的好處有以下幾點：（1）結合各種傳統企業數據對大數據進行分析和提煉，帶給企業更深入透徹的洞察力。它可以帶來更高的生產力，更大的創新和更強的競爭地位。

（2）正確的數據分析可以幫助企業做出明智的業務經營決策的工具。這里所談的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商資料及來自企業所處行業和競爭對手的數據，以及來自企業所處的其他外部環境中的各種數據。而商業智能能夠輔助的業務經營決策既可以是作業層的，也可以是管理層和策略層的決策。

（3）促進企業決策流程：增進企業的資訊整合與資訊分析的能力，匯總公司內、外部的資料，整合成有效的決策資訊，讓企業經理人大幅增進決策效率與改善決策品質，很大程度上影響了企業的經營和績效。大數據已成為驅動經濟發展的新引擎，大數據應用范圍和應用水平將加速我國經濟結構調整、深度改變我們的生產生活方式。可以預見，在“十三五”期間：我國的大數據基礎設施建設持續增長。大數據開放共享進度加快。政府大數據深入應用。大數據相關立法加快。大數據與傳統產業深度融合。大數據的產業鏈分析大數據產業鏈的參與者主要包括：數據提供商（數據源）、基礎設施提供商（產生與匯聚層）、分析技術提供商（組織與管理層、分析與挖掘層）和業務應用提供商（應用與服務層）。數據提供商：主要負責基礎數據的生成和各方數據段融合。基礎設施提供商：主要負責數據庫平臺的管理和建設，以及云設施的建設。分析技術提供商：主要負責分析技術、分析服務和分析工具的提供，以及數據可視化的實現。業務應用提供商：主要負責大數據的軟件開發與應用。大數據的應用本章小結1）大數據（bigdata），指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。2）大數據一般具有四個特征：數據量大、數據類型繁多、數據產生速度快以及數據價值密度低。3）大數據的應用無處不在，從金融業到娛樂業，從制造業到互聯網行業，從物流業到運輸業，到處都有大數據的身影。4）大數據的關鍵技術包含數據采集、大數據預處理、大數據存儲和大數據分析挖掘。

5）按照對所處理的數據形式和得到結果的時效性分類，大數據處理框架可以分為三類：批處理系統、流處理系統和混合處理系統。6）大數據是一個事關我國經濟社會發展全局的戰略性產業，大數據技術為社會經濟活動提供決策依據，提高各個領域的運行效率，提升整個社會經濟的集約化程度，對于我國經濟發展轉型具有重要的推動作用。7）大數據運營是指以企業海量數據的存儲和分析挖掘應用為核心支持的、企業全員參與的，以精準、細分和精細化為特點的運營制度和戰略。

第2章大數據架構大數據架構概述

大數據架構是用于于攝取和處理大量數據（通常稱為“大數據”）的總體系統，因此可以針對業務目的進行分析。該架構可視為基于組織業務需求的大數據解決方案的藍圖。

企業中數據平臺的基礎架構工業大數據的基礎架構

使用大數據架構可以幫助企業節省資金并做出關鍵決策，其中主要包括以下幾點：

1）降低成本。在存儲大量數據時，Hadoop和基于云計算的分析等大數據技術可以顯著地降低成本。

2）做出更快、更好的決策。使用大數據架構的流組件，企業可以實時做出決策。

3）預測未來需求并創建新產品。大數據可以幫助企業衡量客戶需求并使用分析預測未來趨勢。

大數據架構分類目前圍繞Hadoop體系的大數據架構主要有傳統大數據架構、流式架構、Lambda架構、Kappa架構以及Unifield架構等。傳統大數據架構

傳統大數據架構，是因為其定位是為了解決傳統BI的問題，簡單來說，數據分析的業務沒有發生任何變化，但是因為數據量、性能等問題導致系統無法正常使用，需要進行升級改造，那么此類架構便是為了解決這個問題。流式架構

在傳統大數據架構的基礎上，流式架構非常激進，直接拔掉了批處理，數據全程以流的形式處理，所以在數據接入端沒有了ETL，轉而替換為數據通道。Lambda架構

Lambda架構算是大數據系統里面舉足輕重的架構，大多數架構基本都是Lambda架構或者基于其變種的架構。Lambda的數據通道分為兩條分支：實時流和離線。實時流依照流式架構，保障了其實時性，而離線則以批處理方式為主，保障了最終一致性。Kappa架構Kappa架構在Lambda的基礎上進行了優化，將實時和流部分進行了合并，將數據通道以消息隊列進行替代。因此對于Kappa架構來說，依舊以流處理為主，但是數據卻在數據湖層面進行了存儲Unifield架構以上的種種架構都圍繞海量數據處理為主，Unifield架構則更激進，將機器學習和數據處理揉為一體，從核心上來說，Unifield依舊以Lambda為主，不過對其進行了改造，在流處理層新增了機器學習層。

Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺。以Hadoop分布式文件系統（Hadoopdistributedfilesystem，HDFS）和MapReduce（GoogleMapReduce的開源實現）為核心的Hadoop為用戶提供了系統底層細節透明的分布式基礎架構。

Hadoop架構狹義上來說，Hadoop就是單獨指代hadoop這個軟件，廣義上來說，Hadoop指代大數據的一個生態圈，包括很多其他的軟件。Hadoop特點

Hadoop是一個框架，由一系列的軟件庫組成的框架。這些軟件庫也可稱作功能模塊，它們各自負責了Hadoop的一部分功能。Hadoop適合處理大規模數據，并能夠實現分布式存儲和分布式計算Hadoop被部署在一個集群上。

所謂集群，是一組通過網絡互聯的計算機，集群里的每一臺計算機稱為一個節點。

Hadoop發展史

Hadoop原本來自于Google一款名為MapReduce的編程模型包。Google的MapReduce框架可以把一個應用程序分解為許多并行計算指令，跨大量的計算節點運行巨大的數據集。

Hadoop的源頭是ApacheNutch，該項目始于2002年，是ApacheLucene的子項目之一。Nutch的設計目標是構建一個大型的全網搜索引擎hadoop的歷史版本一共有3個，分別是：0.x系列版本：hadoop當中最早的一個開源版本，在此基礎上演變而來的1.x以及2.x的版本；

1.x版本系列：hadoop版本當中的第二代開源版本，主要修復0.x版本的一些bug等；

2.x版本系列：架構產生重大變化，引入了yarn平臺等許多新特性。

Hadoop核心組件

Hadoop的三大核心組件分別是：HDFS、YARN和MapReduce。HDFS（HadoopDistributeFileSystem）：hadoop的數據存儲工具。YARN（YetAnotherResourceNegotiator,另一種資源協調者）：Hadoop的資源管理器。HadoopMapReduce：分布式計算框架。

HDFS

HDFS（HadoopDistributedFileSystem），它是一個文件系統，用于存儲文件，通過目錄樹來定位文件；其次，它是分布式的，由很多服務器聯合起來實現其功能，集群中的服務器有各自的角色。

YARN

ApacheHadoopYARN（YetAnotherResourceNegotiator，另一種資源協調者）是一種新的Hadoop資源管理器，它是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度。

MapReduceMapReduce是Google公司于2004年提出的能并發處理海量數據的并行編程模型,其特點是簡單易學、適用廣泛，能夠降低并行編程難度，讓程序員從繁雜的并行編程工作中解脫出來，輕松地編寫簡單、高效的并行程序。HDFS概述HDFS（Hadoopdistributedfilesystem）是基于流數據模式訪問和處理超大文件的需求而開發的，是一個分布式文件系統。它是Google的GFS提出之后出現的另外一種文件系統。HDFS優缺點

（1）處理超大文件。這里的超大文件通常是指百MB、甚至數百MB大小的文件。但是，目前在實際應用中，HDFS已經能用來存儲管理PB級的數據了。

（2）流式數據訪問。HDFS的設計建立在“一次寫入、多次讀寫”任務的基礎上。

（3）運行于廉價的商用機器集群上。Hadoop設計對應急需求比較低，只需運行在低廉的商用硬件集群上，而無需運行在昂貴的高可用性機器上。HDFS構成HDFS的關鍵元素包含：Block、NameNode和DataNode。Block：將一個文件進行分塊，通常一個塊的大小是64M。NameNode：保存整個文件系統的目錄信息、文件信息及分塊信息，這是由唯一一臺主機專門保存，當然這臺主機如果出錯，NameNode就失效了。DataNode：分布在廉價的計算機上，用于存儲Block塊文件。HDFS操作Hadoop自帶一組命令行工具，而其中有關HDFS的命令是其工具集的一個子集。執行“hadoopdfs”命令可以顯示HDFS常用命令的使用信息:[hadoop@masterbin]$hadoopdfsUsage:javaFsShell[-ls<path>][-lsr<path>][-df[<path>]][-du<path>][-dus<path>][-count[-q]<path>][-mv<src><dst>][-cp<src><dst>][-rm[-skipTrash]<path>][-rmr[-skipTrash]<path>][-expunge][-put<localsrc>…<dst>][-copyFromLocal<localsrc>…<dst>][-moveFromLocal<localsrc>…<dst>][-get[ignoreCrc][-crc]<src><localdst>][-getmerge<src><localdst>[addnl]][-cat<src>][-text<src>][-copyToLocal[ignoreCrc][-crc]<src><localdst>][-moveToLocal[-crc]<src><localdst>][-mkdir<path>][setrep[-r][-w]<rep><path/file>][-touchz<path>][-test–[ezd]<path>][-stat[format]<path>][-tail[-f]<file>][-chmod[-R]<MODE[MODE]…|OCTALMODE>PATH][-chown[-R][OWNER][GROUP]]PATH…][-chgrp][-R]GROUPPATH…][-help[cmd]]MapReduce概述MapReduce是Google系統和Hadoop系統中的一項核心技術。它是一個軟件框架，可以將單個計算作業分配給多臺計算機執行。它假定這些作業在單機上需要很長的運行時間，因此使用多臺機器縮短運行時間。Map（映射）Reduce（化簡）一個大數據若可以分為具有同樣計算過程的數據塊，并且這些數據塊之間不存在數據依賴關系，則提高處理速度的最好辦法就是并行計算。

MapReduce是一種分布式計算模型，在處理海量數據上具有很明顯的優勢，因此常被用于大規模數據集的并行計算。

MapReduce出現的歷史要追溯到1956年，圖靈獎獲得者--著名的人工智能專家McCarthy首次提出了LISP語言的構想，而在LISP語言中就包含了現在所使用的MapReduce功能。2004年，Google公司的Dean發表文章將MapReduce這一編程模型在分布式系統中的應用進行了介紹，從此MapReduce分布式編程模型進入了人們的視野。

MapReduce是一個簡單、方便的分布式編程模型，主要面向存儲在HDFS中的數據。采用“分而治之”的思想，MapReduce將一個大規模數據分解為多個小規模數據，并將其分發給集群中的多個節點共同去完成。MapReduce的編程框架是由一個單獨運行在主節點上的JobTracker和運行在每個集群從節點上的TaskTracker共同組成的。用戶用map和reduce兩個函數來表達計算。map函數的輸入是一個<key,value>鍵值對，輸出一個<key,value>鍵值對的集合的中間結果。