企業(yè)大數(shù)據(jù)管理與數(shù)據(jù)基礎(chǔ)大數(shù)據(jù)基礎(chǔ)第一章大數(shù)據(jù)概述大數(shù)據(jù)計算模式批處理計算：針對大規(guī)模數(shù)據(jù)的批量處理MapReduce從數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)開始經(jīng)過處理最終流出到穩(wěn)定的文件系統(tǒng)中如hdfsspark采用內(nèi)存代替hdfs或者本地磁盤來存儲中間數(shù)據(jù)流計算流數(shù)據(jù)：在時間和數(shù)量分布上無限的數(shù)據(jù)的集合，數(shù)據(jù)的價值隨著時間的流逝而減低。因此計算必須給出實(shí)時響應(yīng)。圖計算查詢分析計算合并:selectname,orderedfromAajoinBbona.c=b.c;分組:selectrank,level,count(*)asvaluefromAgroupbyrankjevel.第九章基于內(nèi)存的分布式計算框架spark(RDD)MapReduce與sparkmapreduce的缺點(diǎn)io開銷大：每次中間結(jié)果，讀取數(shù)據(jù)都從磁盤進(jìn)行。延遲：io開銷大，任務(wù)銜接設(shè)計io延遲大表達(dá)能力有限：任務(wù)編程為連個函數(shù)：map、reduce、但是復(fù)雜的情況下難以描述spark的解決:基于內(nèi)存的計算，將中間結(jié)果放入內(nèi)存中計算模式也屬于MapReduce但是提供更多的數(shù)據(jù)集操作類型。RDD:分布式對象集合操作分為轉(zhuǎn)換：transformmation,轉(zhuǎn)換為新的RDD對象行為：action,產(chǎn)生結(jié)果供輸出對于RDD:分布式對象集合，對于對象通過函數(shù)進(jìn)行操作spark基于內(nèi)存的分布式計算框架：shuffle過程依然將結(jié)果寫入磁盤RDD中的關(guān)系依賴按有無shuffle操作分為（RDD,分區(qū)，對應(yīng)）寬依賴：一個父RDD的一個分區(qū)被一個子RDD的多個分區(qū)對應(yīng)窄依賴：一個父RDD的一個分區(qū)只被一個子RDD的一個分區(qū)對應(yīng)大規(guī)模數(shù)據(jù)進(jìn)行實(shí)時或準(zhǔn)實(shí)時查詢的能力。內(nèi)存計算迭代計算大數(shù)據(jù)關(guān)鍵技術(shù)數(shù)據(jù)采集數(shù)據(jù)存儲與管理數(shù)據(jù)處理與分析數(shù)據(jù)隱私與安全大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關(guān)系云計算的概念與關(guān)鍵技術(shù)性質(zhì)：分布式計算關(guān)鍵技術(shù)虛擬化：基礎(chǔ)，將一臺計算機(jī)虛擬為多臺邏輯上的計算機(jī)。每臺互不影響，從而提高計算機(jī)的工作效率分布式計算：并行編程模型MapReduce分布式存儲：hbase分布式數(shù)據(jù)管理系統(tǒng)多租戶：使大量用戶共享同一堆棧的軟硬件資源物聯(lián)網(wǎng)的概念與關(guān)鍵技術(shù)概念：通過局部網(wǎng)和互聯(lián)網(wǎng)，將c、p、C、C、連接起來從而實(shí)現(xiàn)信息化、遠(yuǎn)程控制關(guān)鍵技術(shù)識別和感知網(wǎng)絡(luò)和通信數(shù)據(jù)挖掘與融合大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算相輔相成。密不可分、千差萬別區(qū)別：側(cè)重點(diǎn)不同物聯(lián)網(wǎng)：目標(biāo)實(shí)現(xiàn)物物相連云計算：整合優(yōu)化各種IT資源，通過網(wǎng)絡(luò)以服務(wù)的方式廉價的提供給用戶大數(shù)據(jù)：側(cè)重對海量數(shù)據(jù)的存儲、分析、處理，從海量數(shù)據(jù)中發(fā)現(xiàn)價值、服務(wù)與生產(chǎn)和生活。聯(lián)系整體上相輔相成物聯(lián)網(wǎng)的傳感器源源不斷的產(chǎn)生提供數(shù)據(jù)，借助云計算、大數(shù)據(jù)實(shí)現(xiàn)分析存儲大數(shù)據(jù)根植于云計算，云計算提供的對大數(shù)據(jù)的存儲管理，大數(shù)據(jù)的分析才得以進(jìn)行第三章大數(shù)據(jù)處理架構(gòu)hadoophadoop生態(tài)圈hdfs:分布式文件系統(tǒng)M叩Reduce:分布式編程框架hive:基于hadoop的數(shù)據(jù)倉庫。pig：數(shù)據(jù)流語言和運(yùn)行環(huán)境大數(shù)據(jù)存儲與管理第四章分布式文件系統(tǒng)hdfs（數(shù)據(jù)塊、文件塊、存儲位置、映射關(guān)系、）體系結(jié)構(gòu)數(shù)據(jù)結(jié)點(diǎn)數(shù)據(jù)結(jié)點(diǎn)：存儲讀取數(shù)據(jù)數(shù)據(jù)結(jié)點(diǎn)要根據(jù)名稱結(jié)點(diǎn)的指令刪除、創(chuàng)建、復(fù)制、數(shù)據(jù)塊。名稱結(jié)點(diǎn)（文件樹、文件夾、文件、元數(shù)據(jù)、）保存了兩個數(shù)據(jù)結(jié)構(gòu)（fsimage、editlog）,fsimage保存文件樹中所有的文件、和文件夾的元數(shù)據(jù)、用于維護(hù)文件樹系統(tǒng)。（文件樹、元數(shù)據(jù)、所有文件）editlog保存針對文件的所有刪除修改重命名操作。分配存儲位置，管理數(shù)據(jù)結(jié)點(diǎn)與文件塊的映射關(guān)系。負(fù)責(zé)文件和目錄的創(chuàng)建、刪除、重命名。記錄數(shù)據(jù)結(jié)點(diǎn)的位置信息，但是不是持久化，而是，重新掃描數(shù)據(jù)結(jié)點(diǎn)，重構(gòu)得到信息。（非持久化，數(shù)據(jù)結(jié)點(diǎn)、位置、信息、重構(gòu)、重新掃描）第二名稱結(jié)點(diǎn)針對問題：安全模式、時間長、重啟解決辦法editlog和fsimage的合并操作:每隔一段時間，請求讓namenode停止editlog,新操作寫入新的editlog.new中，然后，將fsimage與editlog合并操作更新，①，然后返回文件給name結(jié)點(diǎn)，然后name結(jié)點(diǎn)，替換原來的文件2個作為名稱結(jié)點(diǎn)的檢查結(jié)點(diǎn)：只能備份tl之前的信息，如果發(fā)生故障那么對于tl-t2時間內(nèi)的問題不能恢復(fù)。存儲原理冗余存儲當(dāng)多用戶讀取時速度更快容易檢查數(shù)據(jù)錯誤保證數(shù)據(jù)可靠性數(shù)據(jù)的讀取策略。讀取請求->從名稱結(jié)點(diǎn)獲取數(shù)據(jù)塊信息->讀取數(shù)據(jù)結(jié)點(diǎn)的數(shù)據(jù)數(shù)據(jù)錯誤與恢復(fù)第五章分布式數(shù)據(jù)庫hbase（region）一個hbase表被分為很多個region（區(qū)）hbase數(shù)據(jù)模型高可靠、高性能、面向列、可拓展的分布式數(shù)據(jù)庫。主要用來存儲：非、半結(jié)構(gòu)化數(shù)據(jù)。索引為（行鍵、列族、列限定符、時間戳）面向列存儲。hbase實(shí)現(xiàn)原理hbase功能組件：region服務(wù)器、master服務(wù)器region的定位三層結(jié)構(gòu)zookeeper記錄-root-表的位置信息。，一^root-表只能有一個region-root-用來記錄。.meta.表記錄用戶數(shù)據(jù)表的region位置信息。第六章nosql數(shù)據(jù)庫（一致性）nosql數(shù)據(jù)庫4大類型鍵值、列式、圖、文檔。3大基石CAP一致性可用性分區(qū)容忍性BASE基本可用性：系統(tǒng)部分不可用，其他正常則可正常使用軟狀態(tài)：滯后，狀態(tài)可以有一段時間不一致。最終一致性：高并發(fā)能否獲取一致的數(shù)據(jù)。最終一致性從客戶端服務(wù)端考慮根據(jù)訪問時間、方式不同因果一致性（）讀己之所寫（）會話一致性（時間）單調(diào)讀、寫一致性（方式）大