1、超人學(xué)院：大數(shù)據(jù)處理的關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)，從本質(zhì)上講是從類型各異、內(nèi)容龐大的數(shù)據(jù)中快速獲得有價(jià)值 信息的技術(shù)。目前，隨著大數(shù)據(jù)領(lǐng)域被廣泛關(guān)注，大量新的技術(shù)已經(jīng)開(kāi)始涌現(xiàn)出 來(lái)，而這些技術(shù)將成為大數(shù)據(jù)采集、存儲(chǔ)、分析、表現(xiàn)的重要工具。大數(shù)據(jù)處理的關(guān)鍵技術(shù)主要包括：數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理 數(shù)據(jù)清理、數(shù)據(jù) 集成、數(shù)據(jù)變換等、大數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析和挖掘、數(shù)據(jù)的呈現(xiàn)與應(yīng)用 數(shù)據(jù)可 視化、數(shù)據(jù)平安與隱私等。故堀廿析該圖展示了如何將大量的數(shù)據(jù)經(jīng)過(guò)一系列的加工和處理， 最終以有價(jià)值的信 息形式到達(dá)用戶的手中。在數(shù)據(jù)分析中，云技術(shù)與傳統(tǒng)方法之間進(jìn)行聯(lián)合， 使得 一些傳統(tǒng)的數(shù)據(jù)分析方法能夠成功地運(yùn)用到大數(shù)據(jù)的范疇中來(lái)

2、。-r界 tv J 二*'、數(shù)據(jù)的采集技術(shù)數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫(kù)來(lái)接收發(fā)自客戶端 Web、App或傳感器形 式等的各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)，并允許用戶通過(guò)這些數(shù)據(jù)來(lái)進(jìn)行 簡(jiǎn)單的查詢和處理工作。二、數(shù)據(jù)集成與處理技術(shù)數(shù)據(jù)的集成就是將各個(gè)分散的數(shù)據(jù)庫(kù)采集來(lái)的數(shù)據(jù)集成到一個(gè)集中的大型 分布式數(shù)據(jù)庫(kù)，或者分布式存儲(chǔ)集群中，以便對(duì)數(shù)據(jù)進(jìn)行集中的處理。該階段的挑戰(zhàn)主要是集成的數(shù)據(jù)量大，每秒的集成數(shù)據(jù)量一般會(huì)到達(dá)百兆， 甚至千兆。三、大數(shù)據(jù)存儲(chǔ)及管理技術(shù)數(shù)據(jù)的海量化和快增長(zhǎng)特征是大數(shù)據(jù)對(duì)存儲(chǔ)技術(shù)提出的首要挑戰(zhàn)。 為適應(yīng)大 數(shù)據(jù)環(huán)境下爆發(fā)式增長(zhǎng)的數(shù)據(jù)量，大數(shù)據(jù)采用由成千上萬(wàn)臺(tái)廉價(jià)PC來(lái)存

3、儲(chǔ)數(shù)據(jù) 方案，以降低本錢(qián)，同時(shí)提供高擴(kuò)展性?？紤]到系統(tǒng)由大量廉價(jià)易損的硬件組成，為了保證文件整體可靠性，大數(shù)據(jù)通常對(duì)同一份數(shù)據(jù)在不同節(jié)點(diǎn)上存儲(chǔ)多份副本，同時(shí)，為了保障海量數(shù)據(jù)的讀寫(xiě)能力，大數(shù)據(jù)借助分布式存儲(chǔ)架構(gòu)提供高吐量的數(shù)據(jù)訪問(wèn)。超人學(xué)院主要培訓(xùn)內(nèi)容 Hadoop HDFSHadoop Distributed File System 是 較為有名的大數(shù)據(jù)文件存儲(chǔ)技術(shù)。HDFS是GFS的開(kāi)源實(shí)現(xiàn)，它們均采用分布 式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù)將文件塊復(fù)制在幾個(gè)不同的節(jié)儲(chǔ)節(jié)點(diǎn)上。在實(shí)現(xiàn)原理上, 它們均采用主從控制模式主節(jié)點(diǎn)存儲(chǔ)元數(shù)據(jù)、接收應(yīng)用請(qǐng)求并且根據(jù)請(qǐng)求類型 進(jìn)行應(yīng)答，從節(jié)點(diǎn)那么負(fù)責(zé)存儲(chǔ)數(shù)據(jù)。- 冶宙

4、Hadoop的HBase是大數(shù)據(jù)的數(shù)據(jù)管理技術(shù)的典型代表之一。HBase基于HDFS。作為NoSQLNot only SQL數(shù)據(jù)庫(kù)，它們?yōu)閼?yīng)用提供數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)功 能和類似數(shù)據(jù)庫(kù)的簡(jiǎn)單數(shù)據(jù)查詢功能，并為MapReduce等并行處理方式提供數(shù)據(jù)源或數(shù)據(jù)結(jié)果的存儲(chǔ)。、1、的廈t.伽1JT'X拇討點(diǎn)卜、L抿竺、1"6-S :龍燼1翳出 立書(shū)TMapEeduce工作養(yǎng)程*叭Ml：議四、大數(shù)據(jù)的分析與挖掘數(shù)據(jù)分析與挖掘是大數(shù)據(jù)處理流程中最為關(guān)鍵的步驟。在人類全部數(shù)字化數(shù)據(jù)中，僅有非常小的一局部 約占數(shù)據(jù)量的1%數(shù)值型 數(shù)據(jù)得到了深入分析和挖掘如：回歸、分類、聚類，大型互聯(lián)網(wǎng)企業(yè)對(duì)網(wǎng)頁(yè)索 引、社交數(shù)據(jù)等半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行了淺層分析如：排序。占總量近60%的語(yǔ)音、 圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)還難以進(jìn)行有效的分析。大數(shù)據(jù)分析技術(shù)的開(kāi)展需要取得兩個(gè)方面的突破：一是對(duì)體量龐大的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效率的深度分析，挖掘隱性知識(shí)如:從自然語(yǔ)言構(gòu)成的文本網(wǎng)頁(yè)中理解和識(shí)別語(yǔ)義、情感、意