信息技術(shù)基礎(chǔ)主講人：馬琳琳任務(wù)7.3認(rèn)識大數(shù)據(jù)【知識儲備】一、大數(shù)據(jù)的概念及特點(diǎn)

1.大數(shù)據(jù)的概念

顧名思義，就是一個(gè)龐大海量的數(shù)據(jù)集，或稱為巨量資料。也就是說，如果一個(gè)數(shù)據(jù)集，在一定時(shí)間范圍內(nèi)，無法用傳統(tǒng)數(shù)據(jù)軟件工具進(jìn)行擷取、管理和處理，我們就把這樣的一個(gè)數(shù)據(jù)集合稱之為“大數(shù)據(jù)”【知識儲備】2.大數(shù)據(jù)的數(shù)據(jù)來源

大數(shù)據(jù)的數(shù)據(jù)來源于每一個(gè)人。我們在互聯(lián)網(wǎng)的每一個(gè)操作都可以產(chǎn)生各種行為數(shù)據(jù)，這些數(shù)據(jù)集合到一塊，就可以稱之為“大數(shù)據(jù)”。聊天瀏覽網(wǎng)頁購買商品發(fā)表文章【知識儲備】2.大數(shù)據(jù)的數(shù)據(jù)來源

這些也都會產(chǎn)生數(shù)據(jù)，這些數(shù)據(jù)與我們?nèi)祟愐蚕⑾⑾嚓P(guān)，也都可以稱之為“大數(shù)據(jù)”。大數(shù)據(jù)的數(shù)據(jù)來源，又并非單純指個(gè)人在互聯(lián)網(wǎng)上產(chǎn)生的數(shù)據(jù)。工業(yè)設(shè)備交通運(yùn)輸通信設(shè)施儀表儀器【知識儲備】3.大數(shù)據(jù)的特點(diǎn)

大數(shù)據(jù)的“大”，主要體現(xiàn)在下面5個(gè)方面，又稱為大數(shù)據(jù)的5V特性。多樣性Variety高速性Velocity價(jià)值性Value容量Volume真實(shí)性Veracity【知識儲備】3.大數(shù)據(jù)的特點(diǎn)

數(shù)據(jù)的存儲單位從過去的GB到TB，乃至現(xiàn)在的PB、EB、ZB級別。數(shù)據(jù)規(guī)模淘寶網(wǎng)近4億的會員每天產(chǎn)生的商品交易數(shù)據(jù)約20TB；臉書Facebook約10億的用戶每天產(chǎn)生的日志數(shù)據(jù)超過300TB容量Volume【知識儲備】3.大數(shù)據(jù)的特點(diǎn)

多樣性Variety（1）結(jié)構(gòu)化數(shù)據(jù)（2）半結(jié)構(gòu)化數(shù)據(jù)（3）非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)類型（3）非結(jié)構(gòu)化數(shù)據(jù)：特點(diǎn)：先有數(shù)據(jù)，再有模式例子：文檔、圖片、音視頻 （1）結(jié)構(gòu)化數(shù)據(jù)（關(guān)系型）特點(diǎn)：先有結(jié)構(gòu)、再有數(shù)據(jù)例子：二維表存儲（2）半結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)：先有部分?jǐn)?shù)據(jù)例子：XML,HTML等的文檔數(shù)據(jù)，樹、圖表示的數(shù)據(jù)結(jié)構(gòu)類型數(shù)據(jù)?！局R儲備】3.大數(shù)據(jù)的特點(diǎn)

速度Velocity大數(shù)據(jù)處理方式：

實(shí)時(shí)分析傳統(tǒng)處理方式：

批量式分析、在線分析數(shù)據(jù)處理

比如，億信BI大數(shù)據(jù)分析平臺，對不同行業(yè)，不同地區(qū)的，數(shù)據(jù)處理速度都相當(dāng)驚人。也只有這樣的數(shù)據(jù)處理平臺，才能在大數(shù)據(jù)時(shí)代爭的一席之地。因此，對于大數(shù)據(jù)平臺來說，誰的速度更快，誰就更有優(yōu)勢。【知識儲備】3.大數(shù)據(jù)的特點(diǎn)

價(jià)值密度Value對象：大量不相關(guān)信息作用：挖掘?qū)ξ磥碲厔菖c模式的可預(yù)測分析方法：機(jī)器學(xué)習(xí)、人工智能、數(shù)據(jù)挖掘數(shù)據(jù)價(jià)值指合理運(yùn)用大數(shù)據(jù)，以低成本創(chuàng)造高價(jià)值。相比于傳統(tǒng)的小數(shù)據(jù)，大數(shù)據(jù)最大的價(jià)值在于，對大量不相關(guān)的各類數(shù)據(jù)，通過機(jī)器學(xué)習(xí)、人工智能、數(shù)據(jù)挖掘等方法深度分析，挖掘出對未來趨勢與模式預(yù)測分析有價(jià)值的數(shù)據(jù)，將發(fā)現(xiàn)的新規(guī)律和新知識，運(yùn)用于各行各業(yè)，從而推動社會的發(fā)展。【知識儲備】3.大數(shù)據(jù)的特點(diǎn)

價(jià)值密度Value大量不相關(guān)數(shù)據(jù)數(shù)據(jù)挖掘人工智能機(jī)器學(xué)習(xí)有價(jià)值的數(shù)據(jù)應(yīng)用在各行各業(yè)【知識儲備】3.大數(shù)據(jù)的特點(diǎn)

分析對象：全部的數(shù)據(jù)數(shù)據(jù)質(zhì)量：真實(shí)可靠作用：企業(yè)做出明智的業(yè)務(wù)決策，有效的規(guī)避金融風(fēng)險(xiǎn)數(shù)據(jù)質(zhì)量真實(shí)性Veracity【知識儲備】二、大數(shù)據(jù)的關(guān)鍵技術(shù)

【知識儲備】

1.數(shù)據(jù)采集數(shù)據(jù)采集位于數(shù)據(jù)感知層，主要通過RFID射頻、傳感器、社交網(wǎng)絡(luò)交互及移動互聯(lián)網(wǎng)等方式，獲得海量數(shù)據(jù)。這些數(shù)據(jù)是大數(shù)據(jù)知識服務(wù)模型的基礎(chǔ)。【知識儲備】

2.數(shù)據(jù)存儲及管理技術(shù)大數(shù)據(jù)存儲與管理，主要用存儲器，或建立響應(yīng)的數(shù)據(jù)庫，把采集到的數(shù)據(jù)存儲起來，并進(jìn)行管理和調(diào)用。需要開發(fā)可靠的分布式文件系統(tǒng)（HDFS），存儲、管理海量的數(shù)據(jù)?！局R儲備】

3.數(shù)據(jù)處理技術(shù)主要通過Hadoop并行處理框架完成，該平臺框架中的分布式文件系統(tǒng)（HDFS）、分布式數(shù)據(jù)庫存儲系統(tǒng)（Hbase）、分布式計(jì)算構(gòu)（MapReduce）實(shí)現(xiàn)對數(shù)據(jù)的高速并行處理?！局R儲備】4.數(shù)據(jù)挖掘與分析技術(shù)數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但潛在的有用信息和知識的過程?！局R儲備】4.數(shù)據(jù)挖掘與分析技術(shù)數(shù)據(jù)挖掘的的過程就是如何獲取有用知識的過程。它的基本業(yè)務(wù)流程是：問題定義-數(shù)據(jù)獲取-數(shù)據(jù)預(yù)處理-特征選擇-模型建立-預(yù)測效果?！局R儲備】5.數(shù)據(jù)可視化與決策大數(shù)據(jù)可視化就是將前期挖掘分析到的數(shù)據(jù)，通過可視化手段呈現(xiàn)出來，便于用戶更直觀的看到數(shù)據(jù)的分布、發(fā)展趨勢、關(guān)聯(lián)性等?！救蝿?wù)小結(jié)】本次課主要從大數(shù)據(jù)的概念、特點(diǎn)、關(guān)鍵技術(shù)等方面進(jìn)行學(xué)習(xí)。希望同學(xué)們多去學(xué)習(xí)、探索這門新技術(shù)，未來為社會創(chuàng)造價(jià)值?！救蝿?wù)小結(jié)】課程思政：