01什么是大數(shù)據(jù)02大數(shù)據(jù)的定義什么是大數(shù)據(jù)01什么是大數(shù)據(jù)

大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)，是指從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫，云計(jì)算平臺，互聯(lián)網(wǎng)，和可擴(kuò)展的存儲(chǔ)系統(tǒng)。大數(shù)據(jù)的定義02大數(shù)據(jù)的定義

對于大數(shù)據(jù)的定義，麥肯錫全球研究所給出的定義是:大數(shù)據(jù)是一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低最主要的四大特征。此外，對于“大數(shù)據(jù)”(Bigdata)研究機(jī)構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)由巨型數(shù)據(jù)集組成，這些數(shù)據(jù)集大小常超出人類在可接受時(shí)間下的收集、庋用、管理和處理能力。大數(shù)據(jù)的大小經(jīng)常改變，截至2012年，單一數(shù)據(jù)集的大小從數(shù)太字節(jié)（TB）至數(shù)十兆億字節(jié)（PB）不等。大數(shù)據(jù)的定義

在一份2001年的研究與相關(guān)的演講中，麥塔集團(tuán)（METAGroup，現(xiàn)為高德納）分析員道格·萊尼（DougLaney）指出數(shù)據(jù)增長的挑戰(zhàn)和機(jī)遇有三個(gè)方向：量（Volume，數(shù)據(jù)大小）、速（Velocity，數(shù)據(jù)輸入輸出的速度）與多變（Variety，多樣性），合稱“3V”或“3Vs”。高德納與現(xiàn)在大部分大數(shù)據(jù)產(chǎn)業(yè)中的公司，都繼續(xù)使用3V來描述大數(shù)據(jù)。高德納于2012年修改對大數(shù)據(jù)的定義：“大數(shù)據(jù)是大量、高速、及/或多變的信息資產(chǎn)，它需要新型的處理方式去促成更強(qiáng)的決策能力、洞察力與最優(yōu)化處理。”另外，有機(jī)構(gòu)在3V之外定義第4個(gè)V：真實(shí)性（Veracity）為第四特點(diǎn)，然而隨著大數(shù)據(jù)技術(shù)的飛速的更新發(fā)展，4v也逐漸變成了5v、6v、7v甚至是8v。大數(shù)據(jù)的定義從技術(shù)上看,大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計(jì)算機(jī)進(jìn)行處理,必須采用分布式架構(gòu)。它的特色在于對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和云存儲(chǔ)、虛擬化技術(shù)。大數(shù)據(jù)的定義隨著云時(shí)代的來臨，大數(shù)據(jù)(Bigdata)也吸引了越來越多的關(guān)注。分析師團(tuán)隊(duì)認(rèn)為,大數(shù)據(jù)(Bigdata)通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時(shí)會(huì)花費(fèi)過多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce-樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過時(shí)間內(nèi)的數(shù)據(jù)。適用