謝謝觀賞大數(shù)據(jù)的產(chǎn)價(jià)值（上）清大教大家好，我是來自清華大學(xué)的汪東升，今天我們討論的題目是“大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值。目前計(jì)網(wǎng)市互+”業(yè)2.0”以及“大數(shù)據(jù)”這些熱詞，我們幾乎每天都能聽到。很多政府報(bào)告，包括各種媒體，都把這些熱詞稱為第三次浪潮也第三次的革命也些告指出這是彎道超車的一個(gè)機(jī)會(huì)為此我合這些熱詞，以大數(shù)據(jù)為重點(diǎn)探討一下大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值以及與其他熱門名詞的相互關(guān)系，以便于我們?cè)趶澋赖臅r(shí)候做到真正超車。我主要介紹以下三個(gè)方面：第一，大數(shù)據(jù)及其相關(guān)概念的理解；第二，大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值；第三，問題與建議。一大據(jù)其關(guān)念理（）數(shù)概及特這是我們從阿里PPT上錄的一頁。這是目前互聯(lián)網(wǎng)上每60秒發(fā)生的事情，大家都能體驗(yàn)到全I(xiàn)P網(wǎng)一分鐘可傳送639TB以的數(shù)據(jù)用Facebook、等社交媒體、社交網(wǎng)絡(luò)發(fā)生若干次的訪問，增量也是非常巨大的。比如蘋果的應(yīng)用下載4.7萬億次以及其他方面的應(yīng)用都海量的數(shù)據(jù)以這樣講2015年要用五年時(shí)間才能看完互聯(lián)網(wǎng)上一秒內(nèi)所存的視頻，可見信息量之大，以及增長(zhǎng)速度之快。由于數(shù)據(jù)量不斷增加，會(huì)出現(xiàn)數(shù)據(jù)爆炸，知識(shí)反而是貧乏的，同時(shí)難以決策，對(duì)我們的決策帶來更大的困難。從數(shù)據(jù)角度來說，可以有利于行業(yè)細(xì)分、數(shù)字化、多媒體、多維度、大規(guī)模和細(xì)粒度。從數(shù)字中，我們得到一些關(guān)聯(lián)、模式、趨勢(shì)、相關(guān)性關(guān)系以及分類，繼而為決策提供支持，包括市場(chǎng)定位、資金分配、產(chǎn)品選擇、廣告營(yíng)銷、時(shí)機(jī)選擇以及位置選擇。因此我們說，大數(shù)據(jù)時(shí)代到來了。1、大數(shù)據(jù)概念的發(fā)展脈絡(luò)大數(shù)據(jù)概念的發(fā)展脈絡(luò)簡(jiǎn)地歸結(jié)為以下這幾個(gè)流程年是Nature》自然雜志上推出了一些大數(shù)據(jù)的裝刊，對(duì)大數(shù)據(jù)的基本概念作了一些闡述2010年4月21日，這個(gè)概念首次列入維基百科的條目，并指出“大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取管和理的數(shù)據(jù)結(jié)合年2月Science推專刊說大數(shù)據(jù)對(duì)于科學(xué)研究的重要性在2011年月麥錫全球研究院發(fā)布了一份報(bào)告—《大數(shù)據(jù)創(chuàng)競(jìng)和生產(chǎn)力的下一新領(lǐng)域了工業(yè)性和學(xué)術(shù)界對(duì)大數(shù)據(jù)的關(guān)注報(bào)提出，大數(shù)據(jù)是指具有以下三個(gè)特征的數(shù)據(jù)：大數(shù)據(jù)量、快速增長(zhǎng)及多數(shù)據(jù)來源和類型2011年11月在品發(fā)布會(huì)上推大數(shù)據(jù)的概念，并概括為4個(gè)v的性，也就是大規(guī)模、多樣化、快速增長(zhǎng)以及潛藏價(jià)值2012年，美國國家科學(xué)基金發(fā)布大數(shù)據(jù)指南，指出大數(shù)據(jù)是海量、多樣、分布、異構(gòu)的數(shù)據(jù)。2、大數(shù)據(jù)的構(gòu)成所謂大數(shù)據(jù)是指大交易數(shù)據(jù)、大交互數(shù)據(jù)和大數(shù)據(jù)處理的統(tǒng)稱。大交易數(shù)據(jù)包括在線的交易處理、在線的分析處理以及數(shù)據(jù)倉庫等。大交互數(shù)據(jù)就是我們經(jīng)常用的Facebook、謝謝觀賞

謝謝觀賞Twitter等這些社交媒體數(shù)據(jù)。這些數(shù)據(jù)集成在一起對(duì)于大數(shù)據(jù)的集成、分析以及決策提供了方便。從這張圖上可以看出大數(shù)據(jù)的構(gòu)成，大數(shù)據(jù)包括交易數(shù)據(jù)和交互數(shù)據(jù)在內(nèi)的所有數(shù)據(jù)集，因此大數(shù)據(jù)等于海量數(shù)據(jù)加上復(fù)雜類型的數(shù)據(jù)。所謂海量交易數(shù)據(jù)，就是我們經(jīng)常用的數(shù)據(jù)庫數(shù)據(jù)，企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息，主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進(jìn)行管理和訪問的靜態(tài)歷史數(shù)據(jù)，我們進(jìn)行查詢統(tǒng)計(jì)能了解過去發(fā)生的事情。另外一種是海量交互數(shù)據(jù)，比如FacebookTwitter、以及信等等，以及其他來源的社交媒體或社交構(gòu)成，它包括呼叫詳細(xì)記錄CDR、設(shè)備和存儲(chǔ)傳感信息和地理定位映射信息、通過管理文件傳輸管理文件協(xié)議的海量圖片文件，還有點(diǎn)擊數(shù)字量、科學(xué)信息、電子郵件等等，可以預(yù)測(cè)未來，這些數(shù)據(jù)大多數(shù)是非結(jié)構(gòu)化的數(shù)據(jù)。對(duì)于這樣的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)需要進(jìn)行海量數(shù)據(jù)的處理，大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)，比如一些科研架構(gòu)，我們經(jīng)常說的就是Hadoop等3、大數(shù)據(jù)的基本概念關(guān)于大數(shù)據(jù)沒有標(biāo)準(zhǔn)的定義，這是一個(gè)英文的定義：大數(shù)據(jù)是一種數(shù)據(jù)，它具有可擴(kuò)展性、多樣性、復(fù)雜性的特點(diǎn)，它需要一種新的架構(gòu)、新的技術(shù)、新的算法以及新的分析工具去管理這些數(shù)據(jù)，同時(shí)從中抽取隱含在內(nèi)的重要信息，這就是大數(shù)據(jù)的概念，它談不上是一個(gè)定義。關(guān)于大數(shù)據(jù)的概念，我們的理解是：大數(shù)據(jù)是指數(shù)據(jù)海量、計(jì)算復(fù)雜的數(shù)據(jù)集合，在一定時(shí)間內(nèi)難以依靠已有數(shù)據(jù)處理技術(shù)來進(jìn)行有效的采集理和分析常可以用4v特來表示這不是一個(gè)標(biāo)準(zhǔn)的定義是一個(gè)概念目前數(shù)據(jù)量不斷地增大類不斷地增多，我們現(xiàn)在的技術(shù)、結(jié)構(gòu)和算法還無法支撐它、分析它，這是一個(gè)難題。4、大數(shù)據(jù)的特點(diǎn)4v特主要是規(guī)模巨大生高速式多樣息價(jià)值這4個(gè)特規(guī)巨大是指，非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)10倍到50倍產(chǎn)生高速是指速度產(chǎn)生是非常巨大的，實(shí)時(shí)分析而非批量式分析，數(shù)據(jù)輸入、處理與丟棄，立竿見影而非事后見效，要求它的實(shí)時(shí)性；形式多樣也就是我們所說的異構(gòu)性，數(shù)據(jù)包括文本、圖象、視頻、機(jī)器數(shù)據(jù)，模式不明顯，語法語義也不連貫；信息價(jià)值就是大量不相關(guān)的信息，對(duì)未來趨勢(shì)與模式的深度復(fù)雜分析，通過這些分析能得到我們所用的信息。因此，大數(shù)據(jù)就像“航來威力巨大，放著不動(dòng)也消耗巨大。（）模巨大首先規(guī)是巨大的從級(jí)別PB直到ZB的別關(guān)數(shù)據(jù)的度量尺度我可以看一下，TB是10的12次方PB是10的15次方ZB到10的21次。大數(shù)據(jù)包括互聯(lián)網(wǎng)的數(shù)據(jù)，年生量是1.8ZB，以每本書10兆字節(jié)來計(jì)算，這個(gè)數(shù)據(jù)相當(dāng)于700萬個(gè)中國國家圖書館的容量，可見它的數(shù)據(jù)是非常大的。同時(shí)還有醫(yī)療保健數(shù)據(jù)、海洋氣象數(shù)據(jù)以及基因工程等方面的數(shù)據(jù)國國立基金研究所宣布基計(jì)劃所產(chǎn)生的數(shù)據(jù)總量已達(dá)到200TB，成為世界上大的人類基因變異數(shù)據(jù)集。（）生高速數(shù)據(jù)持續(xù)產(chǎn)生高速，并要求實(shí)時(shí)處理。我們看一下電信運(yùn)營(yíng)數(shù)據(jù)，聯(lián)通上網(wǎng)記錄每83謝謝觀賞

謝謝觀賞萬條，每月1萬條，大概300TB容量；天文數(shù)據(jù)五年的總數(shù)據(jù)量可以達(dá)到15PB；有企業(yè)運(yùn)行數(shù)據(jù)，到2000年時(shí)全新產(chǎn)生的數(shù)據(jù)量為1000PB到2000PB，2010年球業(yè)一年存儲(chǔ)的數(shù)據(jù)量超過，是產(chǎn)生高速的一個(gè)特點(diǎn)。（）式多樣數(shù)據(jù)來源和數(shù)據(jù)通道也是多方面的，比如多樣化的數(shù)據(jù)來源，從Twitter、歌、、機(jī)等等各種終端來的數(shù)據(jù)也是非常豐富多彩的。因此下一個(gè)特點(diǎn)是形式多樣，各種類型的數(shù)據(jù)，包括語音、圖片、音頻、視頻、地理位置信息等非結(jié)構(gòu)化數(shù)據(jù)，個(gè)性化數(shù)據(jù)占絕大多數(shù)大數(shù)據(jù)時(shí)代據(jù)呈爆炸的趨勢(shì)一鐘發(fā)生了639TB的絡(luò)流量，同時(shí)有兩億封郵件70萬的Facebook更30小的YouTube新增視頻70萬谷歌搜索，可見數(shù)據(jù)是爆炸性的增長(zhǎng)，不斷產(chǎn)生的。（）息價(jià)值從信息的價(jià)值角度來說，可用信息在數(shù)據(jù)總量中的比例低，其潛在價(jià)值是巨大的。每一個(gè)信息給我們的信息量是非常小的，但是把它們歸結(jié)在一起，通過有效的手段進(jìn)行提取分析會(huì)得到非常有用的高效信息。以視頻為例7X24小的全程視頻監(jiān)控中，可能有用的數(shù)據(jù)僅僅只有一兩秒，有用信息在數(shù)據(jù)總量中的比例低，但是潛在的價(jià)值是非常大的，比如大量的視頻中我們可以找到犯罪嫌疑人，殺人惡魔周克華就是從這種視頻監(jiān)控的海量信息中查找出來的。大數(shù)據(jù)時(shí)代的市場(chǎng)空間非常巨大，數(shù)據(jù)已經(jīng)成為一種資產(chǎn)，像貨幣和黃金一樣世紀(jì)的原油”這種說法可不是隨便說的，說明數(shù)據(jù)對(duì)于我們國家的戰(zhàn)略、對(duì)國民技術(shù)發(fā)展起到非常重要的作用像原油一樣球未來年58%增速2017年可以達(dá)到500億美。中國2013年增速為138%年市場(chǎng)將達(dá)到100億就是2012年2017年增速情況，幾乎呈線性增長(zhǎng)。2012年2017年中國的大數(shù)據(jù)市場(chǎng)規(guī)模也非常巨大2011年被稱為中國大數(shù)據(jù)的市場(chǎng)元年2012年2016迎來了大數(shù)據(jù)飛速發(fā)展時(shí)期，2012年國大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)到億，年數(shù)據(jù)市場(chǎng)迎來增速的飛躍，到2016年個(gè)市場(chǎng)規(guī)模逼近百億。這是2012年各行業(yè)大據(jù)的市場(chǎng)規(guī)模，政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場(chǎng)規(guī)模較大，4個(gè)業(yè)將占據(jù)一半的場(chǎng)份額，由于各個(gè)企業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場(chǎng)空間是非常巨大的，這里面包括政府、互聯(lián)網(wǎng)、電信、流通、金融、醫(yī)療、制造、零售、教育、能源等等各個(gè)方面的市場(chǎng)規(guī)模情況。剛才我們總結(jié)了大數(shù)據(jù)的4v特時(shí)大數(shù)據(jù)在不同行業(yè)中也呈現(xiàn)出不同的特點(diǎn)銀行、保險(xiǎn)、政府、零售、批發(fā)等應(yīng)用中的數(shù)據(jù)特點(diǎn)是不一樣的。比如在數(shù)據(jù)量方面，健康醫(yī)療的數(shù)據(jù)量是失蹤的，不是特別多，而在銀行保險(xiǎn)方面，數(shù)據(jù)量是非常大的；對(duì)于速度的要求，比如銀行、保險(xiǎn)的速度也非常快，對(duì)批發(fā)這種行業(yè)來說，它的數(shù)據(jù)產(chǎn)生速度就相對(duì)要小很多；同時(shí)，各個(gè)行業(yè)沒有利用的所謂“黑數(shù)據(jù)”也不一樣。（二）相關(guān)概念與關(guān)系分析從計(jì)算機(jī)發(fā)展來看，大數(shù)據(jù)經(jīng)過架構(gòu)化、數(shù)字化、網(wǎng)絡(luò)化以及智慧化發(fā)展的流程。智慧化反映的特點(diǎn)就是移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)和大數(shù)據(jù)。大數(shù)據(jù)不是獨(dú)立存在的，它的產(chǎn)生、處理以及利用一定要與我們所接觸的一些概念相關(guān)聯(lián)，相關(guān)概念包括云計(jì)算、物聯(lián)網(wǎng)以謝謝觀賞

謝謝觀賞及與大數(shù)據(jù)之間的關(guān)系，這三者是相輔相成的。這是我在西安看到的一個(gè)出租車，出租車上面的廣告牌同時(shí)出現(xiàn)“愛社會(huì)、關(guān)愛自然是謂的云廣告這視覺效果非常好一般來說出租車廣告牌我是不看的但是每輛出租車同時(shí)出現(xiàn)的字我就會(huì)關(guān)注，這是所謂云廣告的具體應(yīng)用。馬航失事的飛機(jī)叫MH370，果計(jì)算應(yīng)用于飛機(jī)的黑匣子，那么與我們現(xiàn)在用的黑匣子技術(shù)相結(jié)合是非常圓滿的一件事情，空中乘客可以上網(wǎng)，這種云匣子可以通過各種傳感信息、濕度、溫度以及攝像等等數(shù)據(jù)及時(shí)地傳到地面上，從技術(shù)角度來說已經(jīng)不成任何問題，這對(duì)以后查找事故信息是非常方便的。另外，云計(jì)算過去對(duì)于維護(hù)、人員、培訓(xùn)、運(yùn)維等等方面會(huì)帶來很大的好處，同時(shí)在安檢的可靠性、水電、安保方面也有很大的優(yōu)點(diǎn)。什么是云計(jì)算？云計(jì)算概念也是眾說紛紜，沒有統(tǒng)一的定義，現(xiàn)在很多定義嘗試著從學(xué)術(shù)架構(gòu)、工程師、開發(fā)人員、管理人員等不同的角度去定義。這是維科百科的定義：云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過這種方式共享了軟硬件資源和信息，可以按需提供給計(jì)算機(jī)和其他設(shè)備。我們認(rèn)為，云計(jì)算是指服務(wù)的交互和使用模式，用戶通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù)。因此，云計(jì)算不是概念，不是操作，不是口號(hào)，不是超級(jí)計(jì)算，也不是網(wǎng)格計(jì)算。云計(jì)算包括后續(xù)提出的海計(jì)算、框計(jì)算、風(fēng)計(jì)算等等，它應(yīng)該是一種新的創(chuàng)新模式、商業(yè)模式、新的運(yùn)營(yíng)模式，是成本、效用、應(yīng)用至上，是大眾參與的一個(gè)舞臺(tái)。云計(jì)算的實(shí)質(zhì)，簡(jiǎn)單說就是計(jì)算虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化的結(jié)合，繼而實(shí)現(xiàn)數(shù)據(jù)更新的虛擬化過程。我把住房和云計(jì)算結(jié)合在一起，目的是說明云計(jì)算和這種概念一起接受的容易程度。從住房角度來說住小康指各個(gè)城市的住房自有率是不同庭金融調(diào)查報(bào)告》中國住房自有率是，界平均是60%瑞士是31%，后是瑞典和德國。住房自有率最高的是亞美尼亞，1998年達(dá)最高值96.3%住房自有率高的國家?guī)缀醵际墙?jīng)濟(jì)水平發(fā)展比較低的轉(zhuǎn)軌國家，而住房自有率低的國家則是經(jīng)濟(jì)發(fā)達(dá)的國家。由于發(fā)達(dá)國家人口流動(dòng)性強(qiáng)為減少住房買賣的麻煩多人寧愿租房而不是買房相反落國家人口流動(dòng)性差，擁有自有住房的家庭反而更可能居住在自己擁有的家庭中。因此，雖然云計(jì)算在我們國家風(fēng)起云涌，也用得比較好，其實(shí)在接受程度上應(yīng)該說是和住房一樣，還是有一定的難度。舉例說明，比如北京北五環(huán)的房子一平方在以上120平的房子需要600萬上的錢去購買，假如我不買房，靠600靠投資理財(cái)，假如每年有5%到10%的收益，那一年可以收30-60萬收益。考慮到物的增長(zhǎng)，我把這些錢放到一個(gè)地方進(jìn)行理財(cái)，靠這些利息完全可以在北京租房的價(jià)格下進(jìn)行租房，比如每個(gè)月用租金一萬，相比120平的住房，無需物業(yè)費(fèi)、維修、維護(hù)、折舊的房產(chǎn)稅等等，這就是租房和住房的概念。所謂租房的概念，就像云計(jì)算資源一樣具有服務(wù)的意識(shí)和理念，買房和租房這種理念和云計(jì)算資源的租用其實(shí)是一樣的。另外住的云計(jì)算做的比較計(jì)安全是最重要的是不是云計(jì)算就一定安全？以住房為例說明云計(jì)算的安全問題，這也是一個(gè)雙刃劍。比如現(xiàn)在我可以不住房，可以租房或者住賓館。以住賓館為例，假如一年用30萬到60萬賓館，其實(shí)我未必每天都住，我可以想住就住可以不住的時(shí)候可住在朋友家或者父母家里面客房的衛(wèi)生餐都不用管，謝謝觀賞

謝謝觀賞這也都是云計(jì)算能提供的方便，同時(shí)我可以拎包入住，這就是云計(jì)算所說的PaaS、的概念。安全是雙刃劍，為什么？有的人說云計(jì)算是非常安全的，我不認(rèn)可，有人說住在家里非常安全我也不認(rèn)可。賓館安全還是家里安全？我們認(rèn)為賓館是安全的，因?yàn)橘e館有保安我們家里沒有保安，但是如果把錢放在賓館里面，放在床上和放在家里，這時(shí)候安全度又是不一樣的這說明了賓館里面能還會(huì)存在內(nèi)鬼云計(jì)算也是如此計(jì)算的基礎(chǔ)設(shè)施、安全設(shè)施是非常完備的，從總體來看是安全的，但是你的數(shù)據(jù)放在云里面，對(duì)這種云的管理來說又是不安全的，因?yàn)樗赡苡袃?nèi)鬼。云計(jì)算的關(guān)鍵技術(shù)包括虛擬化、安全、可靠、綠色節(jié)能等等很多方面。云計(jì)算安全問題是云計(jì)算得以應(yīng)用發(fā)展的一個(gè)最大障礙，表現(xiàn)在幾方面：第一，虛擬化技術(shù)帶來新的安全威脅；第二是數(shù)據(jù)集中存儲(chǔ)引發(fā)的安全問題；第三是云服務(wù)和管理和調(diào)度產(chǎn)生的安全問題，以及傳統(tǒng)安全威脅的一些新特點(diǎn)，會(huì)引起新的問題。這是對(duì)云計(jì)算面臨的問題進(jìn)行的一個(gè)設(shè)計(jì)圖，從使用者角度來說，隱私數(shù)據(jù)保護(hù)和數(shù)據(jù)安全，運(yùn)行環(huán)境的安全以及內(nèi)容安全，都是他所關(guān)心的。這個(gè)安全問題主要是在這么幾個(gè)方面：云計(jì)算安全問題主要在用戶角度、運(yùn)營(yíng)商角度、國家和第三方監(jiān)管部門的角度都存在著安全，這個(gè)安全就像一個(gè)多米諾骨牌效應(yīng)，一旦這三方面有一方面倒塌，那整個(gè)安全就有很大的問題。在云計(jì)算方面主要存在的問題有哪些？簡(jiǎn)單的說，目前我國的形勢(shì)是重設(shè)施、輕應(yīng)用，行業(yè)地域特色要求云計(jì)算發(fā)展模式的差異化，但是花錢買服務(wù)和服務(wù)意識(shí)的加強(qiáng)還有待于提高。另外，安全隱私是大問題，安全的意識(shí)、技術(shù)和立法方面還有所欠缺，以及云計(jì)算個(gè)性化和標(biāo)準(zhǔn)化的矛盾也是目前存在的主要問題。我們還經(jīng)常提到一些概念如慧城市帶動(dòng)行業(yè)云的發(fā)展慧城市需要數(shù)據(jù)的融合。目前，各個(gè)城市、各個(gè)部門存在的大量信息