




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、大數據究竟竟是什么?一篇文章章讓你認識識并讀懂大大數據在寫這篇文文章之前,我我發現身邊邊很多ITT人對于這這些熱門的的新技術、新趨勢往往往趨之若若鶩卻又很很難說的透透徹,如果果你問他大大數據和你你有什么關關系?估計計很少能說說出一二三三來。究其其原因,一一是因為大大家對新技技術有著相相同的原始始渴求,至至少知其然然在聊天時時不會顯得得很“土鱉鱉”;二是是在工作和和生活環境境中真正能能參與實踐踐大數據的的案例實在在太少了,所所以大家沒沒有必要花花時間去知知其所以然然。我希望有些些不一樣,所所以對該如如何去認識識大數據進進行了一番番思索,包包括查閱了了資料,翻翻閱了最新新的專業書書籍,但我我并不想
2、把把那些零散散的資料碎碎片或不同同理解論述述簡單規整整并堆積起起來形成毫毫無價值的的轉述或評評論,我很很真誠的希希望進入事事物探尋本本質。如果你說大大數據就是是數據大,或或者侃侃而而談4個VV,也許很很有深度的的談到BII或預測的的價值,又又或者拿GGooglle和Ammazonn舉例,技技術流可能能會聊起HHadooop和Clloud Compputinng,不管管對錯,只只是無法勾勾勒對大數數據的整體體認識,不不說是片面面,但至少少有些管窺窺蠡測、隔隔衣瘙癢了了。也許,“解構”是最好的的方法。怎樣結構大大數據?首先,我認認為大數據據就是互聯聯網發展到到現今階段段的一種表表象或特征征而已,沒
3、沒有必要神神話它或對對它保持敬敬畏之心,在在以云計算算為代表的的技術創新新大幕的襯襯托下,這這些原本很很難收集和和使用的數數據開始容容易被利用用起來了,通通過各行各各業的不斷斷創新,大大數據會逐逐步為人類類創造更多多的價值。其次,想要要系統的認認知大數據據,必須要要全面而細細致的分解解它,我著著手從三個個層面來展展開:第一層面是是理論,理理論是認知知的必經途途徑,也是是被廣泛認認同和傳播播的基線。我會從大大數據的特特征定義理理解行業對對大數據的的整體描繪繪和定性;從對大數數據價值的的探討來深深入解析大大數據的珍珍貴所在;從對大數數據的現在在和未來去去洞悉大數數據的發展展趨勢;從從大數據隱隱私這
4、個特特別而重要要的視角審審視人和數數據之間的的長久博弈弈。第二層面是是技術,技技術是大數數據價值體體現的手段段和前進的的基石。我我將分別從從云計算、分布式處處理技術、存儲技術術和感知技技術的發展展來說明大大數據從采采集、處理理、存儲到到形成結果果的整個過過程。第三層面是是實踐,實實踐是大數數據的最終終價值體現現。我將分分別從互聯聯網的大數數據,政府府的大數據據,企業的的大數據和和個人的大大數據四個個方面來描描繪大數據據已經展現現的美好景景象及即將將實現的藍藍圖。和大數據據相關的理理論 特征定定義最早提出大大數據時代代到來的是是麥肯錫:“數據,已已經滲透到到當今每一一個行業和和業務職能能領域,成
5、成為重要的的生產因素素。人們對對于海量數數據的挖掘掘和運用,預預示著新一一波生產率率增長和消消費者盈余余浪潮的到到來。”業界(IBBM 最早早定義)將將大數據的的特征歸納納為4個“V”(量Voolumee,多樣VVarieety,價價值Vallue,速速Veloocityy),或者者說特點有有四個層面面:第一,數數據體量巨巨大。大數數據的起始始計量單位位至少是PP(10000個T)、E(1000萬個TT)或Z(110億個TT);第二二,數據類類型繁多。比如,網網絡日志、視頻、圖圖片、地理理位置信息息等等。第第三,價值值密度低,商商業價值高高。第四,處處理速度快快。最后這這一點也是是和傳統的的數
6、據挖掘掘技術有著著本質的不不同。其實這些VV并不能真真正說清楚楚大數據的的所有特征征,下面這這張圖對大大數據的一一些相關特特性做出了了有效的說說明。古語云:三三分技術,七七分數據,得得數據者得得天下。先先不論誰說說的,但是是這句話的的正確性已已經不用去去論證了。維克托邁爾-舍舍恩伯格在在大數據據時代一一書中舉了了百般例證證,都是為為了說明一一個道理:在大數據據時代已經經到來的時時候要用大大數據思維維去發掘大大數據的潛潛在價值。書中,作作者提及最最多的是GGooglle如何利利用人們的的搜索記錄錄挖掘數據據二次利用用價值,比比如預測某某地流感爆爆發的趨勢勢;Amaazon如如何利用用用戶的購買買
7、和瀏覽歷歷史數據進進行有針對對性的書籍籍購買推薦薦,以此有有效提升銷銷售量;FFareccast如如何利用過過去十年所所有的航線線機票價格格打折數據據,來預測測用戶購買買機票的時時機是否合合適。那么,什么么是大數據據思維?維維克托邁爾-舍舍恩伯格認認為,1-需要全部部數據樣本本而不是抽抽樣;2-關注效率率而不是精精確度;33-關注相相關性而不不是因果關關系。阿里巴巴的的王堅對于于大數據也也有一些獨獨特的見解解,比如,“今天的數數據不是大大,真正有有意思的是是數據變得得在線了,這這個恰恰是是互聯網的的特點。”“非互聯網網時期的產產品,功能能一定是它它的價值,今今天互聯網網的產品,數數據一定是是它
8、的價值值?!薄澳闱f不不要想著拿拿數據去改改進一個業業務,這不不是大數據據。你一定定是去做了了一件以前前做不了的的事情?!碧貏e是最后后一點,我我是非常認認同的,大大數據的真真正價值在在于創造,在在于填補無無數個還未未實現過的的空白。有人把數據據比喻為蘊蘊藏能量的的煤礦。煤煤炭按照性性質有焦煤煤、無煙煤煤、肥煤、貧煤等分分類,而露露天煤礦、深山煤礦礦的挖掘成成本又不一一樣。與此此類似,大大數據并不不在“大”,而在于于“有用”。價值含含量、挖掘掘成本比數數量更為重重要。 價值探探討大數據是什什么?投資資者眼里是是金光閃閃閃的兩個字字:資產。比如,FFacebbook上上市時,評評估機構評評定的有效
9、效資產中大大部分都是是其社交網網站上的數數據。如果把大數數據比作一一種產業,那那么這種產產業實現盈盈利的關鍵鍵,在于提提高對數據據的“加工能力力”,通過“加工”實現數據據的“增值”。Targeet 超市市以20多多種懷孕期期間孕婦可可能會購買買的商品為為基礎,將將所有用戶戶的購買記記錄作為數數據來源,通通過構建模模型分析購購買者的行行為相關性性,能準確確的推斷出出孕婦的具具體臨盆時時間,這樣樣Targget的銷銷售部門就就可以有針針對的在每每個懷孕顧顧客的不同同階段寄送送相應的產產品優惠卷卷。Targeet的例子子是一個很很典型的案案例,這樣樣印證了維維克托邁爾-舍舍恩伯格提提過的一個個很有指
10、導導意義的觀觀點:通過過找出一個個關聯物并并監控它,就就可以預測測未來。TTargeet通過監監測購買者者購買商品品的時間和和品種來準準確預測顧顧客的孕期期,這就是是對數據的的二次利用用的典型案案例。如果果,我們通通過采集駕駕駛員手機機的GPSS數據,就就可以分析析出當前哪哪些道路正正在堵車,并并可以及時時發布道路路交通提醒醒;通過采采集汽車的的GPS位位置數據,就就可以分析析城市的哪哪些區域停停車較多,這這也代表該該區域有著著較為活躍躍的人群,這這些分析數數據適合賣賣給廣告投投放商。不管大數據據的核心價價值是不是是預測,但但是基于大大數據形成成決策的模模式已經為為不少的企企業帶來了了盈利和聲
11、聲譽。從大數據的的價值鏈條條來分析,存存在三種模模式:1- 手握握大數據,但但是沒有利利用好;比比較典型的的是金融機機構,電信信行業,政政府機構等等。2- 沒有有數據,但但是知道如如何幫助有有數據的人人利用它;比較典型型的是ITT咨詢和服服務企業,比比如,埃森森哲,IBBM,Orraclee等。3- 既有有數據,又又有大數據據思維;比比較典型的的是Gooogle,AAmazoon,Maasterrcardd等。未來在大數數據領域最最具有價值值的是兩種種事物:11-擁有大大數據思維維的人,這這種人可以以將大數據據的潛在價價值轉化為為實際利益益;2-還還未有被大大數據觸及及過的業務務領域。這這些是
12、還未未被挖掘的的油井,金金礦,是所所謂的藍海海。Wal-MMart作作為零售行行業的巨頭頭,他們的的分析人員員會對每個個階段的銷銷售記錄進進行了全面面的分析,有有一次他們們無意中發發現雖不相相關但很有有價值的數數據,在美美國的颶風風來臨季節節,超市的的蛋撻和抵抵御颶風物物品竟然銷銷量都有大大幅增加,于于是他們做做了一個明明智決策,就就是將蛋撻撻的銷售位位置移到了了颶風物品品銷售區域域旁邊,看看起來是為為了方便用用戶挑選,但但是沒有想想到蛋撻的的銷量因此此又提高了了很多。還有一個有有趣的例子子,19448年遼沈沈戰役期間間,司令員員林彪要求求每天要進進行例常的的“每日軍情情匯報”,由值班班參謀讀
13、出出下屬各個個縱隊、師師、團用電電臺報告的的當日戰況況和繳獲情情況。那幾幾乎是重復復著千篇一一律枯燥無無味的數據據:每支部部隊殲敵多多少、俘虜虜多少;繳繳獲的火炮炮、車輛多多少,槍支支、物資多多少有一天天,參謀照照例匯報當當日的戰況況,林彪突突然打斷他他:“剛才念的的在胡家窩窩棚那個戰戰斗的繳獲獲,你們聽聽到了嗎?”大家都很很茫然,因因為如此戰戰斗每天都都有幾十起起,不都是是差不多一一模一樣的的枯燥數字字嗎?林彪彪掃視一周周,見無人人回答,便便接連問了了三句:“為什么那那里繳獲的的短槍與長長槍的比例例比其它戰戰斗略高?”“為什么么那里繳獲獲和擊毀的的小車與大大車的比例例比其它戰戰斗略高?”“為
14、什么么在那里俘俘虜和擊斃斃的軍官與與士兵的比比例比其它它戰斗略高高?”林彪司令令員大步走走向掛滿軍軍用地圖的的墻壁,指指著地圖上上的那個點點說:“我猜想,不不,我斷定定!敵人的的指揮所就就在這里!”果然,部部隊很快就就抓住了敵敵方的指揮揮官廖耀湘湘,并取得得這場重要要戰役的勝勝利。這些例子真真實的反映映在各行各各業,探求求數據價值值取決于把把握數據的的人,關鍵鍵是人的數數據思維;與其說是是大數據創創造了價值值,不如說說是大數據據思維觸發發了新的價價值增長。 現在和和未來我們先看看看大數據在在當下有怎怎樣的杰出出表現:大數據幫助助政府實現現市場經濟濟調控、公公共衛生安安全防范、災難預警警、社會輿
15、輿論監督;大數據幫助助城市預防防犯罪,實實現智慧交交通,提升升緊急應急急能力;大數據幫助助醫療機構構建立患者者的疾病風風險跟蹤機機制,幫助助醫藥企業業提升藥品品的臨床使使用效果,幫幫助艾滋病病研究機構構為患者提提供定制的的藥物;大數據幫助助航空公司司節省運營營成本,幫幫助電信企企業實現售售后服務質質量提升,幫幫助保險企企業識別欺欺詐騙保行行為,幫助助快遞公司司監測分析析運輸車輛輛的故障險險情以提前前預警維修修,幫助電電力公司有有效識別預預警即將發發生故障的的設備;大數據幫助助電商公司司向用戶推推薦商品和和服務,幫幫助旅游網網站為旅游游者提供心心儀的旅游游路線,幫幫助二手市市場的買賣賣雙方找到到
16、最合適的的交易目標標,幫助用用戶找到最最合適的商商品購買時時期、商家家和最優惠惠價格;大數據幫助助企業提升升營銷的針針對性,降降低物流和和庫存的成成本,減少少投資的風風險,以及及幫助企業業提升廣告告投放精準準度;大數據幫助助娛樂行業業預測歌手手,歌曲,電電影,電視視劇的受歡歡迎程度,并并為投資者者分析評估估拍一部電電影需要投投入多少錢錢才最合適適,否則就就有可能收收不回成本本;大數據幫助助社交網站站提供更準準確的好友友推薦,為為用戶提供供更精準的的企業招聘聘信息,向向用戶推薦薦可能喜歡歡的游戲以以及適合購購買的商品品。其實,這些些還遠遠不不夠,未來來大數據的的身影應該該無處不在在,就算無無法準
17、確預預測大數據據終會將人人類社會帶帶往到哪種種最終形態態,但我相相信只要發發展腳步在在繼續,因因大數據而而產生的變變革浪潮將將很快淹沒沒地球的每每一個角落落。比如,Ammazonn的最終期期望是:“最成功的的書籍推薦薦應該只有有一本書,就就是用戶要要買的下一一本書?!盙ooglle也希望望當用戶在在搜索時,最最好的體驗驗是搜索結結果只包含含用戶所需需要的內容容,而這并并不需要用用戶給予GGooglle太多的的提示。而當物聯網網發展到達達一定規模模時,借助助條形碼、二維碼、RFIDD等能夠唯唯一標識產產品,傳感感器、可穿穿戴設備、智能感知知、視頻采采集、增強強現實等技技術可實現現實時的信信息采集
18、和和分析,這這些數據能能夠支撐智智慧城市,智智慧交通,智智慧能源,智智慧醫療,智智慧環保的的理念需要要,這些都都所謂的智智慧將是大大數據的采采集數據來來源和服務務范圍。未來的大數數據除了將將更好的解解決社會問問題,商業業營銷問題題,科學技技術問題,還還有一個可可預見的趨趨勢是以人人為本的大大數據方針針。人才是是地球的主主宰,大部部分的數據據都與人類類有關,要要通過大數數據解決人人的問題。比如,建立立個人的數數據中心,將將每個人的的日常生活活習慣,身身體體征,社社會網絡,知知識能力,愛愛好性情,疾疾病嗜好,情情緒波動換言之之就是記錄錄人從出生生那一刻起起的每一分分每一秒,將將除了思維維外的一切切
19、都儲存下下來,這些些數據可以以被充分的的利用:醫療機構將將實時的監監測用戶的的身體健康康狀況;教育機構更更有針對的的制定用戶戶喜歡的教教育培訓計計劃;服務行業為為用戶提供供即時健康康的符合用用戶生活習習慣的食物物和其它服服務;社交網絡能能為你提供供合適的交交友對象,并并為志同道道合的人群群組織各種種聚會活動動;政府能在用用戶的心理理健康出現現問題時有有效的干預預,防范自自殺,刑事事案件的發發生;金融機構能能幫助用戶戶進行有效效的理財管管理,為用用戶的資金金提供更有有效的使用用建議和規規劃;道路交通、汽車租賃賃及運輸行行業可以為為用戶提供供更合適的的出行線路路和路途服服務安排;當然,上面面的一切
20、看看起來都很很美好,但但是否是以以犧牲了用用戶的自由由為前提呢呢?只能說說當新鮮事事物帶來了了革新的同同時也同樣樣帶來了“病菌”。比如,在在手機未普普及前,大大家喜歡聚聚在一起聊聊天,自從從手機普及及后特別是是有了互聯聯網,大家家不用聚在在一起也可可以隨時隨隨地的聊天天,只是“病菌”滋生了另另外一種情情形,大家家慢慢習慣慣了和手機機共渡時光光,人與人人之間情感感交流仿佛佛永遠隔著著一張“網”。 大數據據隱私你或許并不不敏感,當當你在不同同的網站上上注冊了個個人信息后后,可能這這些信息已已經被擴散散出去了,當當你莫名其其妙的接到到各種郵件件,電話,短短信的滋擾擾時,你不不會想到自自己的電話話號碼
21、,郵郵箱,生日日,購買記記錄,收入入水平,家家庭住址,親親朋好友等等私人信息息早就被各各種商業機機構非法存存儲或賤賣賣給其它任任何有需要要的企業或或個人了。更可怕的是是,這些信信息你永遠遠無法刪除除,它們永永遠存在于于互聯網的的某些你不不知道的角角落。除非非你更換掉掉自己的所所有信息,但但是這代價價太大了。用戶隱私問問題一直是是大數據應應用難以繞繞開的一個個問題,如如被央視曝曝光過的分分眾無線、羅維鄧白白氏以及網網易郵箱都都涉及侵犯犯用戶隱私私。目前,中中國并沒有有專門的法法律法規來來界定用戶戶隱私,處處理相關問問題時多采采用其他相相關法規條條例來解釋釋。但隨著著民眾隱私私意識的日日益增強,合
22、合法合規地地獲取數據據、分析數數據和應用用數據,是是進行大數數據分析時時必須遵循循的原則。說到隱私被被侵犯,愛愛德華斯諾登應應該占據一一席之地,這這位前美國國中央情報報局(CIIA)雇員員一手引爆爆了美國“棱鏡計劃劃”(PRIISM)的的內幕消息息。“棱鏡”項目是一一項由美國國國家安全全局(NSSA)自22007年年起開始實實施的絕密密電子監聽聽計劃,年年耗資近22000億億美元,用用于監聽全全美電話通通話記錄,據據稱還可以以使情報人人員通過“后門”進入9家家主要科技技公司的服服務器,包包括微軟、雅虎、谷谷歌、Faaceboook、PPalTaalk、美美國在線、Skyppe、YoouTubb
23、e、蘋果果。這個事事件引發了了人們對政政府使用大大數據時對對公民隱私私侵犯的擔擔心。再看看我們們身邊,當當微博,微微信,QQQ空間這些些社交平臺臺肆意的吞吞噬著數億億用戶的各各種信息時時,你就不不要指望你你還有隱私私權了,就就算你在某某個地方刪刪除了,但但也許這些些信息已經經被其他人人轉載或保保存了,更更有可能已已經被百度度或Gooogle存存為快照,早早就提供給給任意用戶戶搜索了。因此在大大數據的背背景下,很很多人都在在積極的抵抵制無底線線的數字化化,這種大大數據和個個體之間的的博弈還會會一直繼續續下去專家給予了了我們一些些如何有效效保護大數數據背景下下隱私權的的建議:11-減少信信息的數字
24、字化;2-隱私權立立法;3-數字隱私私權基礎設設施(類似似DRM數數字版權管管理);44-人類改改變認知(接接受忽略過過去);55-創造良良性的信息息生態;66-語境化化。但是這些都都很難立即即見效或者者有實質性性的改善。比如,現在在有一種職職業叫刪帖帖人,專門門負責幫人人到各大網網站刪帖,刪刪除評論。其實這些些人就是通通過黑客技技術侵入各各大網站,破破獲管理員員的密碼然然后進行手手工定向刪刪除。只不不過他們保保護的不是是客戶的隱隱私,而大大多是丑聞聞。還有一一種職業叫叫人肉專家家,他們負負責從互聯聯網上找到到一個與他他們根本就就無關系用用戶的任意意信息。這這是很可怕怕的事情,也也就是說,如如
25、果有人想想找到你,只只需要兩個個條件:11-你上過過網,留下下過痕跡;2-你的的親朋好友友或僅僅是是認識你的的人上過網網,留下過過你的痕跡跡。這兩個個條件滿足足其一,人人肉專家就就可以很輕輕松的找到到你,可能能還知道你你現在正在在某個餐廳廳和誰一起起共進晚餐餐。當很多互聯聯網企業意意識到隱私私對于用戶戶的重要性性時,為了了繼續得到到用戶的信信任,他們們采取了很很多辦法,比比如gooogle承承諾僅保留留用戶的搜搜索記錄99個月,瀏瀏覽器廠商商提供了無無痕沖浪模模式,社交交網站拒絕絕公共搜索索引擎的爬爬蟲進入,并并將提供出出去的數據據全部采取取匿名方式式處理等。在這種復雜雜的環境里里面,很多多人
26、依然沒沒有建立對對于信息隱隱私的保護護意識,讓讓自己一直直處于被滋滋擾,被精精心設計,被被利用,被被監視的處處境中??煽墒?,我們們能做的幾幾乎微乎其其微,因為為個人隱私私數據已經經無法由我我們自己掌掌控了,就就像一首詩詩里說到的的:“如果你現現在繼續麻麻木,那就就別指望這這麻木能抵抵擋得住被被”扒光”那一刻的的驚恐和絕絕望”和大數據據相關的技技術 云技術術大數據常和和云計算聯聯系到一起起,因為實實時的大型型數據集分分析需要分分布式處理理框架來向向數十、數數百或甚至至數萬的電電腦分配工工作。可以以說,云計計算充當了了工業革命命時期的發發動機的角角色,而大大數據則是是電。云計算思想想的起源是是麥卡
27、錫在在上世紀660年代提提出的:把把計算能力力作為一種種像水和電電一樣的公公用事業提提供給用戶戶。如今,在GGooglle、Ammazonn、Facceboook等一批批互聯網企企業引領下下,一種行行之有效的的模式出現現了:云計計算提供基基礎架構平平臺,大數數據應用運運行在這個個平臺上。業內是這么么形容兩者者的關系:沒有大數數據的信息息積淀,則則云計算的的計算能力力再強大,也也難以找到到用武之地地;沒有云云計算的處處理能力,則則大數據的的信息積淀淀再豐富,也也終究只是是鏡花水月月。那么大數據據到底需要要哪些云計計算技術呢呢?這里暫且列列舉一些,比比如虛擬化化技術,分分布式處理理技術,海海量數據
28、的的存儲和管管理技術,NNoSQLL、實時流流數據處理理、智能分分析技術(類類似模式識識別以及自自然語言理理解)等。云計算和大大數據之間間的關系可可以用下面面的一張圖圖來說明,兩兩者之間結結合后會產產生如下效效應:可以以提供更多多基于海量量業務數據據的創新型型服務;通通過云計算算技術的不不斷發展降降低大數據據業務的創創新成本。如果將云計計算與大數數據進行一一些比較,最最明顯的區區分在兩個個方面:第一,在概概念上兩者者有所不同同,云計算算改變了IIT,而大大數據則改改變了業務務。然而大大數據必須須有云作為為基礎架構構,才能得得以順暢運運營。第二,大數數據和云計計算的目標標受眾不同同,云計算算是C
29、IOO等關心的的技術層,是是一個進階階的IT解解決方案。而大數據據是CEOO關注的、是業務層層的產品,而而大數據的的決策者是是業務層。 分布式式處理技術術分布式處理理系統可以以將不同地地點的或具具有不同功功能的或擁擁有不同數數據的多臺臺計算機用用通信網絡絡連接起來來,在控制制系統的統統一管理控控制下,協協調地完成成信息處理理任務這就是分分布式處理理系統的定定義。以Hadooop(YYahooo)為例進進行說明,HHadooop是一個個實現了MMapReeducee模式的能能夠對大量量數據進行行分布式處處理的軟件件框架,是是以一種可可靠、高效效、可伸縮縮的方式進進行處理的的。而MapRReduc
30、ce是Goooglee提出的一一種云計算算的核心計計算模式,是是一種分布布式運算技技術,也是是簡化的分分布式編程程模式,MMapReeducee模式的主主要思想是是將自動分分割要執行行的問題(例例如程序)拆拆解成maap(映射射)和reeducee(化簡)的的方式, 在數據被被分割后通通過Mapp 函數的的程序將數數據映射成成不同的區區塊,分配配給計算機機機群處理理達到分布布式運算的的效果,在在通過Reeducee 函數的的程序將結結果匯整,從從而輸出開開發者需要要的結果。再來看看HHadooop的特性性,第一,它它是可靠的的,因為它它假設計算算元素和存存儲會失敗敗,因此它它維護多個個工作數據
31、據副本,確確保能夠針針對失敗的的節點重新新分布處理理。其次,HHadooop 是高高效的,因因為它以并并行的方式式工作,通通過并行處處理加快處處理速度。Hadooop 還還是可伸縮縮的,能夠夠處理 PPB 級數數據。此外外,Haddoop 依賴于社社區服務器器,因此它它的成本比比較低,任任何人都可可以使用。你也可以這這么理解HHadooop的構成成,Haddoop=HDFSS(文件系系統,數據據存儲技術術相關)+HBasse(數據據庫)+MMapReeducee(數據處處理)+OthhersHadooop用到的的一些技術術有:HDFS: Haddoop分分布式文件件系統(DDistrribut
32、ted FFile Systtem) HDDFS (HadooopDiistriibuteed Fiile SSysteem)MapReeducee:并行計計算框架HBasee: 類似似Googgle BBigTaable的的分布式NNoSQLL列數據庫庫。Hive:數據倉庫庫工具,由由Faceebookk貢獻。Zookeeeperr:分布式式鎖設施,提提供類似GGooglle Chhubbyy的功能,由由Faceebookk貢獻。Avro:新的數據據序列化格格式與傳輸輸工具,將將逐步取代代Hadooop原有有的IPCC機制。Pig:大大數據分析析平臺,為為用戶提供供多種接口口。Ambarri
33、:Haadoopp管理工具具,可以快快捷的監控控、部署、管理集群群。Sqoopp:用于在在Hadooop與傳傳統的數據據庫間進行行數據的傳傳遞。說了這么多多,舉個實實際的例子子,雖然這這個例子有有些陳舊,但但是淘寶的的海量數據據技術架構構還是有助助于我們理理解對于大大數據的運運作處理機機制:如上圖所示示,淘寶的的海量數據據產品技術術架構分為為五個層次次,從上至至下來看它它們分別是是:數據源源,計算層層,存儲層層,查詢層層和產品層層。數據來源層層。存放著著淘寶各店店的交易數數據。在數數據源層產產生的數據據,通過DDataXX,DbSSync和和Timeetuneel準實時時的傳輸到到下面第22點
34、所述的的“云梯”。計算層。在這個計計算層內,淘淘寶采用的的是Haddoop集集群,這個個集群,我我們暫且稱稱之為云梯梯,是計算算層的主要要組成部分分。在云梯梯上,系統統每天會對對數據產品品進行不同同的MappReduuce計算算。存儲層層。在這一一層,淘寶寶采用了兩兩個東西,一一個使MyyFox,一一個是Prrom。MMyFoxx是基于MMySQLL的分布式式關系型數數據庫的集集群,Prrom是基基于Haddoop Hbasse技術的的一個NooSQL的的存儲集群群。查詢層層。在這一一層中,GGlideer是以HHTTP協協議對外提提供resstfull方式的接接口。數據據產品通過過一個唯一一
35、的URLL來獲取到到它想要的的數據。同同時,數據據查詢即是是通過MyyFox來來查詢的。最后一層是是產品層,這這個就不用用解釋了。 存儲技技術大數據可以以抽象的分分為大數據據存儲和大大數據分析析,這兩者者的關系是是:大數據據存儲的目目的是支撐撐大數據分分析。到目目前為止,還還是兩種截截然不同的的計算機技技術領域:大數據存存儲致力于于研發可以以擴展至PPB甚至EEB級別的的數據存儲儲平臺;大大數據分析析關注在最最短時間內內處理大量量不同類型型的數據集集。提到存儲,有有一個著名名的摩爾定定律相信大大家都聽過過:18個個月集成電電路的復雜雜性就增加加一倍。所所以,存儲儲器的成本本大約每118-244
36、個月就下下降一半。成本的不不斷下降也也造就了大大數據的可可存儲性。比如,Goooglee大約管理理著超過550萬臺服服務器和1100萬塊塊硬盤,而而且Gooogle還還在不斷的的擴大計算算能力和存存儲能力,其其中很多的的擴展都是是基于在廉廉價服務器器和普通存存儲硬盤的的基礎上進進行的,這這大大降低低了其服務務成本,因因此可以將將更多的資資金投入到到技術的研研發當中。以Amazzon舉例例,Amaazon S3 是是一種面向向 Intterneet 的存存儲服務。該服務旨旨在讓開發發人員能更更輕松的進進行網絡規規模計算。Amazzon SS3 提供供一個簡明明的 Weeb 服務務界面,用用戶可通
37、過過它隨時在在 Webb 上的任任何位置存存儲和檢索索的任意大大小的數據據。 此服服務讓所有有開發人員員都能訪問問同一個具具備高擴展展性、可靠靠性、安全全性和快速速價廉的基基礎設施,AAmazoon 用它它來運行其其全球的網網站網絡。再看看SS3的設計計指標:在在特定年度度內為數據據元提供 99.999999999999% 的耐耐久性和 99.999% 的的可用性,并并能夠承受受兩個設施施中的數據據同時丟失失。S3很成功功也確實卓卓有成效,SS3云的存存儲對象已已達到萬億億級別,而而且性能表表現相當良良好。S33云已經擁擁萬億跨地地域存儲對對象,同時時AWS的的對象執行行請求也達達到百萬的的峰
38、值數量量。目前全全球范圍內內已經有數數以十萬計計的企業在在通過AWWS運行自自己的全部部或者部分分日常業務務。這些企企業用戶遍遍布1900多個國家家,幾乎世世界上的每每個角落都都有Amaazon用用戶的身影影。 感知技技術大數據的采采集和感知知技術的發發展是緊密密聯系的。以傳感器器技術,指指紋識別技技術,RFFID技術術,坐標定定位技術等等為基礎的的感知能力力提升同樣樣是物聯網網發展的基基石。全世世界的工業業設備、汽汽車、電表表上有著無無數的數碼碼傳感器,隨隨時測量和和傳遞著有有關位置、運動、震震動、溫度度、濕度乃乃至空氣中中化學物質質的變化,都都會產生海海量的數據據信息。而隨著智能能手機的普
39、普及,感知知技術可謂謂迎來了發發展的高峰峰期,除了了地理位置置信息被廣廣泛的應用用外,一些些新的感知知手段也開開始登上舞舞臺,比如如,最新的的”iPhoone 55S”在homme鍵內嵌嵌指紋傳感感器,新型型手機可通通過呼氣直直接檢測燃燃燒脂肪量量,用于手手機的嗅覺覺傳感器面面世可以監監測從空氣氣污染到危危險的化學學藥品,微微軟正在研研發可感知知用戶當前前心情智能能手機技術術,谷歌眼眼鏡InSSightt新技術可可通過衣著著進行人物物識別。除此之外,還還有很多與與感知相關關的技術革革新讓我們們耳目一新新:比如,牙牙齒傳感器器實時監控控口腔活動動及飲食狀狀況,嬰兒兒穿戴設備備可用大數數據去養育育
40、寶寶,IIntell正研發33D筆記本本攝像頭可可追蹤眼球球讀懂情緒緒,日本公公司開發新新型可監控控用戶心率率的紡織材材料,業界界正在嘗試試將生物測測定技術引引入支付領領域等。其實,這些些感知被逐逐漸捕獲的的過程就是是就世界被被數據化的的過程,一一旦世界被被完全數據據化了,那那么世界的的本質也就就是信息了了。就像一句名名言所說,“人類以前延續的是文明,現在傳承的是信息?!贝髷祿膶崒嵺` 互聯網網的大數據據互聯網上的的數據每年年增長500%,每兩兩年便將翻翻一番,而而目前世界界上90%以上的數數據是最近近幾年才產產生的。據據IDC預預測,到22020年年全球將總總共擁有335ZB的的數據量?;ヂ?/p>
41、網是是大數據發發展的前哨哨陣地,隨隨著WEBB2.0時時代的發展展,人們似似乎都習慣慣了將自己己的生活通通過網絡進進行數據化化,方便分分享以及記記錄并回憶憶?;ヂ摼W上的的大數據很很難清晰的的界定分類類界限,我我們先看看看BAT的的大數據:百度擁有兩兩種類型的的大數據:用戶搜索索表征的需需求數據;爬蟲和阿阿拉丁獲取取的公共wweb數據據。搜索巨巨頭百度圍圍繞數據而而生。它對對網頁數據據的爬取、網頁內容容的組織和和解析,通通過語義分分析對搜索索需求的精精準理解進進而從海量量數據中找找準結果,以以及精準的的搜索引擎擎關鍵字廣廣告,實質質上就是一一個數據的的獲取、組組織、分析析和挖掘的的過程。搜搜索引
42、擎在在大數據時時代面臨的的挑戰有:更多的暗暗網數據;更多的WWEB化但但是沒有結結構化的數數據;更多多的WEBB化、結構構化但是封封閉的數據據。阿里巴巴擁擁有交易數數據和信用用數據。這這兩種數據據更容易變變現,挖掘掘出商業價價值。除此此之外阿里里巴巴還通通過投資等等方式掌握握了部分社社交數據、移動數據據。如微博博和高德。騰訊擁有用用戶關系數數據和基于于此產生的的社交數據據。這些數數據可以分分析人們的的生活和行行為,從里里面挖掘出出政治、社社會、文化化、商業、健康等領領域的信息息,甚至預預測未來。在信息技術術更為發達達的美國,除除了行業知知名的類似似Googgle,FFacebbook外外,已經
43、涌涌現了很多多大數據類類型的公司司,它們專專門經營數數據產品,比比如:Metammarkeets:這這家公司對對Twittter、支付、簽簽到和一些些與互聯網網相關的問問題進行了了分析,為為客戶提供供了很好的的數據分析析支持。Tableeau:他他們的精力力主要集中中于將海量量數據以可可視化的方方式展現出出來。Taableaau為數字字媒體提供供了一個新新的展示數數據的方式式。他們提提供了一個個免費工具具,任何人人在沒有編編程知識背背景的情況況下都能制制造出數據據專用圖表表。這個軟軟件還能對對數據進行行分析,并并提供有價價值的建議議。ParAcccel:他們向美美國執法機機構提供了了數據分析析
44、,比如對對150000個有犯犯罪前科的的人進行跟跟蹤,從而而向執法機機構提供了了參考性較較高的犯罪罪預測。他他們是犯罪罪的預言者者。QlikTTech:QlikkTechh旗下的QQlikvview是是一個商業業智能領域域的自主服服務工具,能能夠應用于于科學研究究和藝術等等領域。為為了幫助開開發者對這這些數據進進行分析,QQlikTTech提提供了對原原始數據進進行可視化化處理等功功能的工具具。GoodDData:GooddDataa希望幫助助客戶從數數據中挖掘掘財富。這這家創業公公司主要面面向商業用用戶和ITT企業高管管,提供數數據存儲、性能報告告、數據分分析等工具具。TellAApartt
45、:TelllApaart和電電商公司進進行合作,他他們會根據據用戶的瀏瀏覽行為等等數據進行行分析,通通過鎖定潛潛在買家方方式提高電電商企業的的收入。DataSSift:DataaSiftt主要收集集并分析社社交網絡媒媒體上的數數據,并幫幫助品牌公公司掌握突突發新聞的的輿論點,并并制定有針針對性的營營銷方案。這家公司司還和Twwitteer有合作作協議,使使得自己變變成了行業業中為數不不多可以分分析早期ttweett的創業公公司。Datahhero:公司的目目標是將復復雜的數據據變得更加加簡單明了了,方便普普通人去理理解和想象象。舉了很多例例子,這里里簡要歸納納一下,在在互聯網大大數據的典典型代
46、表性性包括:1-用戶行行為數據(精精準廣告投投放、內容容推薦、行行為習慣和和喜好分析析、產品優優化等)22-用戶消消費數據(精精準營銷、信用記錄錄分析、活活動促銷、理財等)3-用戶地理位置數據(O2O推廣,商家推薦,交友推薦等)4-互聯網金融數據(P2P,小額貸款,支付,信用,供應鏈金融等)5-用戶社交等UGC數據(趨勢分析、流行元素分析、受歡迎程度分析、輿論監控分析、社會問題分析等) 政府的的大數據近期,奧巴巴馬政府宣宣布投資22億美元拉拉動大數據據相關產業業發展,將將“大數據戰戰略”上升為國國家意志。奧巴馬政政府將數據據定義為“未來的新新石油”,并表示示一個國家家擁有數據據的規模、活性及解
47、解釋運用的的能力將成成為綜合國國力的重要要組成部分分,未來,對對數據的占占有和控制制甚至將成成為陸權、海權、空空權之外的的另一種國國家核心資資產。在國內,政政府各個部部門都握有有構成社會會基礎的原原始數據,比比如,氣象象數據,金金融數據,信信用數據,電電力數據,煤煤氣數據,自自來水數據據,道路交交通數據,客客運數據,安安全刑事案案件數據,住住房數據,海海關數據,出出入境數據據,旅游數數據,醫療療數據,教教育數據,環環保數據等等等。這些些數據在每每個政府部部門里面看看起來是單單一的,靜靜態的。但但是,如果果政府可以以將這些數數據關聯起起來,并對對這些數據據進行有效效的關聯分分析和統一一管理,這這
48、些數據必必定將獲得得新生,其其價值是無無法估量的的。具體來說,現現在城市都都在走向智智能和智慧慧,比如,智智能電網、智慧交通通、智慧醫醫療、智慧慧環保、智智慧城市,這這些都依托托于大數據據,可以說說大數據是是智慧的核核心能源。從國內整整體投資規規模來看,到到20122年底全國國開建智慧慧城市的城城市數超過過180個個,通信網網絡和數據據平臺等基基礎設施建建設投資規規模接近55000億億元?!笆濉逼陂g智慧慧城市建設設拉動的設設備投資規規模將達11萬億元人人民幣。大大數據為智智慧城市的的各個領域域提供決策策支持。在在城市規劃劃方面,通通過對城市市地理、氣氣象等自然然信息和經經濟、社會會、文化、
49、人口等人人文社會信信息的挖掘掘,可以為為城市規劃劃提供決策策,強化城城市管理服服務的科學學性和前瞻瞻性。在交交通管理方方面,通過過對道路交交通信息的的實時挖掘掘,能有效效緩解交通通擁堵,并并快速響應應突發狀況況,為城市市交通的良良性運轉提提供科學的的決策依據據。在輿情情監控方面面,通過網網絡關鍵詞詞搜索及語語義智能分分析,能提提高輿情分分析的及時時性、全面面性,全面面掌握社情情民意,提提高公共服服務能力,應應對網絡突突發的公共共事件,打打擊違法犯犯罪。在安安防與防災災領域,通通過大數據據的挖掘,可可以及時發發現人為或或自然災害害、恐怖事事件,提高高應急處理理能力和安安全防范能能力。另外,作為為
50、國家的管管理者,政政府應該有有勇氣將手手中的數據據逐步開放放,供給更更多有能力力的機構組組織或個人人來分析并并加以利用用,以加速速造福人類類。比如,美美國政府就就籌建了一一個datta.goov網站,這這是奧巴馬馬任期內的的一個重要要舉措:要要求政府公公開透明,而而核心就是是實現政府府機構的數數據公開。截止目前前,已經開開放了有9910544 個daataseets;3349ciitizeen-deevelooped appss;1377 mobbile appss;1755 ageenciees annd suubageenciees;877 gallleriies;2295 GGoverr
51、nmennt APPIs。 企業的的大數據企業的CXXO們最關關注的還是是報表曲線線的背后能能有怎樣的的信息,他他該做怎樣樣的決策,其其實這一切切都需要通通過數據來來傳遞和支支撐。在理理想的世界界中,大數數據是巨大大的杠桿,可可以改變公公司的影響響力,帶來來競爭差異異、節省金金錢、增加加利潤、愉愉悅買家、獎賞忠誠誠用戶、將將潛在客戶戶轉化為客客戶、增加加吸引力、打敗競爭爭對手、開開拓用戶群群并創造市市場。那么,哪些些傳統企業業最需要大大數據服務務呢?拋磚磚引玉,先先舉幾個例例子:1) 對大量量消費者提提供產品或或服務的企企業(精準準營銷);2) 做做小而美模模式的中長長尾企業(服服務轉型);3
52、) 面面臨互聯網網壓力之下下必須轉型型的傳統企企業(生死死存亡)。對于企業的的大數據,還還有一種預預測:隨著著數據逐漸漸成為企業業的一種資資產,數據據產業會向向傳統企業業的供應鏈鏈模式發展展,最終形形成“數據供應應鏈”。這里尤尤其有兩個個明顯的現現象:1) 外部數數據的重要要性日益超超過內部數數據。在互互聯互通的的互聯網時時代,單一一企業的內內部數據與與整個互聯聯網數據比比較起來只只是滄海一一粟;2) 能提供供包括數據據供應、數數據整合與與加工、數數據應用等等多環節服服務的公司司會有明顯顯的綜合競競爭優勢。對于提供大大數據服務務的企業來來說,他們們等待的是是合作機會會,就像微微軟史密斯斯說的:
53、“給我提供供一些數據據,我就能能做一些改改變。如果果給我提供供所有數據據,我就能能拯救世界界?!比欢?,一直直做企業服服務的巨頭頭將優勢不不在,不得得不眼看新新興互聯網網企業加入入戰局,開開啟殘酷競競爭模式。為何會出出現這種局局面?從 IT 產產業的發展展來看,第第一代 IIT 巨頭頭大多是 ToB 的,比如如 IBMM、Miccrosooft、OOraclle、SAAP、HPP這類傳統統 IT 企業;第第二代 IIT 巨頭頭大多是TToC 的的,比如 Yahooo、Goooglee、Amaazon、Faceebookk 這類互互聯網企業業。大數據據到來前,這這兩類公司司彼此之間間基本是井井水不犯河河水;但在在當前這個個大數據時時代,這兩兩類公司已已經開始直直接競爭。比如 AAmazoon 已經經開始提供供云模式的的數據倉庫庫服務,直直接搶占 IBM、Oraccle 的的市場。這這個現象出出現的本質質原因是:在互聯網網巨頭的帶帶動下,傳傳統 ITT 巨頭的的客戶普遍遍開始從事事電子商務務業務,正正是由于客客戶進入了
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 腫瘤中醫社區建設與發展
- 傳染病預防與食品安全管理
- 貧血護理要點與實施策略
- 讀愛和自由心得體會模版
- 【維卓】2023泰國社交媒體電商市場洞察報告342mb
- 2025年數學系大學生實習總結模版
- 2025年B站OTT大屏營銷通案
- 山東省濟寧市兗州區2024-2025學年高二下學期期中質量檢測地理試卷(含答案)
- 新質生產力體現
- 忽略癥的臨床護理
- 個人參保證明翻譯模板(英文版)
- 基因表達載體的構建張課件
- 2023版泌尿外科前列腺增生癥診療指南
- 員工入職申請表模板
- 中國傳統服飾唐裝漢服古裝文化傳承紡織服裝設計PPT
- 中國主要地理界線 課件(28張PPT)
- 一般行業主要負責人和安全管理人員考試復習題庫
- 安全安全資金使用計劃
- 痛風性關節炎 課件
- 項目部管理人員名單
- 《新編英語語法教程》主要章節語法術語
評論
0/150
提交評論