大數(shù)據(jù)與互聯(lián)網(wǎng)經(jīng)濟(jì)解瀆大數(shù)據(jù)概念與應(yīng)用大數(shù)據(jù)的概念與意義大數(shù)據(jù)的來(lái)源13大數(shù)據(jù)應(yīng)用場(chǎng)景14大數(shù)據(jù)處理方法02af40●1.1大數(shù)據(jù)的概念與意義第一章大數(shù)據(jù)概念與應(yīng)用1.從“數(shù)據(jù)”到“大數(shù)據(jù)時(shí)至今日,“數(shù)據(jù)”變身“大數(shù)據(jù)”,"開(kāi)啟了一次重大的時(shí)代轉(zhuǎn)型大數(shù)據(jù)”這一概念的形成,有三個(gè)標(biāo)志性事件008年9月,美國(guó)淚然(Nate)雜志專(zhuān)刊—-Thenextgoogle第一次正式提出“大數(shù)據(jù)”1年2月日,鋼學(xué)3(Sene)雜志專(zhuān)刊Dealingwithdata,通過(guò)社查的方式,第一次綜合分了大巍框?qū)θ藗兩钤斐傻?詳述了人類(lèi)正臨的數(shù)框垸2019年5月,麥肯锝樂(lè)究院發(fā)布報(bào)告Bigdata:Thenextfrontierforin,competition,andproductity第一次給大數(shù)框出程對(duì)時(shí)清斯衾是其大小起出了常效庫(kù)I具取稈分吁能力釣數(shù)030f4001.1大數(shù)據(jù)的概念與意義第一章大數(shù)據(jù)概念與應(yīng)用價(jià)值高(Value量大(oume)大數(shù)據(jù)有巨大的潛在價(jià)值,但同其呈幾何從2019年至2020年,人類(lèi)的數(shù)據(jù)機(jī)模指數(shù)發(fā)式長(zhǎng)相比,某一對(duì)象或模塊數(shù)將擴(kuò)大50倍,每年產(chǎn)生的數(shù)據(jù)量將增長(zhǎng)挹的價(jià)值密廈較飯,這無(wú)疑給我們開(kāi)發(fā)海到44萬(wàn)億GB,相當(dāng)于美國(guó)國(guó)家酸書(shū)館≡數(shù)據(jù)垍加了難度和成本數(shù)據(jù)顯的數(shù)百萬(wàn)倍,且每18個(gè)月一鑿。4V速度快(Velocity)特征多(variety隨著現(xiàn)代馬測(cè)、互聯(lián)網(wǎng)、計(jì)鎬機(jī)技大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)比,數(shù)據(jù)來(lái)源廣、維術(shù)的發(fā)展,數(shù)據(jù)生成、存、分析度多、類(lèi)型雜,各種機(jī)器儀表在自動(dòng)產(chǎn)生處理的速度遠(yuǎn)遠(yuǎn)超出人們的想象力數(shù)據(jù)的同時(shí),人自身的生活行為也在不新創(chuàng)造數(shù)據(jù);不僅有企業(yè)組織內(nèi)部的業(yè)務(wù)數(shù)據(jù)的顯著特征據(jù),還有海相關(guān)的外部數(shù)據(jù)。040f400O1.1大數(shù)據(jù)的概念與意義第一章大數(shù)據(jù)概念與應(yīng)用2.大數(shù)據(jù)的技術(shù)支撐數(shù)據(jù)源整合進(jìn)行存儲(chǔ)、清洗云計(jì)算、硬件性?xún)r(jià)比的提行、計(jì)算速度被來(lái)越?jīng)Q挖掘、分析后得出結(jié)果直到高以及軟件技術(shù)的進(jìn)步◆優(yōu)化企業(yè)管理提南效率大數(shù)據(jù)存情成本下降放力,機(jī)擁有人的智慧智能設(shè)備、傳感器的普及,推動(dòng)物聯(lián)網(wǎng)、人工智能的發(fā)展●O1.1大數(shù)據(jù)的概念與意義第一章大數(shù)據(jù)概念與應(yīng)用1)存儲(chǔ)∶存儲(chǔ)成本的下降云計(jì)算出現(xiàn)之前云計(jì)算出現(xiàn)之后計(jì)算出現(xiàn)后,數(shù)據(jù)存儲(chǔ)服務(wù)衍生出了新非常高的的商業(yè)漠式,數(shù)據(jù)中心的出現(xiàn)降低了公司例如,公司要建設(shè)網(wǎng)站,需要購(gòu)置和部的計(jì)算和存儲(chǔ)成本署服務(wù)器,安排技術(shù)人員維護(hù)服務(wù)器例如,公司現(xiàn)在要建設(shè)網(wǎng)站,不需要去購(gòu)保亞數(shù)據(jù)存儲(chǔ)的安全性和數(shù)據(jù)傳輸?shù)臅迟I(mǎi)服務(wù)器,不需要去雇用技術(shù)人員維護(hù)服通性,還會(huì)定期清理數(shù)據(jù),跨出空間以務(wù)器,可以通過(guò)租用硬件設(shè)備的方式解決便存餡新的數(shù)據(jù),機(jī)房整體的人力和管同題瑪成本都很高存情成本的下降,也改變了大家對(duì)數(shù)據(jù)的看法,更加愿意把1年、2年甚至更久遠(yuǎn)的歷史數(shù)據(jù)保存下來(lái),有了歷史數(shù)據(jù)的沉淀,才可以通過(guò)對(duì)比,發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)和價(jià)值,正是由于存諂成本的下降,才能為大數(shù)據(jù)搭建最好的基礎(chǔ)設(shè)施06af400O1.1大數(shù)據(jù)的概念與意義第一章大數(shù)據(jù)概念與應(yīng)用2)計(jì)算:運(yùn)算速度越來(lái)越快海量數(shù)據(jù)從原始數(shù)據(jù)源到產(chǎn)生價(jià)值,期間會(huì)經(jīng)過(guò)存儲(chǔ)、清洗、挖、分析等多個(gè)環(huán)節(jié),如果計(jì)算速度不夠快,很多事青是無(wú)法實(shí)現(xiàn)的。所以,在大數(shù)據(jù)的發(fā)展過(guò)程中,計(jì)算速度是非常關(guān)踺的因素●分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop的出現(xiàn),為大數(shù)據(jù)帶來(lái)了新的曙光HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)MapReduce則為海量的數(shù)據(jù)提供了并行計(jì)算,從而大大提高了計(jì)算效率Spark、Storm、Impala等各種各樣的技術(shù)進(jìn)入人們的視野07af400O1.1大數(shù)據(jù)的概念與意義第一章大數(shù)據(jù)概念與應(yīng)用3)智能:機(jī)器捋有理解數(shù)據(jù)的數(shù)據(jù)帶來(lái)的最大價(jià)值就是大數(shù)據(jù)讓機(jī)器變得有智慧,同時(shí)人工智能進(jìn)步提升了處理和理解數(shù)據(jù)的能力。例如谷歌AlphaGo大勝世界圍冠車(chē)?yán)钍朗?阿里云小A成功預(yù)測(cè)出《我是歌手》的總決賽歌王iPhone上智能化語(yǔ)音機(jī)器人Si微信上與大家聊天的微軟小冰08af4001.1大數(shù)據(jù)的概念與意義第一章大數(shù)據(jù)概念與應(yīng)用3.大數(shù)據(jù)的意義美國(guó)著名管理學(xué)家愛(ài)德華戟明所言:“我們信靠上帝。除了帝,任何人都必須用數(shù)據(jù)來(lái)說(shuō)話。(1)有數(shù)據(jù)可說(shuō)在大數(shù)據(jù)時(shí)代,萬(wàn)物皆數(shù)”,“呈化一切”,“切都將被數(shù)據(jù)化",人類(lèi)生活在一個(gè)海呈、動(dòng)態(tài)、多樣的數(shù)據(jù)世界中,數(shù)椐無(wú)處不在、無(wú)時(shí)不有、無(wú)人不用,數(shù)據(jù)貮像陽(yáng)光、空氣、水分樣常見(jiàn),姸放大澆望遠(yuǎn)澆、顯微那殳重要。(2)說(shuō)數(shù)據(jù)可靠大數(shù)據(jù)中的^數(shù)爛”真實(shí)可靠,它實(shí)質(zhì)上是表征事物現(xiàn)象的_種符號(hào)語(yǔ)言和邏輯關(guān)系,貝冋靠性的數(shù)理哲學(xué)基礎(chǔ)是世界同構(gòu)原坦。世界貝有物質(zhì)統(tǒng)性,統(tǒng)的世界中的—切事協(xié)都存在時(shí)空致性的同構(gòu)關(guān)系,這意味莓任恫事物旳屬性和規(guī)律,只妻通過(guò)適當(dāng)綜碼,均可以通過(guò)統(tǒng)一的數(shù)字信號(hào)表達(dá)出來(lái)。因此,“用數(shù)據(jù)說(shuō)話”、“讓數(shù)據(jù)發(fā)聲”,已成為人類(lèi)認(rèn)知世界的-種全新方法。09af4001.1從“數(shù)據(jù)”到“大數(shù)據(jù)第一章大數(shù)據(jù)概念與應(yīng)用風(fēng)馬牛可相及在大數(shù)背景下,因海至無(wú)限、包羅萬(wàn)象的數(shù)據(jù)存在,讓許多看似