BIGDATA大數據時代天津財經大學企業管理系1203班BIGDATA大數據時代天津財經大學企業管理系1BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK《大數據時代》——書籍基本信息書名：《大數據時代——生活、工作與思維的大變革》原作名：《BigData:arevolutionthatwilltransformhowwelive,workandthink》作者：維克托·邁爾-舍恩伯格肯尼思·庫克耶譯者：周濤出版社：浙江人民出版社出版年：2013年1月BusinessAdministration|Tian2BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK作者簡介“維克托·邁爾一舍恩伯格二十多年來一直致力于網絡經濟．信息與創新、信息監管、網絡規范與戰略管理的研究。從維也納大學到哈佛大學，從新加坡國立大學到牛津大學，世界上最著名的互聯網研究學府都留下了他的足跡。”而現在，在數據信息界孜孜不倦求索的維克托，是世界著名學府牛津大學網絡學院互聯網研究所治理與監管專業教授，牛津大學克伯學院教授研究員。法學、信息學與網絡等多學科的跨界融合，讓他不僅擁有嚴謹的思維，更擁有廣博的視野。他先后有100多篇論文公開發表在《科學》《自然》等著名學術期刊上。同時也是多家出版機構的特約評論員，包括啥佛大學出版社、麻省理工學院出版社、通信政策期刊、美國社會學期刊等。BusinessAdministration|Tian3BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK大數據定義大數據(BigData)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。一個數據庫并不需要有以太字節計的數據。在相撲案例中，整個數據庫包含的字節量還不如一張普通的數碼照片包含得多。但是大數據分析法不只是關注一個隨機的樣本。這里“大”取的是相對意義而不是絕對意義，也就是說這是相對所有數據來說的。BusinessAdministration|Tian4BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK大數據的特點——4“V”Volume（大量）：數據體量巨大。從TB級別，躍升到EB級別（1TB=1,024GB；1PB=1,024TB；1EB=1,024PB）Variety（多樣）：數據類型繁多

Velocity（高速）：處理速度快Value（價值）：價值密度低，商業價值高BusinessAdministration|Tian5BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK案例1大數據——變革公共衛生2009年H1N1流行病毒背景下谷歌通過檢測檢索詞條，處理了4.5億個不同的數據模型，通過預測并與2007年、2008年美國疾控中心記錄的實際流感病例進行對比后，確定了45條檢索詞條組合，并將其用于一個特定的數學模型后，預測的結果與官方數據的相關系數高達97%。按照傳統的信息返回流程，通告新流感病毒病例將有一到兩周的延遲。對于飛速傳播的疾病，信息滯后兩周是致命的。而谷歌運用大數據技術，以前所未有的方式，通過海量數據分析得出流感所傳播的范圍，為世界預測流感提供了一種更快捷的預測工具。BusinessAdministration|Tian6BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK目錄第一部分：大數據時代的思維變革第二部分：大數據時代的商業變革第三部分：大數據時代的管理變革BusinessAdministration|Tian7第一部分大數據時代的思維變革第一部分大數據時代的思維變革8BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK第一部分大數據時代的思維變革更多：不是隨機樣本，而是全體數據更雜：不是精確性，而是混雜性更好：不是因果關系，而是相關關系123BusinessAdministration|Tian9BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK01更多：不是隨機樣本，而是全體數據當數據處理技術已經發生了翻天覆地的變化時，在大數據時代進行抽樣分析就像在汽車時代騎馬一樣。一切都改變了，我們需要的是所有的數據，“樣本=總體”。BusinessAdministration|Tian10BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK02更雜：不是精確性，而是混雜性執迷于精確性是信息缺乏時代和模擬時代的產物。只有5%的數據是結構化且能適用于傳統數據庫的。如果不接受混亂，剩下95%的非結構化數據都無法被利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶。BusinessAdministration|Tian11BusinessAdministration|TianjinUniversityofFinanceandEconomics案例2無所不包的谷歌翻譯系統資料來源：第52頁第2章第2節——大數據的簡單算法比小數據的復雜算法更有效IBM在名為Candide的項目上花費了大概十年的時間，將大約有300萬句之多的加拿大議會資料譯成了英語和法語并出版。翻譯的標準非常高，投入資金也很多，但取得的成效不大，最終被迫停止了該項目。而谷歌翻譯利用更大更雜的數據庫（上萬億的語料庫)，也就是全球的互聯網。它吸收了它能找到的所有翻譯，還會去尋找聯合國等國際組織發布的譯本。盡管其輸入源很混亂，但較其他翻譯系統而言，谷歌的翻譯質量相對而言還是最好的，而且可翻譯的內容更多。BusinessAdministration|Tian12BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK03更好：不是因果關系，而是相關關系知道“是什么”就夠了，沒必要知道“為什么”。在大數據時代，我們不必非得知道現象背后的原因，而是要讓數據自己“發聲”。BusinessAdministration|Tian13BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK03更好：不是因果關系，而是相關關系相關關系的核心是量化兩個數據值之間的數理關系相關關系強是指當一個數據值增加時，另一個數據值很有可能也會增加。相關關系弱就意味著當一個數據值增加時，另一個數據值幾乎不會發生變化BusinessAdministration|Tian14BusinessAdministration|TianjinUniversityofFinanceandEconomics案例3沃爾瑪，請把蛋撻與颶風用品擺在一起資料來源：第71頁第3章第1節——關聯物，預測的關鍵2004年，沃爾瑪對歷史交易記錄這個龐大的數據庫進行了觀察，這個數據庫記錄的不僅包括每一個顧客的購物清單以及消費額，還包括購物籃中的物品、具體購買時間，甚至購買當日天氣等。沃爾瑪公司注意到，每當在季節性颶風來臨之前，不僅手電筒銷量增加了，而且POP-Tarts蛋撻的銷量也增加了。因此當季節性風暴來臨時，沃爾瑪會把庫存的蛋撻放在靠近颶風用品的位置，以方便行色匆匆的顧客從而增加銷量。BusinessAdministration|Tian15BusinessAdministration|TianjinUniversityofFinanceandEconomics案例4美國折扣零售商塔吉特與懷孕預測資料來源：第77頁第3章第1節——關聯物，預測的關鍵塔吉特公司在完全不和準媽媽對話的前提下成功的預測了一個女性會在什么時候懷孕。公司分析團隊首先查看了簽署嬰兒禮物登記簿的女性的消費記錄，登記簿上的婦女會在懷孕大概第三個月的時候買很多無香乳液。幾個月之后，她們會買一些營養品，比如鎂、鈣、鋅。公司最終找出了大概20多種關聯物，這些關聯物可以給顧客進行“懷孕趨勢”評分。這些相關關系甚至使得零售商能夠比較準確地預測預產期，這樣就能夠在孕期的每個階段給客戶寄送相應的優惠券，這才是塔吉特公司的目的。BusinessAdministration|Tian16BusinessAdministration|TianjinUniversityofFinanceandEconomics案例4美國折扣零售商塔吉特與懷孕預測資料來源：第77頁第3章第1節——關聯物，預測的關鍵杜西格在《習慣的力量》一書中講到了接下來發生的事情。一天，一個男人沖進了一家位于明尼阿波利斯市郊的塔吉特商店，要求經理出來見他。他氣憤地說：“我女兒還是高中生，你們卻給她郵寄嬰兒服和嬰兒床的優惠券，你們是在鼓勵她懷孕嗎？”而當幾天后，經理打電話向這個男人致歉時，這個男人的語氣變得平和起來。他說：“我跟我的女兒談過了，她的預產期是8月份，是我完全沒有意識到這個事情的發生，應該說抱歉的人是我。”BusinessAdministration|Tian17BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK大數據的核心建立在相關關系分析法基礎上的預測！BusinessAdministration|Tian18第二部分大數據時代的商業變革第二部分大數據時代的商業變革19BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK第二部分大數據時代的商業變革數據化：一切皆可“量化”價值：“取之不盡，用之不竭”的數據創新角色定位：數據、技術與思維的三足鼎立456BusinessAdministration|Tian20BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK04數據化：一切皆可“量化”大數據發展的核心動力來源于人類測量、記錄和分析世界的渴望。信息技術變革隨處可見，但是如今的信息技術變革的重點在“T”（技術）上，而不是在“I”（信息）上。現在，我們是時候把聚關燈打向“I”，開始關注信息本身了。BusinessAdministration|Tian21BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例5大數據的早期實踐資料來源：第98頁第4章第1節——莫里的導航圖，大數據的最早實踐之一曾經，一位美國海軍軍官在上任為圖表和儀器廠負責人時，利用以前海軍的航海日志、地圖和圖表等數據整理成全新的航海圖，整合之后，這些數據顯示出了更有價值的模式，也提供了更有效的航海路線。多年后，當他前去到歐洲為他繪制的圖表尋求國際支持的時候，四個國家授予了他爵士爵位，包括梵蒂岡在內的其他八個國家還頒給了他金牌。即使到今天，美國海軍頒布的導航圖上仍然有他的名字。BusinessAdministration|Tian22BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例6數據，從最不可能的地方提取出來資料來源：第102頁第4章第2節——日本教授的坐姿研究與汽車防盜系統日本先進工業技術研究所的教授越水重臣所做的一個研究就是一個人的坐姿。很少有人會認為一個人的坐姿能表現出什么信息，但其實當一個人坐著的時候，他的身形、姿勢和重量分布都可以量化和數據化。研究者通過在汽車座椅下部安裝總共360個壓力傳感器以測量人對椅子施加壓力的方式。把人體坐姿特征轉化成了數據，并且用0~256這個數值范圍對其量化，這樣就會產生獨屬于每個乘車者的精確數據資料。BusinessAdministration|Tian23BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例6數據，從最不可能的地方提取出來資料來源：第102頁第4章第2節——日本教授的坐姿研究與汽車防盜系統這個研究并不愚蠢。這項技術可以作為汽車防盜系統安裝在車上。有了這個系統之后，汽車就能識別出駕駛者是不是車主，如果不是，系統就會要求司機輸入密碼；如果司機無法準確輸入密碼汽車就會自動熄火。把一個人的坐姿轉化為數據后，這些數據就孕育出了一些切實可行的服務和一個前景光明的產業。比方說，通過匯集這些數據，我們可以利用事故發生之前的一些姿勢變化情況，分析出坐姿和行駛安全之間的關系。這個系統同樣可以在司機疲勞駕駛的時候發出警示或者自動剎車。同時，這個系統不但可以發現被盜車輛，而且可以通過收集到的數據識別出盜賊的身份。BusinessAdministration|Tian24BusinessAdministration|TianjinUniversityofFinanceandEconomics案例7收集用戶地理位置數據的能力資料來源：第118頁第4章第5節——當方位變成數據從個人層面上來說，根據他所居住的地點和他要去的地方的預測數據，可以為他提供定制廣告。而且，這些信息匯集起來可能會揭示事情的發展趨勢。公司可以利用大量的位置數據預測交通情況，你也許無法想象，這是通過高速公路上的手機而不是汽車的數量和移動速度預測出來的。AirSage每天通過處理來自上百萬手機用戶的150億條位置信息，為超過100個美國城市提供實時交通信息。BusinessAdministration|Tian25BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK05價值：“取之不盡，用之不竭”的數據創新數據就像一個神奇的鉆石礦，當它的首要價值被發掘后仍能不斷給予。它的真實價值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下。BusinessAdministration|Tian26BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例8亞馬遜，讓數據的價值再大一點資料來源：第136頁第5章第1節——數據的再利用亞馬遜早期與AOL達成了一項協議，為AOL電子商務網站提供后臺技術服務。在許多人眼里，這只是一個普通的外包協議，而亞馬遜真正的用意在于掌握用戶的數據：他們在看什么、買什么。“這些數據可以幫助亞馬遜提高它的推薦引擎性能。”亞馬遜前首席科學家韋斯岸一語道破。可憐的AOL從來沒有意識到這一點，只看到了銷售這個基本用途所帶來的利益，而聰明的亞馬遜卻知道如何從二次利用中獲利。BusinessAdministration|Tian27BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例9驗證碼和數據的再利用資料來源：第128頁第5章第1節——ReCaptcha與數據再利用為了區分計算機和人類的辨識程度，馮·安創作了驗證碼，但是，當他意識到每天有這么多人要浪費10秒鐘的時間輸入這堆惱人的字母，而隨后大量的信息被隨意地丟棄時，他找到了能使人的計算能力得到更有效利用的方法，即ReCaptcha。在這里數據的主要用途是證明用戶是人，但它也有第二個目的：破譯數字化文本中不清楚的單詞。2009年谷歌收購了馮·安的公司，并將這一技術用于圖書掃描項目。BusinessAdministration|Tian28BusinessAdministration|TianjinUniversityofFinanceandEconomics案例10丹麥癌癥協會：手機是否增加致癌率資料來源：第139頁第5章第2節——重組數據丹麥擁有1985年手機推出以來所有手機用戶的數據庫，同時記錄了所有癌癥患者的信息。結合這兩個數據集后，研究人員開始尋找兩者的關系。兩個數據集都采用了嚴格的質量標準，信息的收集不存在偏差。最重要的是，這項研究并沒有基于任何樣本，卻很接近“樣本=總體”的準則，即包括了幾乎所有癌癥患者和移動用戶。最后，研究沒有發現使用移動電話和癌癥風險增加之間存在任何關系。BusinessAdministration|Tian29BusinessAdministration|TianjinUniversityofFinanceandEconomics案例11微軟與谷歌的拼寫檢查資料來源：第145頁第5章第5節——數據廢氣“數據廢氣”是用戶在線交互的副產品，包括瀏覽了哪些頁面、停留多久、鼠標光標停留的位置、輸入了什么信息等。谷歌擁有世界上最完整的拼寫檢查器，依據的是其每天處理的30億查詢中輸入搜索框中的錯誤拼寫。谷歌的拼寫檢查系統顯示，那些“不合標準”、“不正確”或“有缺陷”的數據也是非常有用的，因為它很可能與正確的拼寫高度相關。谷歌不僅利用錯別字開發了世界上最好、最新式的拼寫檢查器來提高搜索質量，而且將其應用于許多其他服務中，如搜索的“自動完成”功能、Gmail、谷歌文檔甚至翻譯系統。BusinessAdministration|Tian30BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK06角色定位：數據、技術與思維的三足鼎立微軟以1.1億美元的價格購買了大數據公司Farecast，而兩年后谷歌則以7億美元的價格購買了給Farecast提供數據的ITASoftware公司。如今，我們正處在大數據時代的早期，思維和技術是最有價值的，但是最終大部分的價值還是必須從數據本身中挖掘。BusinessAdministration|Tian31BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例12大數據可以變革公司的贏利模式和傳統交流方式資料來源：第171頁第6章第4節——大數據思維公司和個人如今的汽車裝滿了芯片、傳感器和各種軟件，一經啟動，它們就會及時把汽車狀況信息發送到制造商的電腦上。而這些設備監控到的汽車零部件的工作狀況，能夠在整合之后用來提高汽車的質量，因此，能夠掌握這些數據的公司擁有非常大的競爭優勢。德國一家汽車制造商曾通過與行業外的數據分析公司合作發現車輛配件的紕漏，通過改進軟件而改進了這個零件，并且為這次改進申請了專利。然后，它把這項專利賣給了供貨商，價格是很長一段時間內進行數據分析的成本的總額。BusinessAdministration|Tian32BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics大數據價值鏈的三大構成

根據所提供價值不同來源，大數據價值鏈包括三大構成部分即：數據本身、技能與思維BusinessAdministration|Tian33BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics基于數據本身的公司

這些公司擁有著大量數據或者至少可以收集到大量的數據，卻不一定有從數據中提取價值或者用數據催生創新思想的技能（Twitter公司、人人網、微博等）。這些公司擁有海量的數據，可以通過獨立的公司將數據授權給別人使用。BusinessAdministration|Tian34BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics基于技能的公司

它們通常是咨詢公司、技術供應商或者分析公司。它們掌握了專業技能但并不一定擁有數據或者提出數據創新性用途的才能。（沃爾瑪借助天睿公司）BusinessAdministration|Tian35BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics基于思維的公司

對于某些公司來說，數據和技能并不是成功的關鍵。挖掘數據新價值的創新思維才是這些公司脫穎而出的優勢所在例如，皮特.華登（Jetpac的聯合創始人），就是通過想法獲得價值的一個例子，他通過用戶分享到網上的旅行照片來為人們推薦下一次旅行目的地。BusinessAdministration|Tian36第三部分大數據時代的管理變革第三部分大數據時代的管理變革37BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK第三部分大數據時代的管理變革風險：讓數據主宰一切的隱憂掌控：責任與自由并舉的信息管理78BusinessAdministration|Tian38BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK07風險：讓數據主宰一切的隱憂我們時刻都暴露在“第三只眼”之下：亞馬遜監視著我們的購物習慣，谷歌監視著我們的網頁瀏覽習慣，而微博似乎什么都知道，不僅竊聽到了我們心中的“TA”，還有我們的社交關系網。BusinessAdministration|Tian39BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK保護個人隱私的兩種想法第一種，使用數據時征詢數據所有個人的知曉和授權難點：收集到的數據可能會被后續的多次利用第二種，模糊化與匿名化，讓所有能揭示個人情況的信息都不出現在數據集里。難點：匿名化會在數據收集越來越多和數據的相互結合關聯使用時變得無效BusinessAdministration|Tian40BusinessAdministration|TianjinUniversityofFinanceandEconomics資料來源：第196頁7章第2節——我們的隱私被二次利用了想在大數據時代中用技術方法來保護隱私就是天方夜譚。如果所有人的信息本來都已經在數據庫里，那么有意識地避免某些信息就是此地無銀三百兩。谷歌街景利用圖像采集車豐富自己的數據，引起一些業主的不滿，谷歌對這些業主的房屋或花園的影像模糊化處理，對于盜賊來說就是此地無銀三百兩。案例13谷歌街景地圖引發的隱私侵權BusinessAdministration|Tian41BusinessAdministration|TianjinUniversityofFinanceandEconomics資料來源：第209頁第7章第4節——數據獨裁麥克納馬拉從福特二世手里接過福特公司的控制權，用“數據集”的方法救活了瀕臨倒閉的福特汽車公司，但是也造成了汽車零件的極大浪費，他規定只有在舊車型的所有零件的存貨用完之后才能生產新的車型，憤怒的生產線經理們一股腦將剩余的零件全部倒進了附近的河里。更典型而悲痛的例子是“大躍進”時期各地瘋狂虛報糧食產量，以至于中央完全沒有意識到20世紀60年代初可怕的饑荒，還在大量出口糧食以換取其他戰略物資。案例14數據獨裁帶來的危機BusinessAdministration|Tian42BusinessAdministration|TianjinUniversityofFinanceandEconomics資料來源：第212頁第7章第4節——數據獨裁史蒂夫·喬布斯多年來持續不斷的改善Mac筆記本，以來的可能是行業分析，但他發行的iPod/iPhone和iPad靠的就不是數據，而是直覺——他依賴于他的第六感。當記者問及喬布斯蘋果推出iPad之前做了多少市場調研時，他那個著名的回答是這樣的：“沒做，消費者沒有義務去了解自己想要什么。”只要得到合理的利用，而不單純只是為了“數據”而“數據”，大數據就會變成強大的武器。案例15卓越的才華并不依賴于數據BusinessAdministration|Tian43BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK08掌控：責任與自由并舉的信息管理當世界開始邁向大數據時代時，社會也將經歷類似的地殼運動。在改變人類基本的生活與思考方式的同時，大數據早已在推動人類信息管理準則的重新定位。然而，不同于印刷革命，我們沒有幾個世紀的時間去適應，我們也許只有幾年時間。BusinessAdministration|Tian44BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK管理變革1：讓數據使用者承擔責任管理變革1：個人隱私保護，從個人許可到讓數據使用者承擔責任。數十年來，全球范圍內的隱私規范都開始讓人們自主決定是否、如何以及經由誰來處理他們的信息，把這種控制權放在了人們自己手中，這也是隱私規范的核心準則。在互聯網時代，這個偉大的理想往往會演變成“告知與許可”的公式化系統。在大數據時代，我們需要設立一個不一樣的隱私保護模式，這個模式應該更著重于數據使用者為其行為承擔責任，而不是將重心放在收集數據之初取得個人同意上。BusinessAdministration|Tian45BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK管理變革2：個人動因VS預測分析管理變革2：個人動因VS預測分析在大數據時代，關于公正的概念需要重新定義以維護個人動因的想法：人們選擇自我行為的自由意志。簡單地說，就是個人可以并應該為他們的行為而非傾向負責。通過保證個人動因，我們可以確保政府對我們行為的評判是基于真實行為而非單純依靠大數據分析。從而，政府只能依法對我們過去的真實行為進行追究，而不可以追究大數據預測到的我們的未來行為。BusinessAdministration|Tian46BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK管理變革3：擊碎黑盒子，大數據算法師的崛起管理變革3：擊碎黑盒子，大數據算法師的崛起。大數據的運作是在一個超出我們正常理解的范圍之上的。我們能看到大數據預測、運算法則和數據庫有變為黑盒子的風險，這個黑盒子不透明、不可解釋、不可追蹤，因而我們對其信心全無。社會發展出現過很多這種情況，當一個特定領域變得特別復雜和專門化之后，就會催生出對運用新技術的專門人才的迫切需求。BusinessAdministration|Tian47BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK管理變革4：反數據壟斷大亨管理變革4：反數據壟斷大亨。為了確保給大數據提供一個與早期技術領域情況相當的活躍的市場環境，我們應該實現數據交易，比如通過授權和協同合作的方式。但是，這就引發了一個問題：精心達到平衡的數據獨有權，是否能讓社會大眾從中獲利？反壟斷法遏制了權力的濫用。然而令人驚奇的是，這些條例能從一個領域完美轉移到另外一個領域，并且適用于不同類型的網絡產業。這種不帶任何偏袒的強有力的規章非常實用，因為它提供的是一個平等的競爭平臺，一開始便沒有任何優劣之分。BusinessAdministration|Tian48BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK書籍推薦電影：《點球成金》影片《點球成金》改編自邁克爾·劉易斯的《魔球——逆境中制勝的智慧》。講述奧克蘭運動家棒球隊總經理比利·比恩（BillyBeane）的經營哲學，作品描寫了他拋棄幾百年一直依賴的選擇球員的傳統慣例，并采用了一種依靠電腦程序和數學模型分析比賽數據來選擇球員的方法。比恩的做法打破了一切的常規慣例，就如同伽利略用“太陽中心論”來挑戰天主教的權威一樣。最終，比恩帶領這支備受爭議的球隊在2002年的美國聯盟西部賽中奪得冠軍，還取得了20場連勝的戰績。BusinessAdministration|Tian49BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK結語1——摘自電影《點球成金》

總是，這不僅威脅到整個經營模式，在他們的心目中，這威脅到整個運動理念。真的，這威脅到他們的生存方式、他們的飯碗、威脅到他們做事的方式。每次出現這種事，無論是政府行為、還是商業行為，無論是什么，手握掌控權的人、可以一手遮天的人他們會發瘋。你看，那些不拆散現有球隊，不按你的模式重組球隊的人，他們就是將滅絕的恐龍。今年10月，他們會坐在自家沙發上，眼睜睜看著波士頓紅襪隊贏得世界大賽冠軍。

Always.Thisisthreateningnotjustawayofdoingbusiness,butintheirminds,it'sthreateningthegame.Really,whatit'sthreateningistheirlivelihood,theirjobs.It'sthreateningthewaythattheydothings.Everytimethathappens,whetherit'sagovernment,awayofdoingbusiness,whatever,thepeoplewhoareholdingthereins,theyhavetheirhandsontheswitch,theygobatshitcrazy.Imean,anybodywho'snottearingtheirteamdownrightnowandrebuildingitusingyourmodel,they'redinosaurs.They'llbesittingontheirassonthesofainOctoberwatchingtheBostonRedSoxwintheWorldSeries.BusinessAdministration|Tian50BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK結語2——《刪除》（維克托·邁爾-舍恩伯格）《刪除》講述了遺忘的美德，為讀者展現了大數據時代的取舍之道。從大數據時代信息取舍的目的和方法分別詮釋了“被遺忘的權利”。《刪除》開啟了一場“互聯網遺忘運動”，讓我們始終記得遺忘的美德。這本書告訴我們，在大數據時代，面對海量信息人類該如何取舍，怎樣才能構建一個積極而安全的未來。BusinessAdministration|Tian51

“凡是過去，皆為序曲”讀完此書，我們對大數據的認識才剛剛開始

“凡是過去，皆為序曲”52BIGDATA大數據時代天津財經大學企業管理系1203班BIGDATA大數據時代天津財經大學企業管理系53BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK《大數據時代》——書籍基本信息書名：《大數據時代——生活、工作與思維的大變革》原作名：《BigData:arevolutionthatwilltransformhowwelive,workandthink》作者：維克托·邁爾-舍恩伯格肯尼思·庫克耶譯者：周濤出版社：浙江人民出版社出版年：2013年1月BusinessAdministration|Tian54BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK作者簡介“維克托·邁爾一舍恩伯格二十多年來一直致力于網絡經濟．信息與創新、信息監管、網絡規范與戰略管理的研究。從維也納大學到哈佛大學，從新加坡國立大學到牛津大學，世界上最著名的互聯網研究學府都留下了他的足跡。”而現在，在數據信息界孜孜不倦求索的維克托，是世界著名學府牛津大學網絡學院互聯網研究所治理與監管專業教授，牛津大學克伯學院教授研究員。法學、信息學與網絡等多學科的跨界融合，讓他不僅擁有嚴謹的思維，更擁有廣博的視野。他先后有100多篇論文公開發表在《科學》《自然》等著名學術期刊上。同時也是多家出版機構的特約評論員，包括啥佛大學出版社、麻省理工學院出版社、通信政策期刊、美國社會學期刊等。BusinessAdministration|Tian55BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK大數據定義大數據(BigData)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。一個數據庫并不需要有以太字節計的數據。在相撲案例中，整個數據庫包含的字節量還不如一張普通的數碼照片包含得多。但是大數據分析法不只是關注一個隨機的樣本。這里“大”取的是相對意義而不是絕對意義，也就是說這是相對所有數據來說的。BusinessAdministration|Tian56BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK大數據的特點——4“V”Volume（大量）：數據體量巨大。從TB級別，躍升到EB級別（1TB=1,024GB；1PB=1,024TB；1EB=1,024PB）Variety（多樣）：數據類型繁多

Velocity（高速）：處理速度快Value（價值）：價值密度低，商業價值高BusinessAdministration|Tian57BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK案例1大數據——變革公共衛生2009年H1N1流行病毒背景下谷歌通過檢測檢索詞條，處理了4.5億個不同的數據模型，通過預測并與2007年、2008年美國疾控中心記錄的實際流感病例進行對比后，確定了45條檢索詞條組合，并將其用于一個特定的數學模型后，預測的結果與官方數據的相關系數高達97%。按照傳統的信息返回流程，通告新流感病毒病例將有一到兩周的延遲。對于飛速傳播的疾病，信息滯后兩周是致命的。而谷歌運用大數據技術，以前所未有的方式，通過海量數據分析得出流感所傳播的范圍，為世界預測流感提供了一種更快捷的預測工具。BusinessAdministration|Tian58BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK目錄第一部分：大數據時代的思維變革第二部分：大數據時代的商業變革第三部分：大數據時代的管理變革BusinessAdministration|Tian59第一部分大數據時代的思維變革第一部分大數據時代的思維變革60BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK第一部分大數據時代的思維變革更多：不是隨機樣本，而是全體數據更雜：不是精確性，而是混雜性更好：不是因果關系，而是相關關系123BusinessAdministration|Tian61BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK01更多：不是隨機樣本，而是全體數據當數據處理技術已經發生了翻天覆地的變化時，在大數據時代進行抽樣分析就像在汽車時代騎馬一樣。一切都改變了，我們需要的是所有的數據，“樣本=總體”。BusinessAdministration|Tian62BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK02更雜：不是精確性，而是混雜性執迷于精確性是信息缺乏時代和模擬時代的產物。只有5%的數據是結構化且能適用于傳統數據庫的。如果不接受混亂，剩下95%的非結構化數據都無法被利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶。BusinessAdministration|Tian63BusinessAdministration|TianjinUniversityofFinanceandEconomics案例2無所不包的谷歌翻譯系統資料來源：第52頁第2章第2節——大數據的簡單算法比小數據的復雜算法更有效IBM在名為Candide的項目上花費了大概十年的時間，將大約有300萬句之多的加拿大議會資料譯成了英語和法語并出版。翻譯的標準非常高，投入資金也很多，但取得的成效不大，最終被迫停止了該項目。而谷歌翻譯利用更大更雜的數據庫（上萬億的語料庫)，也就是全球的互聯網。它吸收了它能找到的所有翻譯，還會去尋找聯合國等國際組織發布的譯本。盡管其輸入源很混亂，但較其他翻譯系統而言，谷歌的翻譯質量相對而言還是最好的，而且可翻譯的內容更多。BusinessAdministration|Tian64BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK03更好：不是因果關系，而是相關關系知道“是什么”就夠了，沒必要知道“為什么”。在大數據時代，我們不必非得知道現象背后的原因，而是要讓數據自己“發聲”。BusinessAdministration|Tian65BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK03更好：不是因果關系，而是相關關系相關關系的核心是量化兩個數據值之間的數理關系相關關系強是指當一個數據值增加時，另一個數據值很有可能也會增加。相關關系弱就意味著當一個數據值增加時，另一個數據值幾乎不會發生變化BusinessAdministration|Tian66BusinessAdministration|TianjinUniversityofFinanceandEconomics案例3沃爾瑪，請把蛋撻與颶風用品擺在一起資料來源：第71頁第3章第1節——關聯物，預測的關鍵2004年，沃爾瑪對歷史交易記錄這個龐大的數據庫進行了觀察，這個數據庫記錄的不僅包括每一個顧客的購物清單以及消費額，還包括購物籃中的物品、具體購買時間，甚至購買當日天氣等。沃爾瑪公司注意到，每當在季節性颶風來臨之前，不僅手電筒銷量增加了，而且POP-Tarts蛋撻的銷量也增加了。因此當季節性風暴來臨時，沃爾瑪會把庫存的蛋撻放在靠近颶風用品的位置，以方便行色匆匆的顧客從而增加銷量。BusinessAdministration|Tian67BusinessAdministration|TianjinUniversityofFinanceandEconomics案例4美國折扣零售商塔吉特與懷孕預測資料來源：第77頁第3章第1節——關聯物，預測的關鍵塔吉特公司在完全不和準媽媽對話的前提下成功的預測了一個女性會在什么時候懷孕。公司分析團隊首先查看了簽署嬰兒禮物登記簿的女性的消費記錄，登記簿上的婦女會在懷孕大概第三個月的時候買很多無香乳液。幾個月之后，她們會買一些營養品，比如鎂、鈣、鋅。公司最終找出了大概20多種關聯物，這些關聯物可以給顧客進行“懷孕趨勢”評分。這些相關關系甚至使得零售商能夠比較準確地預測預產期，這樣就能夠在孕期的每個階段給客戶寄送相應的優惠券，這才是塔吉特公司的目的。BusinessAdministration|Tian68BusinessAdministration|TianjinUniversityofFinanceandEconomics案例4美國折扣零售商塔吉特與懷孕預測資料來源：第77頁第3章第1節——關聯物，預測的關鍵杜西格在《習慣的力量》一書中講到了接下來發生的事情。一天，一個男人沖進了一家位于明尼阿波利斯市郊的塔吉特商店，要求經理出來見他。他氣憤地說：“我女兒還是高中生，你們卻給她郵寄嬰兒服和嬰兒床的優惠券，你們是在鼓勵她懷孕嗎？”而當幾天后，經理打電話向這個男人致歉時，這個男人的語氣變得平和起來。他說：“我跟我的女兒談過了，她的預產期是8月份，是我完全沒有意識到這個事情的發生，應該說抱歉的人是我。”BusinessAdministration|Tian69BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK大數據的核心建立在相關關系分析法基礎上的預測！BusinessAdministration|Tian70第二部分大數據時代的商業變革第二部分大數據時代的商業變革71BusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK第二部分大數據時代的商業變革數據化：一切皆可“量化”價值：“取之不盡，用之不竭”的數據創新角色定位：數據、技術與思維的三足鼎立456BusinessAdministration|Tian72BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK04數據化：一切皆可“量化”大數據發展的核心動力來源于人類測量、記錄和分析世界的渴望。信息技術變革隨處可見，但是如今的信息技術變革的重點在“T”（技術）上，而不是在“I”（信息）上。現在，我們是時候把聚關燈打向“I”，開始關注信息本身了。BusinessAdministration|Tian73BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例5大數據的早期實踐資料來源：第98頁第4章第1節——莫里的導航圖，大數據的最早實踐之一曾經，一位美國海軍軍官在上任為圖表和儀器廠負責人時，利用以前海軍的航海日志、地圖和圖表等數據整理成全新的航海圖，整合之后，這些數據顯示出了更有價值的模式，也提供了更有效的航海路線。多年后，當他前去到歐洲為他繪制的圖表尋求國際支持的時候，四個國家授予了他爵士爵位，包括梵蒂岡在內的其他八個國家還頒給了他金牌。即使到今天，美國海軍頒布的導航圖上仍然有他的名字。BusinessAdministration|Tian74BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例6數據，從最不可能的地方提取出來資料來源：第102頁第4章第2節——日本教授的坐姿研究與汽車防盜系統日本先進工業技術研究所的教授越水重臣所做的一個研究就是一個人的坐姿。很少有人會認為一個人的坐姿能表現出什么信息，但其實當一個人坐著的時候，他的身形、姿勢和重量分布都可以量化和數據化。研究者通過在汽車座椅下部安裝總共360個壓力傳感器以測量人對椅子施加壓力的方式。把人體坐姿特征轉化成了數據，并且用0~256這個數值范圍對其量化，這樣就會產生獨屬于每個乘車者的精確數據資料。BusinessAdministration|Tian75BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例6數據，從最不可能的地方提取出來資料來源：第102頁第4章第2節——日本教授的坐姿研究與汽車防盜系統這個研究并不愚蠢。這項技術可以作為汽車防盜系統安裝在車上。有了這個系統之后，汽車就能識別出駕駛者是不是車主，如果不是，系統就會要求司機輸入密碼；如果司機無法準確輸入密碼汽車就會自動熄火。把一個人的坐姿轉化為數據后，這些數據就孕育出了一些切實可行的服務和一個前景光明的產業。比方說，通過匯集這些數據，我們可以利用事故發生之前的一些姿勢變化情況，分析出坐姿和行駛安全之間的關系。這個系統同樣可以在司機疲勞駕駛的時候發出警示或者自動剎車。同時，這個系統不但可以發現被盜車輛，而且可以通過收集到的數據識別出盜賊的身份。BusinessAdministration|Tian76BusinessAdministration|TianjinUniversityofFinanceandEconomics案例7收集用戶地理位置數據的能力資料來源：第118頁第4章第5節——當方位變成數據從個人層面上來說，根據他所居住的地點和他要去的地方的預測數據，可以為他提供定制廣告。而且，這些信息匯集起來可能會揭示事情的發展趨勢。公司可以利用大量的位置數據預測交通情況，你也許無法想象，這是通過高速公路上的手機而不是汽車的數量和移動速度預測出來的。AirSage每天通過處理來自上百萬手機用戶的150億條位置信息，為超過100個美國城市提供實時交通信息。BusinessAdministration|Tian77BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK05價值：“取之不盡，用之不竭”的數據創新數據就像一個神奇的鉆石礦，當它的首要價值被發掘后仍能不斷給予。它的真實價值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下。BusinessAdministration|Tian78BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例8亞馬遜，讓數據的價值再大一點資料來源：第136頁第5章第1節——數據的再利用亞馬遜早期與AOL達成了一項協議，為AOL電子商務網站提供后臺技術服務。在許多人眼里，這只是一個普通的外包協議，而亞馬遜真正的用意在于掌握用戶的數據：他們在看什么、買什么。“這些數據可以幫助亞馬遜提高它的推薦引擎性能。”亞馬遜前首席科學家韋斯岸一語道破。可憐的AOL從來沒有意識到這一點，只看到了銷售這個基本用途所帶來的利益，而聰明的亞馬遜卻知道如何從二次利用中獲利。BusinessAdministration|Tian79BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例9驗證碼和數據的再利用資料來源：第128頁第5章第1節——ReCaptcha與數據再利用為了區分計算機和人類的辨識程度，馮·安創作了驗證碼，但是，當他意識到每天有這么多人要浪費10秒鐘的時間輸入這堆惱人的字母，而隨后大量的信息被隨意地丟棄時，他找到了能使人的計算能力得到更有效利用的方法，即ReCaptcha。在這里數據的主要用途是證明用戶是人，但它也有第二個目的：破譯數字化文本中不清楚的單詞。2009年谷歌收購了馮·安的公司，并將這一技術用于圖書掃描項目。BusinessAdministration|Tian80BusinessAdministration|TianjinUniversityofFinanceandEconomics案例10丹麥癌癥協會：手機是否增加致癌率資料來源：第139頁第5章第2節——重組數據丹麥擁有1985年手機推出以來所有手機用戶的數據庫，同時記錄了所有癌癥患者的信息。結合這兩個數據集后，研究人員開始尋找兩者的關系。兩個數據集都采用了嚴格的質量標準，信息的收集不存在偏差。最重要的是，這項研究并沒有基于任何樣本，卻很接近“樣本=總體”的準則，即包括了幾乎所有癌癥患者和移動用戶。最后，研究沒有發現使用移動電話和癌癥風險增加之間存在任何關系。BusinessAdministration|Tian81BusinessAdministration|TianjinUniversityofFinanceandEconomics案例11微軟與谷歌的拼寫檢查資料來源：第145頁第5章第5節——數據廢氣“數據廢氣”是用戶在線交互的副產品，包括瀏覽了哪些頁面、停留多久、鼠標光標停留的位置、輸入了什么信息等。谷歌擁有世界上最完整的拼寫檢查器，依據的是其每天處理的30億查詢中輸入搜索框中的錯誤拼寫。谷歌的拼寫檢查系統顯示，那些“不合標準”、“不正確”或“有缺陷”的數據也是非常有用的，因為它很可能與正確的拼寫高度相關。谷歌不僅利用錯別字開發了世界上最好、最新式的拼寫檢查器來提高搜索質量，而且將其應用于許多其他服務中，如搜索的“自動完成”功能、Gmail、谷歌文檔甚至翻譯系統。BusinessAdministration|Tian82BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomicsAREVOLUTIONTHATWILLTRANSFROMHOWWELIVE,WORK,ANDTHINK06角色定位：數據、技術與思維的三足鼎立微軟以1.1億美元的價格購買了大數據公司Farecast，而兩年后谷歌則以7億美元的價格購買了給Farecast提供數據的ITASoftware公司。如今，我們正處在大數據時代的早期，思維和技術是最有價值的，但是最終大部分的價值還是必須從數據本身中挖掘。BusinessAdministration|Tian83BusinessAdministration|TianjinUniversityofFinanceandEconomicsBusinessAdministration|TianjinUniversityofFinanceandEconomics案例12大數據可以變革公司的贏利模式和傳統交流方式資料來源：第171頁第6章第4節——大數據思維公司和個人如今的汽車裝滿了芯片、傳感器和各種軟件，一經啟動，它們就會及時把汽車狀況信息發送到制造商的電腦上。而這些設備監控到的汽車零部件的工作狀況，能夠在整合之后用來提高汽車的質量，因此，能夠掌握這些數據的公司擁有