1、大數據時代的管理大數據時代的管理主講教師：喻登科主講教師：喻登科南昌大學南昌大學啤酒與尿布的故事 在一家超市中，人們發現了一個特別有趣的現象：尿布在一家超市中，人們發現了一個特別有趣的現象：尿布與啤酒這兩種風馬牛不相及的商品居然擺在一起。但這一奇與啤酒這兩種風馬牛不相及的商品居然擺在一起。但這一奇怪的舉措居然使尿布和啤酒的稍量大幅增加了。怪的舉措居然使尿布和啤酒的稍量大幅增加了。 這可不是一個笑話，而是一直被商家所津津樂道的發生這可不是一個笑話，而是一直被商家所津津樂道的發生在美國沃爾瑪連鎖超市的真實案例。原來，美國的婦女通常在美國沃爾瑪連鎖超市的真實案例。原來，美國的婦女通常在家照顧孩子，所

2、以她們經常會囑咐丈夫在下班回家的路上在家照顧孩子，所以她們經常會囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時又會順手購買自己愛為孩子買尿布，而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。喝的啤酒。 這個發現為商家帶來了大量的利潤，這個發現為商家帶來了大量的利潤，但是如何從浩如煙但是如何從浩如煙海卻又雜亂無章的數據中，發現啤酒和尿布銷售之間的聯系海卻又雜亂無章的數據中，發現啤酒和尿布銷售之間的聯系呢？這又給了我們什么樣的啟示呢？呢？這又給了我們什么樣的啟示呢？ 請思考：請思考：l為什么你從百度輸入檢索詞，大多數時候就能在比較靠前的位置找到你需要的信息？百度是如何知道你的需要？又如

3、何對它內部存儲的文檔進行排序顯示呢？l為何你的郵箱經常會收到各種類似廣告的垃圾郵件？奇怪的是，很多時候這些廣告還真是你最近較為關注的領域。l為何各種商品的包裝上都有條形碼？條形碼的應用僅僅是為了方便銷售和清點庫存嗎？l想一想，你從人人網、QQ空間、QQ群、微信朋友圈、微博等每天獲得多少信息？這些信息有多少是自創、有多少是重復的？有多少是你關注的，有多少是你忽略的？有多少是為你帶來改變、對你有價值的？大數據時代大數據時代l2008年年9月，月，自然自然雜志推出了雜志推出了“大數據大數據”的封面專欄的封面專欄，講述了數據在數學、物理、生物、工程及社會經濟等多學科講述了數據在數學、物理、生物、工程及

4、社會經濟等多學科扮演的愈加重要的角色。扮演的愈加重要的角色。l2012年，年，聯合國發布了大數據政務白皮書聯合國發布了大數據政務白皮書，指出大數據對于，指出大數據對于聯合國和各國政府來說是一個歷史性的機遇。人們可以使用聯合國和各國政府來說是一個歷史性的機遇。人們可以使用極為豐富的數據資源，來對社會經濟進行前所未有的實時分極為豐富的數據資源，來對社會經濟進行前所未有的實時分析，幫助政府更好地響應社會和經濟運行。析，幫助政府更好地響應社會和經濟運行。l2013年年3月月22日，日，奧巴馬政府宣布投資奧巴馬政府宣布投資2億美元拉動大數據億美元拉動大數據相關產業發展，將相關產業發展，將“大數據戰略大數

5、據戰略”上升為國家意志上升為國家意志。奧巴馬。奧巴馬政府將數據定義為政府將數據定義為“未來的新石油未來的新石油”，并表示一個國家擁有，并表示一個國家擁有數據的規模、活性及解釋運用的能力將成為綜合國力的重要數據的規模、活性及解釋運用的能力將成為綜合國力的重要組成部分，未來，對數據的占有和控制甚至將成為陸權、海組成部分，未來，對數據的占有和控制甚至將成為陸權、海權、空權之外的另一種國家核心資產。權、空權之外的另一種國家核心資產。 l2013年，年，國家自然科學基金委國家自然科學基金委項目指南項目指南中，大數據成為中，大數據成為最熱門關鍵詞。最熱門關鍵詞。enet網的投票結果：您覺得大數據時代真的來

6、了嗎？網的投票結果：您覺得大數據時代真的來了嗎？什么是數據？什么是數據？數據數據信息信息知識知識原始數據點原始數據點數字、文字、圖片、視頻等數字、文字、圖片、視頻等有價值的數據集合有價值的數據集合具有特定的意義具有特定的意義可為決策提供依據可為決策提供依據具有可破譯性、關聯性、新具有可破譯性、關聯性、新穎性和價值性的加工后信息穎性和價值性的加工后信息舉例：舉例：-100萬（沒有任何萬（沒有任何意義）意義）A公司今年利潤公司今年利潤-100萬（包含信息，萬（包含信息，意味著虧損）意味著虧損）A公司今年虧損公司今年虧損100萬，我應該拋萬，我應該拋出手中的該公司股出手中的該公司股票（為決策服務）票

7、（為決策服務）數據的計量數據的計量bitByteKBMBGBTBPBEBZBYBBBNBDB8102410241024102410241024102410241024102410242008年，全球產生數據量年，全球產生數據量0.49ZB；2009年，全球產生數據量年，全球產生數據量0.80ZB；2010年，全球產生數據量年，全球產生數據量1.20ZB；2011年，全球產生數據量年，全球產生數據量1.82ZB。截止截止2012年，人類所有生產的印刷材料數據量年，人類所有生產的印刷材料數據量200PB，全人類歷史所說的話數據量大約為，全人類歷史所說的話數據量大約為5EB。整個人類文明中，整個人類

8、文明中，90%的數據是過去兩年產生的。的數據是過去兩年產生的。到到2020年，數據規模將是今天的年，數據規模將是今天的44倍。倍。何為大數據？何為大數據？大數據的四大特征大數據的四大特征大數據大數據價值密度低價值密度低數據量巨大數據量巨大數據數據類型類型多樣多樣變化變化速度速度快捷快捷百度首頁百度首頁導航每天導航每天需要提供需要提供的數據超的數據超過過1.5PB，這些數據這些數據如果打印如果打印出來將超出來將超過過5千億張千億張A4紙。紙。 現在的數據類型不僅是文本形式，更多的是圖片、視頻、音現在的數據類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數據，個性化數據占絕對多

9、數頻、地理位置信息等多類型的數據，個性化數據占絕對多數 數據處理遵循數據處理遵循“1秒秒”定律；到定律；到2020年，年，全球將擁有全球將擁有220億部互聯網連接設備。億部互聯網連接設備。以視頻為以視頻為例，例，1小時小時的監控視的監控視頻，可能頻，可能有用的數有用的數據只有一據只有一兩秒。兩秒。 大數據時代的管理啟示大數據時代的管理啟示l大數據分析，將只有在少數情況下采用隨機樣本分析法，而大多數時大數據分析，將只有在少數情況下采用隨機樣本分析法，而大多數時候應進行全部數據分析候應進行全部數據分析l大數據要求我們有所改變，不必追求精確性，而應該接受混亂與不確大數據要求我們有所改變，不必追求精確

10、性，而應該接受混亂與不確定性定性l不是因果關系，而是相關關系。在大數據時代，我們不必非得知道現不是因果關系，而是相關關系。在大數據時代，我們不必非得知道現象背后的原因，而是要讓數據自己象背后的原因，而是要讓數據自己“發聲發聲”l數據化，一切皆可量化。信息技術非常重要數據化，一切皆可量化。信息技術非常重要l數據創新能產生取之不竭的價值。大數據的真實價值就像飄浮的冰山，數據創新能產生取之不竭的價值。大數據的真實價值就像飄浮的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下l我們正處在大數據時代的早期，思維和技術是最有價值的，但最終大我們

11、正處在大數據時代的早期，思維和技術是最有價值的，但最終大部分的價值還是必須從數據本身中挖掘部分的價值還是必須從數據本身中挖掘l風險，讓數據主宰一切的隱憂。我們總是以群體的方式存在，并體現風險，讓數據主宰一切的隱憂。我們總是以群體的方式存在，并體現出群體性的風險特征。要挖掘大數據的價值，更要防止大數據挖掘帶出群體性的風險特征。要挖掘大數據的價值，更要防止大數據挖掘帶來的風險來的風險大數據的管理技術大數據的管理技術數據采集技術：數據采集技術：系統日志采集、網絡數據采集、終端采集數據存儲技術：數據存儲技術：關系數據庫、NOSQL、SQL基礎架構：基礎架構：云存儲（云計算）、分布式文件存儲數據處理技術

12、：數據處理技術：自然語言處理（計算語言學）結果呈現技術：結果呈現技術：云計算、標簽云、關系圖等統計分析技術：統計分析技術：假設檢驗、回歸分析、聚類分析、判別分析、對應分析、因子分析等數據挖掘技術：數據挖掘技術：分類、估計、預測、描述和可視化、復雜數據類型挖掘等模型預測技術：模型預測技術：預測模型、機器學習、建模仿真等大數據時代數據存儲面臨的問題大數據時代數據存儲面臨的問題l容量問題：容量問題：PB級規模的數據如何有效存儲。級規模的數據如何有效存儲。l延遲問題：延遲問題：大數據的價值來源于及時性。分布式的大數據如大數據的價值來源于及時性。分布式的大數據如何并行處理？何并行處理？l安全問題：安全問

13、題：期望信息安全立法。期望信息安全立法。l成本問題：成本問題：歸檔組件的自動重組與精簡技術是降低存儲成本歸檔組件的自動重組與精簡技術是降低存儲成本的關鍵。的關鍵。l期限問題：期限問題：有些數據需要保存幾十年，有些可能迅速刪除更有些數據需要保存幾十年，有些可能迅速刪除更新。新。l靈活性問題：靈活性問題：如何擴容和功能擴展。如何擴容和功能擴展。l應用感知問題：應用感知問題：如何將數據存儲與數據開發應用相結合。如何將數據存儲與數據開發應用相結合。l小用戶的數據存儲難題：小用戶的數據存儲難題：大型數據存儲器如何為小用戶提供大型數據存儲器如何為小用戶提供服務。服務。大數據的作用大數據的作用第一，對大數據

14、的處理分析正成為新一代第一，對大數據的處理分析正成為新一代信息技術融合應用的結點。信息技術融合應用的結點。 第二，大數據是信息產業持續高速增長的第二，大數據是信息產業持續高速增長的新引擎。新引擎。 第三，大數據利用將成為提高核心競爭力第三，大數據利用將成為提高核心競爭力的關鍵因素。的關鍵因素。 第四，大數據時代科學研究的方法手段將第四，大數據時代科學研究的方法手段將發生重大改變。發生重大改變。 大數據的商業應用：大數據的商業應用：案例案例案例一：案例一： 你開心他就買，你焦慮他就拋華爾街“德溫特資本市場”公司首席執行官保羅霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進而

15、判斷民眾情緒，再以“1”到“50”進行打分。根據打分結果，霍廷再決定如何處理手中數以百萬美元計的股票。霍廷的判斷原則很簡單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。這一招收效顯著當年第一季度，霍廷的公司獲得了7%的收益率。案例二：案例二： IBM估測，“數據”值錢的地方主要在于時效。對于片刻便能定輸贏的華爾街，這一時效至關重要。曾經，華爾街2%的企業搜集微博等平臺的“非正式”數據；如今，接近半數企業采用了這種手段。l“社會流動”創業公司在“大數據”行業生機勃勃，和微博推特是合作伙伴。它分析數據，告訴廣告商什么是正確的時間，誰是正確的用戶，什么是應該發表的正確內容，備受

16、廣告商熱愛。l通過喬希詹姆斯的Omniture（著名的網頁流量分析工具）公司，你可以知道有多少人訪問你的網站，以及他們呆了多長時間這些數據對于任何企業來說都至關重要。詹姆斯把公司賣掉，進賬18億美元。l微軟專家吉拉德喜歡把這些“大數據”結果可視化：他把客戶請到辦公室，將包含這些公司的數據圖譜展現出來有些是普通的時間軸，有些像蒲公英，有些則是鋪滿整個畫面的泡泡，泡泡中顯示這些客戶的粉絲正在談論什么話題。1.“臉譜”數據分析師杰弗遜的工作就是搭建數據分析模型，弄清楚用戶點擊廣告的動機和方式。與大數據同行與大數據同行p2013年5月10日，阿里巴巴集團董事局主席馬云在淘寶十周年晚會上做卸任前的演說“大家還沒搞清PC時代的時候，移動互聯網來了，還沒搞清移動互聯網的時候，大數據時代來了”。 p我國與大數據處理相關的上市公司包括：第一類是與海量數據的存儲和處理相關的公司，包括天澤天澤信息信息、拓爾思拓爾思、美亞柏科美亞柏科、恒泰艾普恒泰艾普、潛能恒信潛能恒信。第二類是與數據中心建設與運營維護相關的公司，包括榮榮之聯之聯、天璣科技天璣科技、銀