1、大數據挖掘與分析電子商務課程王倩2022/9/19第一章大數據分析概論第二章格微知識體系和知識圖譜第三章數據分析方法論第四章數據準備和魔方原理第五章數據處理第六章數據分析法第七章數據可視化第八章數據分析報告課程結構0. 課程介紹大數據概念何謂數據分析數據分析師的職業發展案例分析涉及專業知識軟件工具第一章大數據分析概論概念目的分類作用步驟大數據挖掘與分析是基于格微公司的知識魔方產品而設立的對口課程，是一門綜合學科，包括統計學、數學、計算機、管理學等專業知識。未來大數據應用領域：企業日常數據產生大量數據的機器驅動（傳感器中的數據）客戶數據互聯網數據 （門戶網站、社交網絡、電子商務等數據）課程介紹

2、大數據技術(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。大數據概念大數據的4V特點：Volume （大量）Velocity （高速）Variety （多樣）Value （價值）1、數據分析簡單來說對數據進行分析。專業說法指用適當的統計分析方法對收集來的大量數據進行分析，將它們加以匯總和理解并消化，以求最大化地開發數據的功能，發揮數據的作用。數據分析是為了提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這里的數據也稱觀測值，是通過實驗、測量、觀察、調查等方式獲取

3、的結果，常常以數量的形式展現出來。何謂數據分析2、數據分析的目的把隱藏在一大批看似雜亂無章的數據背后的信息集中和提煉出來，總結出所研究對象的內在規律。在實際工作中，數據分析能夠幫助管理者進行判斷和決策，以便采取適當策略與行動。例如，企業的高層希望通過市場分析和研究，把握當前產品的市場動向，從而制訂合理的產品研發和銷售計劃，這就必須依賴數據分析才能完成。何謂數據分析在統計學領域，有些學者將數據分析劃分為描述性數據分析、探索性數據分析以及驗證性數據分析(參見圖1-1 )。其中，探索性數據分析側重于在數據之中發現新的特征，而驗證性數據分析則側重于驗證已有假設的真偽證明。何謂數據分析數據分析描述性 數

4、據分析探索性 數據分析驗證性 數據分析圖1-1 數據分析類別從另一個角度看，描述性數據分析屬于初級數據分析，常見的分析方法有對比分析法、平均分析法、交叉分析法等。而探索性數據分析以及驗證性數據分析屬于高級數據分析，常見的分析方法有相關分析、因子分析、回歸分析等。我們日常學習和工作中涉及的數據分析主要是描述性數據分析，也就是大家常用的初級數據分析。3、數據分析分類4、數據分析的作用何謂數據分析現狀分析原因分析預測分析現狀分析 簡單來說就是告訴你過去發生了什么。具體體現在: 第一，告訴你企業現階段的整體運營情況，通過各個經營指標的完成情況來衡量企業的運營狀態，以說明企業整體運營是好了還是壞了，好的

5、程度如何，壞的程度又到哪里。 第二，告訴你企業各項業務的構成，讓你了解企業各項業務的發展及變動情況，對企業運營狀況有更深入的了解。 現狀分析一般通過日常通報來完成，如日報、周報、月報等形式。預測分析簡單來說就是告訴你將來會發生什么。在了解企業運營現狀后，有時還需要對企業未來發展趨勢作出預測，為制訂企業運營目標及策略提供有效的參考與決策依據，以保證企業的可持續健康發展。預測分析一般通過專題分析來完成，通常在制訂企業季度、年度等計劃時進行，其開展的頻率沒有現狀分析及原因分析高。圖1-2 數據分析作用原因分析簡單來說就是告訴你某一現狀為什么發生。經過第一階段的現狀分析，我們對企業的運營情況有了基本了

6、解，但不知道運營情況具體好在哪里，差在哪里，是什么原因引起的。這時就需要開展原因分析，以進一步確定業務變動的具體原因。例如2012年2月運營收入環比下降5%，是什么原因導致的呢，是各項業務收入都出現下降，還是個別業務收入下降引起的，是各個地區業務收入都出現下降，還是個別地區業務收入下降引起的，這就需要我們開展原因分析，進一步確定收入下降的具體原因，對運營策略做出調整與優化。原因分析一般通過專題分析來完成，根據企業運營情況選擇針對某一現狀進行原因分析。5、數據分析步驟何謂數據分析明確分析目的和思路數據收集數據處理數據分析數據展現報告撰寫圖1-3 數據分析步驟明確分析目的何謂數據分析數據變化的背后

7、真相是什么？從那些角度分析數據才系統？用什么分析方法最有效？圖表是否表達出有效的觀點？數據分析的目的達到了嗎？數據分析報告有說服力嗎？明確分析目的和思路表1-1 分析目的明確分析目的和思路體系化也就是邏輯化，簡單來說就是先分析什么，后分析什么，使得各個分析點之間具有邏輯聯系。這也是很多人常常感到困擾的問題，比如經常不知從哪方面入手，分析的內容和指標常常被質疑是否合理、完整，而自己也說不出個所以然來，所以體系化就是為了讓你的分析框架具有說服力。以營銷、管理等理論為指導，結合實際業務情況，搭建分析框架，這樣才能確保數據分析維度的完整性，分析結果的有效性及正確性。何謂數據分析確定分析思路、搭建分析框

8、架、分析體系化明確分析目的和思路營銷方面的理論模型：4P、用戶使用行為、STP理論、SWOT等管理方面的理論模型：PEST、5W2H、時間管理、生命周期、邏輯樹、金字塔、SMART原則等。何謂數據分析圖1-4所示，是以PEST分析理論為指導，搭建的互聯網行業PEST分析框架，故而使數據分析變得有血有肉有脈絡，真正做到理論指導實踐。其他具體應用在后面會相繼介紹。何謂數據分析互聯網行業分析政治經濟社會技術國家出臺的相關政策？有何影響？制約還是促進？相關法律有哪些？有何影響？GDP及增長率，進出口總額及增長率消費價格指數、失業率、居民可支配收入在人口規模、性別比例、年齡紹構、人口分布、生活萬式、購買

9、習慣、教育狀況、城市、宗教信仰狀況等萬面，網民與全國人民是否有區別？報術的發明、傳播、更新、商品化速度、技術發展趁勢國家重點支特項目、國家投入的研發費用、專利個數明確分析目的和思路圖1-4 互聯網行業PEST分析框架數據收集是按照確定的數據分析框架，收集相關數據的過程，它為數據分析提供了素材和依據。這里所說的數據包括第一手數據與第二手數據，第一手數據主要指可直接獲取的數據，第二手數據主要指經過加工整理后得到的數據。一般數據來源主要有以下幾種方式，如圖1-5所示。何謂數據分析數據收集數據庫公開出版物市場調查互聯網圖1-5 數據來源數據處理是指對收集到的數據進行加工整理，形成適合數據分析的樣式，它

10、是數據分析前必不可少的階段。數據處理的基本目的是從大量的、雜亂無章、難以理解的數據中，抽取并推導出對解決問題有價值、有意義的數據。何謂數據分析數據處理數據清洗數據轉化數據提取數據計算圖1-6 數據處理數據分析是指用適當的分析方法及工具，對處理過的數據進行分析，提取有價值的信息，形成有效結論的過程。何謂數據分析數據處理數據處理是數據分析的基礎。通過數據處理，將收集到的原始數據轉換為可以分析的形式，并且保證數據的一致性和有效性。數據分析數據分析是數據處理的目的。數據分析是對“處理過的數據”的功能提煉過程。數據分析數據分析與數據挖掘的本質是一樣的，都是從數據里面發現關于業務的知識。數據挖掘 數據挖掘

11、就是從大量的數據中挖掘出有用的信息，它是根據用戶的特定要求，從浩如煙海的數據中找出所需的信息，以滿足用戶的特定需求。數據分析圖1-7 數據處理、數據分析、數據挖掘之間的區別何謂數據分析數據展現圖1-8 數據可視化數據分析報告其實是對整個數據分析過程的一個總結與呈現。通過報告，把數據分析的起因、過程、結果及建議完整地呈現出來，供決策者參考。所以，數據分析報告是通過對數據全方位的科學分析來評估企業運營質量，為決策者提供科學、嚴謹的決策依據，以降低企業運營風險，提高企業核心競爭力。 一份好的數據分析報告，首先需要有一個好的分析框架，并且圖文并茂，層次明晰，能夠讓閱讀者一目了然。結構清晰、主次分明可以

12、使閱讀者正確理解報告內容;圖文并茂，可以令數據更加生動活潑，提高視覺沖擊力，有助于閱讀者更形象、直觀地看清楚問題和結論，從而產生思考。 另外，數據分析報告需要有明確的結論，沒有明確結論的分析稱不上分析，同時也失去了報告的意義，因為我們最初就是為尋找或者求證一個結論才進行分析的，所以千萬不要舍本求末。最后，好的分析報告一定要有建議或解決方案。作為決策者，需要的不僅僅是找出問題，更重要的是建議或解決方案，以便他們在決策時作參考。所以，數據分析師不僅需要掌握數據分析方法，而且還要了解和熟悉業務，這樣才能根據發現的業務問題，提出具有可行性的建議或解決方案。下面的圖1-8給出了一個分析報告的基本框架示例

13、。報告撰寫何謂數據分析何謂數據分析圖1-8 數據分析報告示例報告撰寫通信數據庫技術互聯網軟件工具電商云端金融硬件設備數據分析師的職業發展1、數據分析前景目前，數據庫技術、軟件工具、各種硬件設備飛速發展，在這些軟硬件技術與設備的支持下，信息技術的應用已在各行各業全面展開，尤其是對通信、互聯網、金融等行業的發展做出了巨大貢獻，并且經過長期的應用積累了大量豐富的數據。圖1-9 數據分析應用前景數據分析師如此搶手的原因何在呢？答：一個簡單的原因就是社會越發達，人們對數據的依賴就越多。無論政府決策還是公司運營，科學研究還是媒體宣傳，都需要數據支持。那么，對數據有如此大的依賴，就必然導致對數據分析的大量需

14、求。因此，將數據轉化為知識、結論和規律，就是數據分析的作用和價值。數據分析師的職業發展那數據究竟會龐大到什么地步呢？答：據國際知名咨詢公司估計，到2020年，全球每年產生的數據量將達到3500萬億GB,打個比方，就是用普通的DVD一張一張地撰起來，可以從地球撰到月球兩次。面對這樣龐大的數據，對數據分析師的要求就不僅僅是單純做分析了，更重要的是與相關業務部門進行合作，將數據真正應用到業務中，根據實際的業務發展情況識別哪些數據可用，哪些不適用，而不是孤立地在“真空環境”下進行分析。這就要求數據分析師不僅具備洞察數據的能力，還要對相關業務的背景有深入的了解，明白客戶或業務部門的需求，從而將數據信息化

15、、可視化，最后轉化為生產力，幫助企業獲得利潤，這就是整個數據“供應鏈”。當然，數據分析師也需要理解這個“供應鏈”。數據分析師的職業發展數據分析師的職業發展2、數據分析師職業要求懂業務熟悉行業知識、公司業務即流程，認識不脫離。懂設計圖表運用圖表設計懂工具ExcelSpss、R等懂分析數據分析基本原理有效的數據分析方法懂管理數據分析框架有知道意義的分析建議圖1-10 數據分析師 職業要求對于兩化部門：初級數據分析人員：掌握客戶需求分析能力； 理解格微知識體系能力； 具有熟練搜集情報能力； 熟練應用數據采集工具； 微門戶和魔方配置能力。數據分析師：熟練應用數據分析方法論的能力； 掌握理解多種數據分析

16、法的能力； 書寫報告能力。數據分析師的職業發展基本素質態度嚴謹負責好奇心強烈邏輯思維清晰擅長模仿學習勇于創新數據分析師的職業發展3、數據分析師基本素質圖1-11 數據分析師基本素質案例：上大學分析某社會機構，收集了大量的學生考大學的數據。該機構希望找出一些規律，以推動更多的學生考大學。 收集到的數據如下：數據挖掘準備在數據挖掘之前，我們必須要自己好好分析一下。1.明確挖掘的目標。原始需求是這樣的：該機構希望找出一些規律，以推動更多的學生考大學。要推動更多學生考大學，無非就是要分析出：1)有上大學計劃的人主要原因是什么呢？2)無上大學計劃的人主要原因是什么呢？分析出這些原因，就可以提出針對性的建

17、議了。數據挖掘準備2.明確因果關系現階段存在的原始數據有姓名、性別、IQ、家庭年收入、兄弟姐妹數量、是否想上大學字段。并根據上面分析出的原因，可以得到下面這個圖：數據挖掘準備家庭收入、性別、兄弟姐妹數量、IQ這些因素，很可能會影響有否上大學計劃。至于姓名會不會影響，我們可以用常識判斷應該不會，故可以排除。數據挖掘的目標就是找出輸入列與可預測列的關系，只要找到這個規律，就可以提出針對性的建議，也可以利用這個規律做預測。數據挖掘方法我們選擇“決策樹”的方法，右邊是決策樹的部分分析結果：決策樹算法會分析原始數據，將影響程度最大的因素排在上面，次之的因素排在后面。數據挖掘方法由上面的分析，我們可以得到

18、這樣的一些信息：1.越是IQ高的越有上大學的計劃。2.家庭收入越高，越有上大學計劃。3.兄弟姐妹越多，上大學計劃就越微。4.性別沒有在這棵樹出現，說明性別對有否上大學計劃沒有明顯影響。提出針對性的建議，以推動更多人考大學：1.大學學位有限，目前重點應該是鼓勵更多的聰明的學生考大學。2.聰明的學生不計劃上大學，主要原因是家庭收入低、兄弟姐妹多，針對這樣的情況，政府可考慮降低大學學費，或對低收入、多子女的家庭進行資助。總結過程1.明確你的目標，收集相關數據。2.根據目標分析這些數據，找出輸入列、可預測列。 3.選擇合適的數據挖掘方法。4.分析數據挖掘結果，給出建議。 第2、3步可能需要不斷地嘗試和調試，才能找到合適的分析結果。IBM SlamTracker運動員在場上的每一次揮拍、每一次擊打都可以轉化為數字，用于統計和分析。網球公開賽現在，在每場比賽開始前，“Keys to the Match”都會分