1、1目 錄2如何針對性的支撐1移動經分重點關注3規劃思路及實施23經營分析（BI）演進階段感知階段知識階段智能階段數據數據KPIKPI報表報表腦圖腦圖知識庫知識庫用戶內容偏好模型用戶內容偏好模型WLANWLAN潛在客戶模型潛在客戶模型終端偏好模型終端偏好模型方法的自動化分析方法的自動化分析自動執行自動執行智能決勝智能決勝 商業智能的概念于1996年最早由加特納集團（Gartner Group）提出，其定義為：商業智能描述了一系列的概念概念和方法方法，通過應用基于事實的支持系統來輔助商業決策的制定 BI（商業智能）的演進分為三個階段：感知階段、知識階段以及智能階段。目前我們所做的BI 處于知識階段

2、。BI 演進階段圖手機上網用戶價值手機上網用戶價值評估模型評估模型用戶與流量套餐匹用戶與流量套餐匹配分析模型配分析模型4經分的挑戰及應對n經營分析經過幾年的發展，已經建成了世界上最大的分級數據倉庫體系，應用日趨豐富，數據質量逐步提升，系統價值逐步顯現。經歷了十年的發展，當前也面臨很多問題：p 如何降低經分的存儲？p 如何支撐互聯網分析？p 客戶隱私如何進行保護？p 如何提高系統的安全保障能力？p 如何提升系統的智能化、易用能力？p 。針對這些問題，提出了相應的解決的方法： 引入云存儲的技術 建立互聯網數據集市 進行客戶隱私保護 建立金庫認證鑒權機制 引入BI Store和導航式分析 。5我們的

3、目標將“加強業務支撐能力，支撐向移動互聯網轉型加強業務支撐能力，支撐向移動互聯網轉型；探索新技術，滿足；探索新技術，滿足“高效低成本高效低成本”要求；突出重點，滿要求；突出重點，滿足流量經營等重點應用；加強安全管控，進行指標過程管理。足流量經營等重點應用；加強安全管控，進行指標過程管理。”為建設目標，提升互聯網流量運營新形勢下企業智能管道的綜合支撐能力。l1.1.圍繞角色圍繞角色l2.2.圍繞問題圍繞問題加強業務支撐能力，支撐向移動互聯網轉型加強業務支撐能力，支撐向移動互聯網轉型。拓展和完善移動互聯網訪問信息等業務數據，為互聯網分析等業務支撐提供完善的數據基礎。打通一經訪問省經通道，擴展一經分

4、析能力。1探索新技術，滿足探索新技術，滿足“高效低成本高效低成本”要求要求。探索云計算等新技術，構建高效低成本的支撐架構；分步引入導航式分析，實現分析過程的積淀和復用；逐步引入BI Store模式，提升敏捷開發及應用共享能力，實現對業務需求的快速響應。2突出重點，滿足流量經營等重點應用突出重點，滿足流量經營等重點應用。擴展并深化數據挖掘模型建設及應用落地，加強對流量經營、客戶維系等重點應用的支撐。3加強安全管控，進行指標過程管理加強安全管控，進行指標過程管理。進一步加強邏輯模型標準化工作，增強對業務指標梳理、數據質量監控等的支撐能力，通過KPI急報/快報、指標波動閾值預測等功能進一步提升業務及

5、時監控能力；構建金庫安全管理功能，深化客戶隱私信息保護。46我們關注的重點問題經分系統如何高效低成本地支撐現階段公司發展的業務重點，如何貼近各級各類使用人員的業務問題及具體需求，提供實用、高質量及安全可靠的應用支撐，是目前經分關注的重點問題。如何高效低成本？如何更安全？如何更可管控？如何貼近業務問題？如何貼近使用者？ 針對新型數據及分析處理特征，如何保障系統“高效低成本”地建設發展？ 數據倉庫中整合的企業業務數據越來越多，如何加強企業信息安全及客戶隱私保護？ 系統架構及數據處理愈發復雜，如何進一步提升數據的管理水平？ 面向“智能管道”和“流量經營”發展戰略的具體業務問題，如何提供針對性的應用解

6、決方案？ 經分系統服務對象越來越廣泛，如何提供適配性和實用性更高的應用支撐，提升使用體驗？1移動經分的重點關注2如何針對性的支撐3規劃思路及實施7目 錄如何貼近使用者如何貼近業務問題如何更可管控如何更安全如何高效低成本8面向角色提供應用適配支撐對經分系統服務對象進行梳理，加強面向企業各類角色的針對性應用支撐。p基于角色的應用地圖：經營分析系統通過信息適配將流量發展監控及營銷服務、核心客戶保有、客戶來源及離網去向分析、資費管理、渠道運營管理、一人多卡客戶識別分析、財務價值分析、量化績效薪酬支撐、市場運營監控等各類分析應用包裝成不同的個性化解決方案，為企業決策人員、業務管理人員、分析策劃人員、一線

7、管理人員、一線員工和支撐人員提供符合角色的應用集，為不同角色的使用人員提供貼身服務。工作指導不夠市場應變慢積極性待加強n強調所得即所需，保證對一線支撐的及時性、完整性，解決一線實際問題。n無法及時了解任務進度情況n市場問題不能及時發現n一線員工的績效管理水平亟待加強存在問題解決之道經分資源及時推送任務跟蹤、預警監控量化工作、績效透明問題診斷 信息直通，一線所需的經分資源及時推送給一線，一線依據指導建議開展針對性營銷工作，提高營銷效果； 建立一線任務獲取與跟蹤展示平臺，幫助一線及時獲取任務，跟蹤任務的完成情況；建立針對一線的預警監控功能，及時發現市場問題； 量化一線工作，實時展現一線績效。建立一

8、線貼身服務應用滿足一線角色工作需要，在地市數據集市上建立一線貼身服務應用，實現端到端服務。任務管理類經分支撐類一線管理者n任務制定和分解n任務進度監測報表n員工績效排名報表n關鍵（考核）指標列表n分角色的重點關注市場報表集n市場監控一線人員n任務獲取n任務進度查看n任務指標監控n個人績效成果展示n關鍵（考核）指標列表n分角色的重點關注市場報表集n任務相關經分資源一線貼身服務：角色適配一線集成工作平臺整合一線人員日常工作所需資源，予以集中呈現，為一線工作提供一站式解決方案。引入BI Store，實現“更快、更省、更簡單”的使用體驗借鑒借鑒AppStore成功經驗，構建成功經驗，構建BI門戶門戶構

9、建BI Store門戶，用移動互聯網流行的“客戶端+內容”的方式替代“瀏覽器+內容”方式，用“小而精”的應用代替“大而全”的平臺，達到“更快+更省+更簡單”的客戶體驗提升目標支持多種典型移動智能終端，提供即時經分應用；利用終端本身具備的新技術結合經分應用，提供更具特色的應用體驗（例如通過GPS定位與客戶密碼認證雙重驗證，確保信息安全）。借助移動智能終端借助移動智能終端APP Store借鑒AppStore成功經驗，引入互聯網“客戶端+內容”的應用服務管理模式，借助智能終端帶來的全新操作方式，增強經分用戶的應用體驗。1移動經分的重點關注2如何針對性的支撐3規劃思路及實施12目 錄如何貼近使用者如

10、何貼近業務問題如何更可管控如何更安全如何高效低成本貼近當前業務重點，需求、技術、管理并重滿足省公司2012-2013年業務運營需求支撐流量經營，打造智能管道支撐存量客戶保有和增量客戶拓展支撐資費和渠道精細運營支撐財務價值分析和量化薪酬精細管理總結提煉前期試點、應用測評可落地最佳實踐成果在全網推廣分類應用試點成果應用推廣優秀經驗模型優化經驗適應全網一體化、集中化運營管理要求移動互聯網等數據集中處理攜號轉網要求進一步加強CRM和經分等多系統協同客戶跨省流轉、重入網監控要求跨省協同提升流量經營水平、做好存量客戶保有、增量客戶發展和精細運營，對經分支撐能力提出了更高的要求；上期工程建設和應用開發積累了

11、優秀經驗，有必要在全網推廣最佳實踐，進一步發揮應用價值；全網一體化運營管理要求持續優化省級經分應用架構，實現系統可持續演進。需求驅需求驅動動管理驅管理驅動動技術驅技術驅動動123u支撐流量經營：加強對流量網絡、終端等方面的綜合分析，構建流量精確營銷服務體系；u促進運營管理水平提升：部署資費管理和渠道異常監控等應用u一線客戶發展維系支撐：優化核心客戶保有、一人多卡和客戶來源及去向分析應用等應用，強化一線存量客戶保有、增量客戶發展支撐能力；u構建量化薪酬、財務價值分析等應用，促進企業人力財務等資源管控支撐能力。u新增客戶運營分析類模型11個、產品分析及運營類模型5個、資源分析及運營類模型4個、企業

12、管理類模型2個，從而更好的支撐新的應用分析需求。u終結既有經驗，修訂客戶運營分析類模型3個、資源分析及運營類模型2個、企業管理類模型2個，通過模型優化、進一步提高分析效率和準確性。u進一步夯實數據層，新增一系列數據接口，積極納入互聯網上網日志、財務、人力資源等數據，在滿足日益增加的分析需求的同時，也為構建企業級數據倉庫打下堅實基礎。加強流量發展監控及營銷服務等支撐功能，提升企業一體化、精細化運營能力豐富分析模型，優化既有模型，提升模型效率和準確性擴充用戶上網日志、財務成本等數據，夯實企業級數據倉庫基礎提升功能、模型、數據的體系化支撐能力支撐存量客戶的保有、增量客戶的發展、流量經營等市場發展重點

13、、難點、熱點、關鍵點，進一步提升綜合分析支撐能力 。渠道異常客戶監控資費管理運營支撐運營管理類一人多卡客戶識別核心客戶保有支撐客戶維系類客戶來源及離網去向分析流量營銷服務支撐流量發展監控分析流量經營類小區價值分析綜合價值分析財務及人力管理類根據公司戰略發展需要，進行重點應用建設計量薪酬支撐市場運營監控中心移動互聯網支撐突破：構建流量發展監控及營銷服務等應用，提升“流量經營”支撐能力；一體化運營管理支撐：部署資費管理和渠道異常監控等應用，促進運營管理水平提升；一線客戶發展維系支撐：優化核心客戶保有、一人多卡和客戶來源及去向分析應用等應用，強化一線存量客戶保有、增量客戶發展支撐能力；企業綜合精細管

14、理支撐：構建量化薪酬、財務價值分析等應用，促進企業人力財務等資源管控支撐能力面向重點業務問題，構建業務方案提供專向支撐面向重點業務需求提供業務方案支撐，包括流量發展監控及營銷服務、資費管理、渠道管理運營系統、核心客戶保有、一人多卡客戶識別分析、客戶來源及離網去向分析等。 省經倉庫部署應用面向省公司業務部門的指標監控及分析應用、全省范圍的統一營銷策劃及各地市共性需求的成熟應用。 數據集市部署應用依據各地市實際業務需求，實現本地市場運營監控、客戶洞察、產品分析、以及營銷活動策劃等專題應用支撐。 應用互動與省級VGOP、CRM等系統進行數據交互與應用互動，實現業務問題的端到端全流程支撐。構建互聯網數

15、據集市，支撐向移動互聯網轉型對經分系統服務對象進行梳理，加強面向企業各類角色的針對性應用支撐。 新增互聯網集市的建設和應用基于用戶WAP網關訪問日志、網頁分結果等上網數據，建設流量監控分析、內容分析與管理、互聯網產品營銷三類重點應用，滿足業務部門與分析人員的分析。 新增一線貼身服務應用貼近一線不同角色，提供任務管理、指標監控預警、績效展現等貼身服務，提升一線工作效率，增強一線問題分析與解決能力。本期建設重點本期建設重點構建互聯網數據集市，支撐向移動互聯網轉型互聯網數據集市，是以用戶WAP日志等上網行為數據為主要分析基礎，以實現包括流量經營分析、內容分析管理以及互聯網產品營銷幫助在內的應用功能，

16、從而為各層業務需求部門提供相應的服務。 構建四網流量監控與分析、套餐流量監控與分析、用戶流量監控與分析、終端監控與分析應用； 實現多維度的流量套餐效益價值評估、終端對流量的影響分析等，支撐流量套餐的設計與營銷、終端運營等工作； 利用WEB 、短信及彩信等方式，向決策層、管理層及時提供關鍵業務指標數據，為其全面掌握流量整體運營情況提供支撐，實現流量監控的價值顯性化。u實現互聯網內容全方位分析分析客戶內容使用的頻率、流量、規模、生命周期等特征；利用數據挖掘技術，實現內容價值評估、挖掘熱點內容；結合內容標簽、內容屬性等構建內容統一視圖；u實現內容-產品精準匹配從內容與產品功能的承載特征、內容分類與產

17、品的對應關系、產品生命周期特征等角度，構建內容-產品適配模型，實現內容與產品的精準匹配。以移動互聯網產品需求為驅動，通過對互聯網客戶基礎特性、網絡特征、終端偏好、產品偏好、內容偏好等進行深度挖掘，針對當前及未來的市場熱點及產品發展需求，策劃相應的營銷活動；利用營銷管理平臺進行目標客戶篩選,通過多種渠道實現營銷的觸發和執行；營銷的接觸信息再反饋給互聯網數據集市，實現營銷的評估和優化；共同完成營銷、服務活動流程的閉環管理。關鍵指標列表重點關注市場報表集任務相關經分資源市場監控一線應用支撐匯集反映轄區內經營全貌的KPI指標集，總體把握市場狀況；匯集與用戶角色相關的重點關注指標和考核指標。選取反映當前

18、重點工作相關報表集，幫助一線把握市場重點。涉及完成具體任務所需的資源。主要包括目標客戶清單、套餐建議、接觸渠道建議、產品推薦營銷用語、終端建議等。幫助一線管理員及時發現市場問題。包括：零次異常、疑似離網、套餐捆綁到期、重點業務投訴等。引入導航式分析，提升業務問題解決方案的流程化、智能化水平1確定需要分析的業務問題通過指標監控通過業務發展情況分析領導指派的分析任務2選擇適用的分析方法分析方法檢索按照推薦級別推薦系統自動關聯4定位問題發生原因確定業務問題的誘因制定相應對策保存分析過程3方法指引分析過程分析節點查看分析元素查看自行定義新的分析分析過程能力支撐分析圖表分析頁面第三方鏈接？其它格式分析元

19、素分析方法庫構建以方法知識為驅動力，知識積累與知識應用為核心的新型智能化、導航式應用模式，以分析方法為智慧經分的主要承載手段，在應用價值和分析效率提升領域形成新的突破。1移動經分重點關注2如何針對性的支撐3規劃思路及實施21目 錄如何貼近使用者如何貼近業務問題如何更可管控如何更安全如何高效低成本22加強指標出數過程管理以服務業務人員，提升業務用戶感知為主線，著力提升指標出數過程的用戶感知，建立適應業務人員分析思路的指標檢索體系，減少指標信息分散、無序以及相似指標帶來的信息冗余和用戶困擾，加強系統優化清理的系統功能支持，為數據質量管理的新增功能建設提供元數據基礎服務支持。 通過類似地鐵運行圖和地

20、鐵進站時間預告牌的方式展現指標出數過程實時運行信息，為地市業務人員和管理人員直觀了解指標出數進展情況提供支持。 通過自動分析篩選孤立的庫表和作業，幫助運維人員快速確定系統垃圾清理范圍，消除系統運維隱患。 構建適應業務人員分析思路的指標檢索體系，梳理歸并相似指標，為業務用戶提供清晰、統一的指標定義信息以及高效、便捷的指標檢索和推薦查詢服務。深化數據質量管理功能，提升數據質量管理智能化水平擴大數據質量業務用戶群，提高系統的易用性，通過各種應用豐富現有數據質量系統的功能，提高系統對外服務能力。 讓一線人員、分析策劃人員都可以定制自己關注的KPI指標； 提前發現數據質量KPI指標數據波動，及時的發布數

21、據質量問題，減少數據質詢。 提供統一的圖形化監控工具，實現指標圖形化運維管理； 細化接口數據內容檢查； 實現中斷式監控預警，減少臟數據對數據處理作業的影響。 引入新技術，減少數據質量運維人員的工作量。如通過數據挖掘技術，智能分析指標波動閾值。1移動經分的重點關注2如何針對性的支撐3規劃思路及實施24目 錄如何貼近使用者如何貼近業務問題如何更可管控如何更安全如何高效低成本25安全模塊改造重點經分系統安全架構圖在安全管理方面重點進行金庫模式及隱私信息保護的改造和加強。 根據集團規范，對經分系統重點應用、后臺導出規定使用金庫模式認證。重點論述金庫模式與經分的關系、金庫模式保護的數據范圍。 強調了隱私

22、信息包含的內容，介紹了隱私保護技術并強調了隱私數據保護在經分系統的位置。26信息保護“城防圖“這么多防線 如何攻破？事前可管：事前可管：隱私保護隱私保護應用權限控制應用權限控制數據權限控制數據權限控制事中可控：事中可控：臨時權限控制臨時權限控制金庫模式金庫模式離線文件加密離線文件加密數據導出管理數據導出管理事后可查事后可查:數字水印數字水印統一日志統一日志訪問軌跡追蹤訪問軌跡追蹤？ ？27金庫模式金庫金庫模式中模式中4A與與經營分析系統的關系經營分析系統的關系p 用戶通過4A登錄經營分析系統后，當操作人員針對關鍵系統進行高風險操作時，在操作結果返回前，自動觸發“金庫模式”p 由值班經理、班組長

23、、主管領導或前期配置的協同人員擔任“授權員”，對操作人員的本次操作流程進行臨時授權；p 授權通過后操作人員才能完成剩余的操作步驟，獲得操作結果。p 操作完成之后，金庫模式會將操作結果反饋回4A進行日志審核管理。“金庫模式”也稱為“雙人操作”或“多人操作”。根據集團公司文件要求，為了保證經營分析系統的數據安全，對于涉及到公司高價值信息及客戶敏感信息的高風險操作，強制要求使用金庫模式，通過相互監督、利益制約確保關鍵操作的安全性。28隱私信息保護隱私信息保護范圍隱私保護的處理流程p姓名、身份證號（其他證件號碼）、住址、聯系人、聯系號碼、工作單位等個人屬性類字段。p用戶通信（短信、語音）時的對端號碼、

24、位置等通信屬性。p集團客戶名稱、集團客戶關鍵聯系人及其聯系方式等集團屬性隱私信息保護功能主要在ETL層實現，生產庫中不存在未加密的隱私信息，且還原后的隱私信息訪問需要經過審批。1移動經分的重點關注2如何針對性的支撐3規劃思路及實施29目 錄如何貼近使用者如何貼近業務問題如何更可管控如何更安全如何高效低成本探索云計算技術應用，實現高效、低成本、易擴展的系統架構p互聯網時代的飛速發展，智能管道的戰略轉型亟需納入互聯網信令數據進行互聯網時代的飛速發展，智能管道的戰略轉型亟需納入互聯網信令數據進行深入分析，促進流量經營。深入分析，促進流量經營。p互聯網信令的數據量大、非結構化、操作簡單等特點決定了不適

25、宜再采用傳互聯網信令的數據量大、非結構化、操作簡單等特點決定了不適宜再采用傳統的數據倉庫處理。傳統統的數據倉庫處理。傳統IT架構面臨可擴展性受限、成本高、資源無法充分利架構面臨可擴展性受限、成本高、資源無法充分利用等特點，一定程度上會影響業務的開展。用等特點，一定程度上會影響業務的開展。p以以WAP日志為例，有些省一天的日志量達到了日志為例，有些省一天的日志量達到了1T左右左右，是傳統計費清單的，是傳統計費清單的10倍以上，同時通過云計算平臺和小機數據庫環境測試對比，在同等處理能力倍以上，同時通過云計算平臺和小機數據庫環境測試對比，在同等處理能力下，節約成本達下，節約成本達600萬以上。萬以上

26、。眾多互聯網公司更早就遇到了類似的問題，不得不眾多互聯網公司更早就遇到了類似的問題，不得不采用廉價采用廉價PC作為承載海量數據和核心業務的主流設作為承載海量數據和核心業務的主流設備，以此為基礎搭建云架構實現高性能、低成本、備，以此為基礎搭建云架構實現高性能、低成本、通用性，云計算也因此以通用性，云計算也因此以IT行業革命性技術的姿態行業革命性技術的姿態出現逐步走向成熟。出現逐步走向成熟。 背景可行性通過低成本、高效率、易擴展的云計算解決方案，一方面快速處理海量信令數據，另一方面還能承擔部分清單的計算處理，緩解主庫資源壓力，逐步改善現有IT架構的局限性，應對競爭日益激烈的市場環境。云計算關鍵技術

27、 基于分布式、高可靠、高可用的面向流的數據采集和導入技術，可處理海量非結構化日志數據的采集、聚合和傳輸，支持在海量日志文件中定制各類數據給接受方，一般支持text（文件）、dfs（HDFS文件）、RPC（Thrift-RPC）和syslog（TCP/UDP syslog日志系統）等格式文件，從而實現后續應用的靈活調用。以WAP訪問日志數據為切入點，探索分布式抽取、云存儲等新技術在互聯網分析及流量運營支撐方面的應用落地。 WAP日志數據具有結構化、規模大、無更新等特點，相比傳統的數據倉庫方案，云存儲技術可降低整體IT系統的建設和運營成本，加快應用部署速度。目 錄1移動經分重點關注3規劃思路及實施

28、2針對性的支撐方案32移動互聯網信息安全統計分析移動互聯網支撐方案基于云平臺的WAP日志處理方案數據采集：數據采集器采集GPRS話單、WLAN話單、WAP日志等接口信息，以及通過網絡爬蟲抓取聯網信息，進行文件級校驗之后，抽取到分布式存儲中。數據處理平臺：提供分布式存儲、分布式計算、數據挖掘、數據分析等基礎能力。云ETL：基于Oozie工作流，提供ETL任務編排、任務調度、任務監控等功能。數據封裝：通過統一的、標準化的方式進行描述、明確服務提供數據的調用方式和地址，實現數據的組件化及服務化，應用系統通過數據封裝調用平臺的數據服務能力。管理與監控：提供平臺自管理能力HADOOP云平臺綜合數據采集、

29、數據處理、云云平臺綜合數據采集、數據處理、云ETLETL、管理與監控、數據封裝等模塊，實現、管理與監控、數據封裝等模塊，實現WAPWAP日志清單數據的抽取、過濾、分類日志清單數據的抽取、過濾、分類分析分析、排重、匯總等。、排重、匯總等。33移動互聯網-基于云平臺的WAP日志處理34移動互聯網互聯網集市 進行流量數據分析，助力流量運營工作 進行互聯網內容分析，挖掘用戶偏好 結合互聯網信息與互聯網產品內容，提高互聯網產品營銷的精準度123n移動互聯網業務與需求飛速增長，系統可沉淀與擁有大量的用戶上網記錄；n基于傳統用戶行為數據（語音或數據業務等CDR數據）的分析已不能滿足精準營銷的需求，而互聯網數

30、據卻包含了大量的用戶行為信息，如內容偏好等，對互聯網數據的挖掘與分析，將給精準營銷工作帶來前所未有的價值；移動互聯網數據模型移動互聯網數據模型第第一一層層數數據據模模型型用戶業務用戶業務使用匯總使用匯總流量內容流量內容匯總匯總營銷套餐營銷套餐信息匯總信息匯總輕度輕度匯總匯總網絡信息網絡信息匯總匯總他網用戶他網用戶匯總匯總終端信息終端信息匯總匯總用戶上網用戶上網行為匯總行為匯總基礎基礎數據數據流量行為流量行為信息信息網絡資源網絡資源信息信息資費套餐資費套餐信息信息飛信使用飛信使用信息信息139139郵箱郵箱信息信息無線音樂無線音樂信息信息手機視頻手機視頻信息信息獲取層獲取層DPI解析網頁語義上網

31、日志處理通信軌跡解析ETL云平臺云平臺數據集市數據集市數據倉庫數據倉庫應用應用模型模型指標庫指標庫分析分析資源資源統一統一視圖視圖綜合應用專題綜合應用專題第二層第二層數據模型數據模型通過云平臺的數據清洗、數據匯總兩級通過云平臺的數據清洗、數據匯總兩級ETLETL過程，完成基礎數據層模型的構建。模型過程，完成基礎數據層模型的構建。模型包括清理過的清單數據和輕度匯總數據，基礎層數據存儲于云平臺中。包括清理過的清單數據和輕度匯總數據，基礎層數據存儲于云平臺中。深度匯深度匯總數據總數據35移動互聯網數據模型移動互聯網支撐方案移動互聯網支撐方案云數據處理平臺云數據處理平臺網頁分析子系統 HADOOP平臺

32、數據預處理（ETL1）數據匯總（ETL2）基礎分析能力接口處理WAP日志用戶資料信息挖掘云ETL管理應用開發應用監控應用調度數據挖掘文本挖掘清單數據處理數據加載數據獲取數據轉換互聯網數據處理日志預處理URL分類、內容偏好、客戶互聯網行為視圖信息統計日志匯總用戶行為網站訪問分類訪問內容主題搜索關鍵字聚類分群13254M/RWAP日志分析平臺基于云數據處理平臺利用云強大的數據處理能力和存儲能力，用于基于云數據處理平臺利用云強大的數據處理能力和存儲能力，用于WAPWAP日志、用戶行為挖掘等日志、用戶行為挖掘等大型數據運算、大大提高了數據存儲和處理能力，且降低了系統成本。大型數據運算、大大提高了數據存

33、儲和處理能力，且降低了系統成本。36云數據處理平臺CN102411594A_CN102411594A_一種獲取信息的方法及裝置；一種獲取信息的方法及裝置；一種基于云計算環境的數據處理過程創建和優化方法及裝置；一種基于云計算環境的數據處理過程創建和優化方法及裝置；37過度期的系統規劃38淘寶的數據平臺架構39淘寶的數據平臺架構40淘寶數據產品架構目 錄1移動經分重點關注3規劃思路及實施2針對性的支撐方案41架構設計信息安全統計分析42客戶隱私數據保護建設進程2010年年2011年年2012年年 數據訪問加密數據訪問加密 - SQL擾碼 - 數子水印 - 完成清單隱私信息加密完成清單隱私信息加密

34、- 語音對端號碼 - 短信對端號碼 完成客戶隱私信息加密完成客戶隱私信息加密 - 姓名 - 身份證號碼 -證件有效時間 -證件地址 -實際居住地址 -實際居住郵編 -單位名稱 -單位通信地址 -聯系人 -聯系方式經經分經過八期建設分經過八期建設，構建，構建體系體系化的安全策略，隱私數據保護更加化的安全策略，隱私數據保護更加完善，本期將按照集團規范，進行金庫模式建設。完善，本期將按照集團規范，進行金庫模式建設。 4A金庫建設金庫建設中中 - 配合4A創建接口 - 敏感數據梳理 43客戶隱私數據技術自定義加密函數算法算法處理環節處理環節權限權限性能性能自定自定義義加解加解密函密函數說數說明明基于基于Base64的的可逆可逆加加密算法。密算法。運算效率高，經運算效率高，經實際數據測試，實際數據測試，對