1、 copyright 2010 深圳市華傲數據技術有限公司1 v行業數據現狀 v華傲數據質量治理體系架構 u組織體系 u管理體系 u技術體系 u執行體系 v優勢與價值 v公司資質 u公司簡介 u成功案例 v引申問題 copyright 2010 深圳市華傲數據技術有限公司2 v行業數據現狀 v華傲數據質量治理體系架構 u組織體系 u管理體系 u技術體系 u執行體系 v優勢與價值 v公司資質 u公司簡介 u成功案例 v引申問題 copyright 2010 深圳市華傲數據技術有限公司3 政府、金融、電信、醫療等行業企業普遍存在的數據管控難題： 數據分散，形成信息 孤島，共享困難 出了問題再補漏，

2、數 據管理部門和生產部 門互相推脫責任 已然形成大數據，但 針對其應用處理困難 數據質量低下，統計 不準確？ 主數據安全？ 數據多樣化，缺少統 一標準，集成困難 數據管控方面存 在的主要問題 copyright 2010 深圳市華傲數據技術有限公司4 v行業數據現狀 v華傲數據質量治理體系架構 u組織體系 u管理體系 u技術體系 u執行體系 v優勢與價值 v公司資質 u公司簡介 u成功案例 v引申問題 copyright 2010 深圳市華傲數據技術有限公司5 數 據 管 控 體 系 架 構 組織體系 管理體系 技術體系 執行體系 v數據使用者（領導決策層） v數據管理者（it管理層） v數據

3、生產者（業務層） v制定數據標準（定義標準、使用標準） v制定數據管理機制（管理流程、權責關系） v制定數據應用規則（數據集成、分發規則） v制定數據模型（統一數據視圖） v數據探查 v數據清洗、質量提升 v數據集成、監控 v數據安全 v業務梳理 v數據分析 v績效評估 vpdca循環管控機制 copyright 2010 深圳市華傲數據技術有限公司6 華傲數據治理管控架構是促進企業數據管理體系建設和執行體系落地的有力支 撐平臺，將分散、多樣化的核心主數據通過標準化、質量探查、清洗、集成及監控 等操作進行優化，形成企業內的數據管控體系，并結合企業組織結構，形成數據管 控執行體系，在企業內部持續

4、運行，提升、挖掘主數據的應用價值。 解決企業內部如下的數據管控問題： v主數據分散且多樣化問題。 v隱蔽性的數據質量問題。 v遇到問題，數據生產者和管理者互相推脫責任的問題。 v主數據質量低下，利用率低的問題。 v數據管理落實不利的問題。 v數據使用者決策依據不準確的問題。 人 技術管理 copyright 2010 深圳市華傲數據技術有限公司7 華傲數據治理管控體系以保障企業核心業務為目標，通過對業務主數據的探查、清洗、集成、監控和信息挖 掘，提升主數據質量，將數據管理與企業組織機構相結合，以管理績效為手段，加強保障數據質量管控的執行力， 使數據治理在企業內部持續運行，保障主數據的數據質量，

5、為數據的集成和挖掘應用提供有力保障。 經營 風險 數據管理核心目標： 保障核心業務正常運作，提升數據 價值，深度。 數據標準體系建立： 分析梳理業務流程，設計業務主數 據指標體系，形成數據標準規范。 數據質量稽查、提升、主數據監控： 探查、解決、處理數據質量問題，提升數 據價值。 數據集成共享： 將各類型處理過的優質生產數據統 一集中存儲，便于調用、共享，支 持應用集成。 數據管控體系： 形成從數據生產 數據處理 數據 監控 數據調用共享的數據綜合管 理體系，使數據管理日?；?。 數據綜合管理平臺： 為用戶提供綜合的數據管理解決方 案，保障業務運作，提升數據價值， 輔助管理決策。 copyrig

6、ht 2010 深圳市華傲數據技術有限公司8 copyright 2010 深圳市華傲數據技術有限公司9 使用 挖掘 管理管理 數據管控體系 組織體系 生產 copyright 2010 深圳市華傲數據技術有限公司10 數據定義標準 數據格式標準 業務梳理 業務流梳理 業務職責重定義 業務與組織機構的關聯分析 數據分析 數據流梳理 數據格式分析 數據與業務的關 聯分析 應用分析 數據的應用規則 數據的應用范圍 數據的關聯分析 數據梳理 數據定義規則 數據清洗規則 數 據 指 標 、 規 則 體 系 數據應用標準 數據應用規則 國家、行業標準 copyright 2010 深圳市華傲數據技術有限

7、公司11 整體統計 概況認知 通用探查需求 細節探索 深入分析 多維度統計 關聯分析 數據依賴分析 全面數據診斷 數 據 探 查 建立數據庫 全文索引 schema概況統計 表概況統計 主外鍵關聯探索 敏感數據探索 基本分析 結構分析 頻率分析 分布統計 函數依賴探索 字典規則探索 智能探索 人工探索 質量評估 數據質量評估報告 數據源 copyright 2010 深圳市華傲數據技術有限公司12 匹配、融合審核 數據審核 標準化審核 數據處理 修復審核 匹配、融合 匹配相似實體 制定融合策略 實體融合 標準化處理 數據補全 數據驗證 數據標準化 交互式修復 報告問題 分析問題并制定修復策 略

8、 手工修復數據 優質數據 數據質量 評估報告 數據指標、規則體系 copyright 2010 深圳市華傲數據技術有限公司13 數據中心 數據集成 數據監控 數據源監控 業務流監控 任務調度監控 大數據處理 大數據環境安裝 海量結構化數據處理 xml數據處理 圖數據處理 數據集成 支持多類型數據源鏈接 設計管理作業 自動化作業調度、執行 數據集成、分發 數據挖掘 優質 數據 數據指標、規則體系 copyright 2010 深圳市華傲數據技術有限公司14 核心 業務 數據標準 制定 數據分析 處理 數據監控 數據集成 業務梳理 績效評估 以標準對數據進行質量探查、處理、 分析 是管控體系的關鍵

9、 以績效的手段促進數據質量 管理，將數據生產者、使用者、管 理者及擁有者關聯起來，形成一套 可持續有效執行的執行體系，保障 持續的高數據質量 按規則對數據流進行 集成高質量數據，形成數據中 心，實現共享、分發、挖掘 以績效手段促進、保障數據管 控機制持續有效運行 梳理核心業務流、數據流 制定數據管控指標（數據標準） copyright 2010 深圳市華傲數據技術有限公司15 一級指標二級指標考核標準頻度權重備注 數據質量問題 發生數據質量 問題的個數 考核對象：數據負責人 考核標準： 1、發現一例數據質量問題扣1分； 2、依此類推，直至本項指標權重扣完為止； 月35扣分項 影響范圍 考核對象

10、：數據負責人 考核標準： 1、數據質量問題影響30%以下（含30%） 信息系統，扣5分； 2、數據質量問題影響30%70%（含70%） 信息系統，扣15分； 3、數據質量問題影響70%以上信息系統， 扣25分； 4、按月統計，以單次數據質量問題影響范 圍最大的數據為準； 月25扣分項 嚴重程度 考核對象：數據負責人 考核標準：以造成的經濟損失為考核依據， 依企業情況自定義；人工考核 年扣分項 數據質量問題 處理 數據質量問題 的處理個數和 及時性 考核對象：數據負責人 考核標準： 1、在規定時間內處理完成一例數據質量問 題，加1分；否則不加分； 月35加分項 copyright 2010 深圳

11、市華傲數據技術有限公司16 一級指標二級指標考核標準頻度權重備注 數據管理質量探查 考核對象：數據管理員 考核標準： 1、未在規定的周期內實施數據質量探查工 作，扣3分； 2、按指定周期實施數據質量探查，不扣分； 月35扣分項 問題預警、分 發 考核對象：數據管理員 考核標準： 1、在發現數據質量問題時，在規定時間段 內，及時預警并通知相關人員處理，不扣分； 否則，扣3分； copyright 2010 深圳市華傲數據技術有限公司17 e-marketing e-crm 數據集成 scm suppliersuppliercustomercustomer suppliersuppliercust

12、omercustomer copyright 2010 深圳市華傲數據技術有限公司18 v行業數據現狀 v華傲數據質量治理體系架構 u組織體系 u管理體系 u技術體系 u執行體系 v優勢與價值 v公司資質 u公司簡介 u成功案例 v引申問題 copyright 2010 深圳市華傲數據技術有限公司19 v以高質量的數據，保障決策 信息的準確有效； 決策準確執行有效 響應快速標準統一 v以標準規則實時監控數據質量； v將數據生產者、使用者、管理 者關聯起來，聯動響應； v以績效手段保障數據管控體系 有效執行 v以核心業務為主線，提供統 一的數據標準； v規范數據治理流程； v建立數據監控規則、應

13、用規 范； v準確、快速的定位問題數據 源； v及時通知數據負責人進行處 理，減少或避免損失； v以企業核心業務為主線，有針對性的提升企業業務主數據價值； v自主研發國際領先的第三代數據質量產品，能快速定位、自動處理數據質量問題； v結合績效評估手段，保障數據管控體系的有效執行，持續保障企業核心主數據的高可用 性 優勢 價值 copyright 2010 深圳市華傲數據技術有限公司20 v行業數據現狀 v華傲數據質量治理體系架構 u組織體系 u管理體系 u技術體系 u執行體系 v優勢與價值 v公司資質 u公司簡介 u成功案例 v引申問題 copyright 2010 深圳市華傲數據技術有限公司

14、21 華傲數據機密21 copyright 2010 深圳市華傲數據技術有限公司22 數據質量管理、 xml數據管理 記錄匹配、 圖數據管理 圖數據管理分布并行數據 庫、高性能列 存儲數據庫 賈西 貝 馬帥 吳穎 徽 湯南 樊文飛院士 團隊在數據質量、xml數 據處理、圖數據處理、分 布式數據處理等方面做出 了世界級研究成果 22華傲數據機密 copyright 2010 深圳市華傲數據技術有限公司23 華傲數據機密23 2012年入選“中國留學 人員創業園百家最具潛力 創業企業” 2010年 獲得ibm智慧地 球大規模數據分析獎 英國媒體：“企業走出經 濟衰退必須依賴的研究成 果” bcs評

15、價：“奠定了英國 在數據質量研究中的全球 領先地位” 2012年出版 數據質量管 理基礎 2012年公司 首席科學家獲 acm fellow 2011年 公司 首席科學家當 選蘇格蘭科學 院皇家院士 2010年 獲得 美國acm阿 爾伯特門德 爾松時間檢驗 獎 2010年 獲得 超大數據集國 際會議最佳論 文獎 2008年 獲得 英國計算機最 高獎羅杰尼 達姆獎 2007年 獲得 ieee數據工程 國際會議最佳 論文獎 copyright 2010 深圳市華傲數據技術有限公司24 華傲數據機密24 團隊是自動數自動數 據質量管理據質量管理理 論基礎條件條件 約束約束理論理論的提 出者； 條件條

16、件約束約束理論理論 已經被業界廣 泛認可，國外 多所大學開設 相關的研究生 課程； 團隊在國際數 據庫理論界的 影響力有利于 標準的制定和標準的制定和 推廣推廣； 團隊帶頭人受 邀擔任acm journal of data and information quality主編， 推動國際標準推動國際標準 制定制定工作； 團隊具有一定 的標準制定經 驗，xml xml schemaschema被采用被采用 為國際標準為國際標準； 建設數據質量建設數據質量 國際標準國際標準對于 從全球整體上 提高數據質量 具有非常重大 的意義； 建設數據質量建設數據質量 國際標準國際標準能極 大提升中國在 國際大數

17、據界 的地位，保障 大數據產業在 中國的良好發 展。 copyright 2010 深圳市華傲數據技術有限公司25 數 據 質 量 管 理 平 臺 數據概況統計 schema 概況統計 表概況統計 基本分析 主外鍵關聯探查 數據列分析 敏感信息探查 頻率分析 結構分析 分布統計 字典規則探索 數據關聯探索 規則管理 函數依賴探索 質量評估 智能修復模塊 參考數據管理 標準化/補全 流式處理 交互式修復 匹配/融合 修復管理 系統管理 a d d 數 據 質 量 探 查 系 統 a d p 數 據 質 量 提 升 系 統 copyright 2010 深圳市華傲數據技術有限公司26 數 據 集 成 管 理 平 臺 數據概況統計 schema概況統計 表概況統計 基本分析 主外鍵關聯探查