某化工集團數據治理與數據湖交流_第1頁
某化工集團數據治理與數據湖交流_第2頁
某化工集團數據治理與數據湖交流_第3頁
某化工集團數據治理與數據湖交流_第4頁
某化工集團數據治理與數據湖交流_第5頁
已閱讀5頁,還剩86頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

CONTENTS數據在數字化轉型中的重要意義數據資產管理的主要概念某化工數據標準工作的建設思路工作內容與方法4宏觀背景-數字化轉型轉變觀念加強對標把握方向技術賦能突出重點統籌部署一、lllllllllll 宏觀背景-數字經濟發展新一輪科技革命和產業革命席卷全球,數字技術與實體經濟集成融合,產業數字化應用潛能迸發釋放,新模式新業務全面變革。數字經濟已經成為經濟增長的動力源泉,是轉型升級的驅動力。在中共中央政治局實施國家大數據戰略第二次集體學習時,習近平總書記指出要加快建設數字中國國務院印發《關于促進在中共中央政治局實施國家大數據戰略第二次集體學習時,習近平總書記指出要加快建設數字中國國務院印發《關于促進大數據發展行動綱要》20203月201720203月201720208月國資委《關于加快推進國有企業數20208月國資委《關于加快推進國有企業數字化轉型工作的通知》,統籌推進國有企業數字化轉型2015第十八屆五中全會上,提出實施國家大數據戰略,上升為國家戰略中共中央政治局常務委員會召開會議指出,加快推進新型基礎設施建設宏觀背景-數據要素市場化配置數據成為企業新的生產要素?2020年4月中央印發《關于構建更加完善的要素市場化配置體制機制的意見》,明確提出數據是要進行市場化配置的五種要素之一,要加快培育數據要素市場,提升社會數據資源價值。數據治理是釋放數據價值的關鍵?數據治理是釋放數據價值的關鍵?數據治理已在國家層面受到重視。2018年,我國首次發布數據管理領域國家標準《數據管理能力成熟度評估模型》。?2019年,中國信息通信研究院發布《數據資產管理白皮書4.0》。越來越多的企業采用基于數據的自動化決策流程,依賴數據的高質量和有效性。?對海量數據進行有效的數據治理,提升數據質量、實現數據標準化、促進數據的流動是海量數據價值釋放的前提。提高數據化運營管理水平、支撐集團公司數字化轉型充分發揮數據作為信息溝通媒介、信用媒介、知識經驗和技能新載體等方面的核心關鍵作用,有效激發數據創新驅動潛能,——數據是關鍵驅動要素。企業內全局透明企業內全局透明企業間生態與信息共享企業生產賦能和提升企業間生態與信息共享企業生產賦能和提升8數據治理解決的主要問題數據標準化與治理的效益快熟建立起集團整體發展戰略與各業務系統快熟建立起集團整體發展戰略與各業務系統,各子公司經營目標數據智能分析能發現企業運營異動和風險并快30%全面監測和分析及時消除異動和風險。預估每30%促使各業務部門與下屬企業圍繞整體戰略目標開展生產促使各業務部門與下屬企業圍繞整體戰略目標開展生產經營管理水平提升20%9經營管理水平提升20%9數據資產管理的定義和范圍數據資產是指由企業擁有或者控制的、能夠為企業帶來未來數據資產管理是指規劃、控制和提供數據及信息資產的一組數據管理數據治理數據資產管理數據管理數據治理數據資產管理數據管理是規劃、控制和提供數據及信息資產的包括開發、執行和監督有關數據的計劃、政策、方案、項目、流程、方法數據治理——統籌管理并協調人員、流程以及技術等要素,使得企業能將數據作為企業的重要資產從而更為有效地利用(IBM、Gartner)。數據治理作為數據管理的其中一個核心職能,是對數據資產管理行使權力和控制的活數據治理VS數據管理VS數據資產管理數據管理數據資產管數據管理數據資產管理數據治理數據數據治理數據治理+……數據資產管數據資產管理數據架構&數據模型類型業務架構數據架構應用架構技術架構能元素依賴數據模型Def:數據特征的抽象企業數據模型內容包含數據結構、數據操作、數據約束。數據結構:樹形結構、圖結構等企業數據模型數據流設計數據操作:棧、隊列等數據流設計數據約束:數據間的語法、詞義聯系等應用層次分類:概念數據模型、物理數據模型131數據價值難以發揮的根本原因數據標準&數據質量數據標準內容業務定義業務領域業務應用場景業務規則歸屬業務部門數據標準內容類型范圍長度編碼規則數據標準內容業務定義業務領域業務應用場景業務規則歸屬業務部門數據標準內容類型范圍長度編碼規則格式+數據標準內容數據精度是否必錄代碼內容可信數據源數據標準名稱維度名稱維度說明數據是否符合數據標準中的業務定義。例如在數據項“押物名稱”存儲了押物所有工作目標項目背景項目背景?戰略落地:本項目承接某化工集團“線上某化工”戰略,支持集團性經營管理類數據標準規范和體系的凝練與落地。實現某化工集團內部的業務協同和縱向管控、支持科學運營與智能創新?模式轉變:打造新型數據應用模式,由點狀需求支撐,向營造平臺,制定標準,構建數據共享生態模式轉變;項目范圍項目范圍組織范圍:現狀分析包括某化工集團總部財務、指標的梳理與確認(主要包括人力、投資、財務功能范圍:涉及EHR系統、人力KPI管理系統、學數據標準規范總體目標 數據標準數據標準標業務術語標準數據元標準參考數據標準指標數據標數據標準定義規范業務術語標準數據元標準參考數據標準指標數據標數據標準分類主數據標準主數據標準標準準落量管理全管理享管理構管理準技術屬性數據標準定義技術屬性標入業務屬性業務屬性管理屬性管理屬性執數據標準命名及編碼規范數據標準命名及編碼規范 標準命名規范標準編碼規范行基基計算存儲平臺礎層企業信息企業信息有息負債有息負債0考評人才評審人才評審投投資知識產權知識產權干部人才干部人才智慧黨建智慧黨建E應急科技項目科技項目HSEHSE管理能源節約能源節約外事管理外事管理務機構其它其它1.數據標準建設技術路線66平臺約束5分層分責系統盤點52143協同確認數據數據標準標準范圍標準標準繼承1.標準建設-基于戰略和管理訴求,確定數據建設范圍建立集團統一的數據標準方法論藍圖,從數據需集團戰略戰略定位業務單元/職能戰略戰略定位業務布局核心方向業務布局核心方向業務管理訴求數據需求1.21.2數據標準范圍與分類體系數據標準體系數據管理體系201.標準建設-數據標準管控縱向分層、橫向分責管理平臺分責分層管理平臺分責縱向切分集團及下級單位間數據標準管理職責橫向認責數據標準管理部門系統平臺管理 ?形成縱向數據標準管控體系?梳理數據產生與使用部門?統一系統平臺管理211.標準建設-數據標準梳理過程22231.標準建設-平臺約束與持續管理采集標準化處理模型一致性監督標準變更與優化流程標準落地反饋評估241.數據規范清單?數據規范層依據數據資源目錄對于數據領?原數據層標準及應用層數據相關標準的內容根據所屬數類1范勘探開發、煉油化工、石油貿易及服務、油品及化工品銷售、倉儲物流2氟化工、中間體及新材料、農用化學品、聚合物添加劑、天然橡膠、石化原料營銷、醫藥健康等標準3農業投入品(化肥、種子、農藥)和現代農業服務等標準45信托、融資租賃、財務公司、人壽保險、產業基金、新產業孵化、商業保理等標6包含集團公司業務發展的規劃計劃以及投資項目的項目前期、投資計劃、經濟評價、工程造價管理、后評價等領域的數7會計核算、預算管理、資金管理、資產管理、關聯交易管理、報賬管理等領域的數據標準8招聘管理、考勤管理、人事管理、職稱評審等領域的數據標9股權投資、股權管理、企業法人等領域的數據標物資與裝備數據標準包含綜合辦公、政策研究、質量安全環保、科技、信息、外事、企改、礦區服務、思想政治、離退休干部等職能管理業巡視、內部審計、違規投資經營追責所涉及計劃需信訪、線索、案件、黨風政風、八項規定等標包括QHSE、應急、安全、質量、環保以及生產運行項目中的HS包括基層管理、黨組織管理、黨員管理、黨費管理、黨建考評、黨務公開、支部管理以及工會、共青團管理標員工、組織機構、物料、會計科目、往來單位、產品、基礎數據等各領域公共的數1.數據需求梳理-以財務為例員工個人信息會計信息體系制度 應納稅額、稅種、稅率……發票金額、發票編號、統一社會信用代碼……薪酬薪酬 銀行賬戶數據報銷類型、報銷原因、報銷金額……業務類型名稱、業務類型編碼、業務類型級次…51.數據職責梳理-以財務部為例2626主責主責主責主責1.數據標準科目體系適用說明-以財務部為例碼 往來段子目段-銀行賬戶 往來段子目段-銀行賬戶應收賬款應付賬款必須關聯業務類型,選擇性關聯產目段、合同段28n1、數據湖平臺搭建:屬于公共的ITn1、數據湖平臺搭建:屬于公共的IT平臺能力,集團總部統一建設;n2、數據入湖實施:集團總部負責標準及能力支持,數據運營團隊負責入湖。n3、數據湖應用基于數據湖的數據分析和智能服務………………數據中樞服務數據運營數據服務數據金庫數據分析數據入湖明確數據Owner發布數據標準管理數據源定義數據密級制定數據質量方案注冊元數據數據運營數據服務數據金庫數據分析數據入湖明確數據Owner發布數據標準管理數據源定義數據密級制定數據質量方案注冊元數據數據集成數據交換資源調度監控運維源內部數據源內部數據外部數據292.數據湖-功能架構設計6數據管理 應用集成管理6數據管理 應用集成管理據展現43集7722門戶管理302.數據湖-技術架構設計……數據析應用數據析應用詢ttt結構化數據文件表格等非結構化數據結構化數據Oracle/MySQL等進行模型加工數據抽取StreamingOozie流數據處理LoaderLoaderLoader數據抽取數據抽取批處理312.數據湖-數據架構設計匯合數據匯合數據匯合數據匯合數據原始數據原始數據匯合數據匯合數據匯合數據匯合數據匯合數據原始數據原始數據原始數據原始數據原始數據2匯合數據原始數據原始數據原始數據匯合數據匯合數據匯合數據匯合數據匯合數據原始數據原始數據原始數據原始數據原始數據2匯合數據原始數據11知識產權322.數據湖-內部數據采集技術方案……/增量)具業務數據業務數據…………1.數據標準體系-編制思路數據標準&數數據標準&數據標準管理規范編制數據標準規范體系規劃數據標準規范體系規劃數據治理現狀分析數據治理現狀分析數據架構管理數據標準管理數據質量管理元數據管理數據安全管理數據架構管理數據標準管理數據質量管理元數據管理數據安全管理數據生命周期管理341.數據標準體系-工作步驟度準料式構程準3535362.數據湖-入湖管理辦法數據標準管理規章數據標準管理實施細則數據標準管理規章數據標準管理實施細則數據標準設計規范數據標準分類說明數據標準詳細定義數據標準工作模板數據質量管理規章數據質量管理實施細則數據質量衡量指標定義數據質量設計規范數據質量規則定義數據質量工作模板政策求求元數據元數據管理實管理規章施細則細則求容人372.數據湖-內部數據采集工作步驟11345確定數據共享內 345確定數據共享內 2圍383.數據標準體系制定與數據入湖路徑按照“標準先行、同步提升”的原則,采用“急用先建”的策略,結合數據標準和數據入湖管理辦法,按階段開展各項工作任務。數據資產管理實施線路數據資產標準及服務目錄數據資產管理實施線路數據資產標準及服務目錄數據治理建設數據治理提升4.數據管理過程的各方職責數據采集數據存儲數據使用部門)5.運維方式建議nn信息化領導小組:負責落實國家數據政署;負責制定集團公司數據政策;負責決策n信息管理部:落實領導小組各項數據管n數據管理專家中心:負責本部門數據管4042案例1:某發電央企集團有限公司數據資產管理項目某發電央企集團有限公司是國家電力體制改革組建的五家國有獨資發電企業集團之一,屬于國資委監管的特大型中央企業。為貫徹落實集團公司“數字企業”的總體戰略,有效支撐集團公司數字化轉型、培育電力行業數字經濟。集團公司總部牽頭建設了“數據中臺”,旨在建設一個實現數據接入和整合貫通,提供數據服務能力,支撐數據管理體系,具備面

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論