數據治理支持服務品類協(xié)議(上冊)_第1頁
數據治理支持服務品類協(xié)議(上冊)_第2頁
數據治理支持服務品類協(xié)議(上冊)_第3頁
數據治理支持服務品類協(xié)議(上冊)_第4頁
數據治理支持服務品類協(xié)議(上冊)_第5頁
已閱讀5頁,還剩25頁未讀 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

項目理解建設內容主要包括數據治理方案制定、數據治理體系建設及數據子湖建設三部分服務內容。數據治理方案制定數據治理涉及到業(yè)務的梳理、標準的制定、數據質量的改善、數據的集成等工作,復雜度高、探索性強,在治理過程中出現(xiàn)偏離時,如不能及時糾正,將影響后續(xù)一系列工作,因此在做數據治理時就要采用系統(tǒng)的方法和過程,做好現(xiàn)狀調研和頂層設計和實施路徑規(guī)劃等工作。數據治理體系建設數據治理體系建設包括數據標準體系建設、數據質量體系建設、數據全生命周期的數據安全體系建設、數據資產目錄構建等內容。圍繞數據價值發(fā)掘利用、數據質量提升以及管理落實過程中的難點痛點,建立適用的數據治理管理體系,梳理各業(yè)務部門在數據治理中的職責,對各類數據資產建立標準,統(tǒng)一數據資產管理流程,編制數據資產管理相關制度,建立數據資產管理組織,為企業(yè)數據質量的提升奠定基礎。數據子湖建設數據子湖建設主要包括數據清洗遷移入湖、數據管理工具建設及優(yōu)化、數據應用及服務等內容。基于建立的數據標準實現(xiàn)數據的物理或邏輯入湖;通過數據管理工具對數據資產進行管理,實現(xiàn)數據資產統(tǒng)一歸集;對治理后的入湖數據進行統(tǒng)一管理和封裝,形成面向業(yè)務場景的數據服務反哺業(yè)務,實現(xiàn)對多樣化、海量數據的快速處理及價值挖掘。數據治理建議方案現(xiàn)狀調研與需求分析本項目將結合多種調研手段,面向業(yè)務和技術分別采用“自上而下”業(yè)務調研和“自下而上”信息系統(tǒng)調研相結合的方式,全面了解發(fā)展數據管理現(xiàn)狀,通過使用數據管理能力成熟度評價模型對發(fā)展數據管理現(xiàn)狀水平進行綜合評估。調研與需求分析方法根據目前對發(fā)展的了解,以及對業(yè)務現(xiàn)狀、IT現(xiàn)狀和數據治理方法論三個方面的初步分析,發(fā)展在數據管理方面仍存在以下問題:數據管理組織職責仍待細化:目前已初步建立成體系的數據管理組織,數據管理人員崗位職責仍需描述清晰,尚未明確的數據管理人員職業(yè)發(fā)展規(guī)劃。數據戰(zhàn)略仍需完善:目前已建立清晰的數據驅動產業(yè)戰(zhàn)略,但戰(zhàn)略愿景和目標之間的差異評估需要定期執(zhí)行,并根據差距分析并結合業(yè)務現(xiàn)狀完善現(xiàn)有戰(zhàn)略規(guī)劃。標準的落地執(zhí)行工作仍待開展:發(fā)展目前已初步建立數據標準體系,業(yè)務術語與參考數據等標準規(guī)范仍需不斷擴充完善,使其更加貼合業(yè)務的需求。數據質量體系仍待完善:發(fā)展已建立數據質量規(guī)則模板,但尚未建立統(tǒng)一的數據質量問題庫。數據安全工作仍需進一步加強:發(fā)展參照國家標準進行安全等級劃分,但數據安全標準規(guī)范和數據加密、脫敏的清單、開放共享的清單未明確。數據架構管理仍需規(guī)范:數據模型和業(yè)務流程、組織、系統(tǒng)之間的關系管理缺失,沒有明確權威數據源。業(yè)務痛點總結及提升建議基于目前對發(fā)展業(yè)務現(xiàn)狀和數據治理現(xiàn)狀的初步了解,目前發(fā)展在數據管理方面面臨以下問題:目前發(fā)展數據模型和業(yè)務流程、組織、系統(tǒng)之間的關系管理缺失,且沒有明確權威數據源;發(fā)展參照國家標準進行安全等級劃分,但數據安全標準規(guī)范和數據加密、脫敏的清單、開放共享的清單未明確,業(yè)務部門對數據安全管理的職責劃分不清晰;發(fā)展需要獲取集團統(tǒng)建系統(tǒng)相關數據難度較大,審批流程復雜(例如ERP和eHR中的數據),尚未實現(xiàn)數據集成共享和應用互聯(lián)互通。建議發(fā)展承接集團公司的要求,在集團公司數據管理辦法的指導下,依據自身實際情況及業(yè)務特點,編制和完善發(fā)展數據管理辦法。作為總體綱領,從而明確發(fā)展數據職能領域的劃分及制定各數據職能領域的總體要求。同時,在數據管理辦法的指導下,發(fā)展可從數據流程、數據架構、數據質量、數據源標準等管理制定形成數據管理細則及數據質量管理細則,指導各事業(yè)部開展數據治理工作。在數據質量和標準得到保障的基礎上,建立數據共享機制、提供數據服務,為業(yè)務人員統(tǒng)計分析提供基礎。IT現(xiàn)狀調研本項目將調研現(xiàn)有IT系統(tǒng)的功能、支撐的業(yè)務情況、用戶訪問的頻次、系統(tǒng)的安全等級、所使用的技術棧、系統(tǒng)的架構、系統(tǒng)部署的方式、數據庫的類型以及和其他系統(tǒng)的數據交互方式。根據調研的結果,分析現(xiàn)有IT系統(tǒng)對業(yè)務支撐的滿足度、現(xiàn)有IT系統(tǒng)的技術架構、數據集成現(xiàn)狀,為之后的數據治理提供改進方向。IT系統(tǒng)功能調研發(fā)展圍繞數字化轉型,在集團公司云上,構建“平臺+數據+應用”的整體架構,形成發(fā)展的統(tǒng)一數據資產、構建數據及數字化應用能力,為各單位數字化建設提供支持和賦能。目前已建設基于紅帽的微服務開發(fā)平臺,基于大數據技術的數據平臺、正在開展統(tǒng)一運維平臺建設。發(fā)展依靠DataQ、DataWorks、數據服務大廳等數據管理工具,通過提升數據價值密度并形成數據應用閉環(huán),持續(xù)驅動業(yè)務創(chuàng)新,可以直觀、持續(xù)、穩(wěn)定德把“數據”變成“可用的數據”、把“可用的數據”變成“人人都可用的數據”,從而讓企業(yè)的數據價值充分得到挖掘和發(fā)揮。DataQ包含數據上云、數據研發(fā)、數據治理、智能標簽、數據探索、畫像分析、數據DNA、全景監(jiān)控八個服務模塊,實現(xiàn)數據倉庫、數據主題聯(lián)接、數據資產管理、數據云平臺的功能。DataWorks配合DataQ作為數據開發(fā)工具,為數據價值提升提供保障。數據服務大廳是自開發(fā)工具,現(xiàn)在屬于“建設中”狀態(tài),實現(xiàn)數據服務管理。發(fā)展大數據平臺功能包括:支持的關系型數據庫:Oracle、SQLServer、MySQL支持的中間件:Kafka、RocketMQ支持的文件:FTP支持的大數據產品:Hbase、HDFS主數據倉庫:734.4TB;時序性數據存儲容量:20萬點位、90TB;非結構型數據存儲容量220.32TB,可擴容離線分析算力:百萬數據分鐘及快速處理實時計算算力:數據計算延遲支持到秒級甚至亞秒級,單個作業(yè)吞吐量達到百萬級GPU計算能力:頂配GPU卡數據資產盤點數據資源盤點是掌握數據資源分布現(xiàn)狀的重要手段,是推動數據資源整合、評估、運營和共享的基礎工作。數字資源盤點工作需要業(yè)務人員和系統(tǒng)項目組共同識別核心數據,梳理核心數據對應的業(yè)務部門、業(yè)務流程和所在系統(tǒng)。通過建立數據與業(yè)務部門、系統(tǒng)之間關系矩陣,梳理企業(yè)級邏輯模型與物理模型之間的實體級與屬性級的映射關系,明確邏輯實體、屬性在物理系統(tǒng)中的分布情況,確定數據分布關系;并對系統(tǒng)間流入流出接口進行分析,梳理數據流向,最終識別確認可信數據源。如下圖,數據資產盤點工作主要分三步:數據資源盤點圈定數據資源盤點范圍:包括系統(tǒng)、組織、業(yè)務和數據范圍;明確盤點內容:明確數據字典、模型、接口、規(guī)則、問題和需求等;制定盤點計劃,梳理盤點成果:盤點成果包括系統(tǒng)總體介紹,庫表資源,數據字典/物理模型/詳細設計文檔,信息系統(tǒng)間交互接口,數據問題與標準,系統(tǒng)集成方案與接口等。數據治理方法論調研調研國內外數據治理成熟的方法論,結合現(xiàn)狀進一步明確數據治理的范圍和工作重點。調研數據標準、管理制度等方面的行標和企標,作為數據治理工作實施過程中的輸入和參考。基礎理論調研在充分借鑒國內外數據治理先進理論的基礎上,結合項目實施過程中各個公司面臨的實際問題,設計了“數據治理框架”,明確了數據治理工作在數字化轉型進程中的價值定位和支撐作用,針對數據治理體制的構建提出了包括職能活動、保障手段和數據運營在內的一整套運作體系,用以統(tǒng)一各個公司中對數據治理的認知、明確職責邊界,并指導具體工作任務和資源配備的規(guī)劃與開展。數據治理框架首先,“數據治理框架”是推動數字化轉型進程、發(fā)揮承上啟下作用的核心舉措。數字化轉型從總體進程來看,可以分為兩個關鍵步驟,第一步,要讓各種業(yè)務信息轉變?yōu)榭晒芾淼臄祿础皹I(yè)務數字化”,第二步,要圍繞公司先進的發(fā)展方向,發(fā)揮數據驅動作用,帶來組織活動、流程、業(yè)務模式和員工能力等方面的重新定義,即“公司轉型升級”。“數據治理框架”作為保證數據資產安全、高質量、合理配置和有效加工利用而構建的工作體系,將可靠串接“業(yè)務數字化”和“公司轉型升級”這兩個步驟,通過各項管理舉措的落實,確保執(zhí)行過程的準確到位和協(xié)同一致。其中,對于“業(yè)務數字化”來說,它既是數據治理工作啟動的前提條件,也是被管理的目標對象,數據治理框架的有效執(zhí)行,可以及時發(fā)現(xiàn)并解決“業(yè)務數字化”過程中產生的原始數據問題,切實促進和規(guī)范“業(yè)務數字化”工作的深入開展。同時,“企業(yè)轉型升級”中各項戰(zhàn)略變革的舉措執(zhí)行,也需要高質量數據資產的支撐,它既是數據治理框架的價值體現(xiàn),也是完善這一框架的動力所在,只有將相關工作與公司業(yè)務戰(zhàn)略的實施過程密切結合,才能確保數據資產管理始終處在正確方向上,并及時獲得可靠反饋,推動可持續(xù)的演進發(fā)展,進而不斷提升支撐數字化的效率和效果。其次,“數據治理框架”是有效應對數據工作復雜性,更好落實公司各部門協(xié)同配合的重要手段。數據治理工作是一項涉及面廣、評價維度多、影響因素復雜的系統(tǒng)性工程,既面臨著數據量不斷增長與快速響應業(yè)務需求的矛盾,也要在加強數據質量、保障數據安全與降低建設成本、減少維護難度等目標中尋求動態(tài)平衡。同時,數據治理工作還面臨著各公司所固有的多層級管理挑戰(zhàn),信息部門與業(yè)務部門的溝通協(xié)作、制度規(guī)范與創(chuàng)新發(fā)展的取舍調整,都是數據治理工作需要切實解決的重要問題。“數據治理框架”定義了一套環(huán)環(huán)相扣、務實可行的管理體系,它主要由數據戰(zhàn)略、數據運管、職能活動和數據保障四部分構成,其中,數據戰(zhàn)略是數據治理成為企業(yè)戰(zhàn)略核心任務應用的重要部分,指導監(jiān)督了數據運營和數據治理職能活動的開展,是數據資產得到內外部應用的執(zhí)行藍圖;數據運營是通過管理數據資產的配置、使用和維護,從而改善內部響應效率,提升數據資產效益的重要手段;職能活動描述了數據治理的具體工作,包括八項活動,通過界定各項活動的職能定位和內在聯(lián)系,完整的覆蓋了各公司在數據治理工作所需的內容;而數據保障則定義了確保職能活動有效開展所應具備的前提條件和支撐能力,包括了數據組織與制度和數據技術支撐等兩個領域,通過跟職能活動相結合,能夠針對性提出各種細化管理要求,確保執(zhí)行過程準確到位。最后,“數據治理框架”充分參考了國內外多個先進理論框架,相對完整的覆蓋了理論框架倡導的職能活動和保障手段,充分體現(xiàn)出“數據戰(zhàn)略定目標、數據治理保質量、數據運營出效益、組織管理搭環(huán)境、技術工具做支撐”的先進管理理念。數據治理頂層設計發(fā)展數據治理頂層架構設計主要包括架構設計、數據治理核心域、數據治理保障措施三部分內容,具體如下。架構設計基于發(fā)展業(yè)務架構,開展應用架構設計、數據架構設計、技術架構設計和微服務架構設計。總體架構設計主要完成基于數據治理和數據湖技術構建的邏輯層次框架的規(guī)劃,對各層次內涵及其關聯(lián)關系進行設計,用于指導未來系統(tǒng)建設。應用架構設計應用架構主要描述應用開發(fā)藍圖、應用間結構和交互關系,及應用與核心業(yè)務流程間的關系。通過梳理業(yè)務流程,結合中生產實際按照分層設計原則確定應用架構,按照業(yè)務功能組合劃分應用域。我們建議在項目開展后,應用架構設計應遵循五大設計原則:業(yè)務適配性原則:應用架構要支撐和提升戰(zhàn)略能力和業(yè)務能力,服務于企業(yè)的戰(zhàn)略目標企業(yè)級原則:應用架構要遵循企業(yè)級原則,要打破豎井、整合部門級應用,形成企業(yè)級應用,避免功能分散、重疊、界限不清等問題應用組件化原則:要按照業(yè)務功能聚合的方式進行應用規(guī)劃,建設與應用組件對應的應用系統(tǒng)應用松耦合原則:要降低系統(tǒng)間的耦合性,減少相互依賴,降低系統(tǒng)運行的風險資產可復用原則:要沉淀和提煉公共能力,推動架構資產的共享復用,以便于提升開發(fā)效率、降低開發(fā)維護成本遵循以上原則,發(fā)展應用架構將以技術研究、研究實驗、方案設計、作業(yè)服務、生產經營管理五大業(yè)務場景展開設計,著重分析勘探開發(fā)研究及非常規(guī)綜合一體化產業(yè)、鉆完修技術服務產業(yè)、鉆采技術支持產業(yè)、增產增注產業(yè)、人工舉升產品及配套技術服務產業(yè)、油田化學及工藝技術產業(yè)六大產業(yè)交互關系,形成架構總圖。應用架構設計思路如下:基于場景展開應用子系統(tǒng)設計:以典型場景的二級場景為單位,設計每一個場景的子系統(tǒng)和應用功能模塊;分析應用間信息交互關系;形成應用架構總圖:整合所有二級應用子系統(tǒng)形成應用架構總圖。應用架構示例在項目開展的過程中,應用架構設計工作內容主要包含四類:應用需求應用功能:應用系統(tǒng)或子系統(tǒng)具有的能力。多指用戶可見的能力;應用服務:應用系統(tǒng)或子系統(tǒng)具有的能力。含用戶不可見的能力,例如:數據緩存服務、加密傳輸服務、壓縮傳輸服務;應用項目需求分配:把應用服務指派(Allocated)給應用組件;應用組件:應用服務的承擔者,是應用架構要識別的主要對象;應用項目:定義成工作包;應用集成應用集成:不同應用之間以及應用與第三方系統(tǒng)之間的交互關系;組件協(xié)作:應用組件之間的交互關系;接口定義:識別應用間交互的接口有哪些;研發(fā)管理路標管理:又稱產品里程碑管理。即產品在某時間點要達到的標準;接口管理:長期的、跨實施階段的接口標準的管理;項目管理:由PMO牽頭。企業(yè)數據架構設計數據架構主要描述企業(yè)的主要數據類型及其來源、邏輯數據資產、物理數據資產、數據管理資源以及上述內容的結構與交互。數據架構設計和規(guī)劃可實現(xiàn)數據采集、交換、共享等標準在實際業(yè)務數據流中的規(guī)范化、一致性、準確性和完整性,并在此基礎上,充分挖掘數據價值,夯實數據治理體系。數據架構設計應緊密結合應用架構規(guī)劃的成果,同時遵循以下原則:數據解耦原則:不同的平臺應將數據剝離解耦,借此形成獨立數據,這樣不同的業(yè)務場景和分析工具都能共享同一份數據來達成處理或應用目的;無環(huán)依賴原則:每個獨立平臺之間,數據的流轉不應該出現(xiàn)循環(huán)依賴的情況;契約式設計:不同平臺之間、平臺內部各模塊之間的交互,都是基于“契約”(接口或抽象),而無需依賴于具體實現(xiàn);組件適當性原則:每個組件都有自己擅長的領域,要考慮數據的結構(結構化還是非結構化),處理的時效性(毫秒級或分鐘級),以及吞吐量和訪問模式等方面。數據架構示例參照數據湖架構理念,數據架構可分為專業(yè)域、融合域、分析域、應用域:應用域:面向終端用戶的業(yè)務查詢、交換等應用或面向SaaS層的專業(yè)服務而提供的主題應用數據服務;分析域:根據云端PaaS層不同分析方法對數據處理特征的差異性,將數據按照不同方式進行組織存儲,便于高效挖掘分析;融合域:將不同數據源的數據進行統(tǒng)一規(guī)范,經過過濾清洗,依據業(yè)務邏輯建立其數據間的依賴關系,使其融為一體;專業(yè)域:建立開放式、可定制的匯入接口,實現(xiàn)對各類內部專業(yè)數據和外部數據的匯入以及元數據注冊管理的邏輯匯入。數據架構設計內容主要包括兩個方面:完善數據標準完善數據標準體系總體規(guī)范:注重標準的可操作性。長線遵從行業(yè)標準,體現(xiàn)標準的完整和有效性短;短線體現(xiàn)企業(yè)需求,滿足實際工作需要。具體包括數據標準體系結構、編制內容和適用范圍,以及數據管理等方面的規(guī)范制定數據元標準集:包括信息資源分類及編碼規(guī)范、數據元總體規(guī)范標準集、通用基礎數據標準集以及各個專業(yè)基礎數據標準集。數據元標準集是數據標準體系的核心內容,是實現(xiàn)信息資源共享和交換的基礎制定數據庫標準集:包括數據庫體系架構、基礎數據庫、數據倉庫、知識倉庫等數據庫相關規(guī)范制定數據交換標準集:包括數據交換標準規(guī)范、信息資源目錄規(guī)范等優(yōu)化數據管理優(yōu)化數據管理流程:建立企業(yè)數據管理組織保障,制定企業(yè)數據管理流程,明確信息相關責任人及KPI考核機制數據標準統(tǒng)一運維:通過企業(yè)信息標準化管理平臺實現(xiàn)對數據等標準的統(tǒng)一管理和維護技術架構設計技術架構設計需在遵循PaaS云服務要求的基礎上,按照一體化、服務化的思路設計服務層、應用層的整體技術框架和關鍵技術路線,指導未來系統(tǒng)的持續(xù)開發(fā)和應用。根據TOGAF推薦的技術架構設計,技術架構設計主要工作如下:分析技術需求:從業(yè)務架構藍圖、應用架構、數據架構導出技術需求,識別所需的技術服務,明確技術部署位置、部署結構等;確定技術選型:盤點現(xiàn)有技術,進行差距分析,明確技術指標和選型標準,選擇合適的技術產品。技術選型主要包括運行平臺、開發(fā)平臺等技術平臺選型,技術產品、技術框架、中間件等技術組件選型,以及硬件、網絡等物理選型;相關影響分析:識別成本、規(guī)模、安裝、移植、規(guī)劃、治理影響。技術架構示例發(fā)展技術架構將在PaaS云服務要求的規(guī)范基礎上,開展技術架構功能設計并建立管控流程和技術標準。SaaS:以SaaS層相關服務實現(xiàn)主題化或專業(yè)化應用;PaaS:以PaaS層業(yè)務服務、公共服務、數據服務及基礎服務實現(xiàn)生產類服務;邊緣層:通過邊緣層實現(xiàn)設備接入、數據采集及邊緣計算等功能;平臺架構:通過數據湖平臺和數據治理平臺落實數據管理體系,實現(xiàn)數據管理自動化,提高數據管理效率。微服務架構設計微服務架構設計在統(tǒng)一的技術架構的基礎上,規(guī)劃微服務的業(yè)務及技術頂層劃分框架、應用流程和技術接口規(guī)范,設計微服務開發(fā)、注冊、運維的治理框架,指導各項目建設與應用。微服務設計方法基于業(yè)務架構和應用架構劃分,對應用領域做進一步拆分,形成L3和L4級的業(yè)務組件。拆分原則遵循以下四點:關聯(lián)性:縱向上體現(xiàn)出從戰(zhàn)略到執(zhí)行的承載,橫向上體現(xiàn)出業(yè)務之間的協(xié)同,節(jié)點上體現(xiàn)出功能、數據、智能化能力的關聯(lián)性唯一性:功能不重復全面性:業(yè)務全覆蓋,不遺漏持續(xù)性:建立業(yè)務擴展及完善規(guī)范,支撐業(yè)務的持續(xù)發(fā)展業(yè)務組件拆分在應用架構基礎上進行業(yè)務組件拆分,從業(yè)務和屬性維度進行梳理,采用獨立性(專業(yè)獨立且用戶獨立)、交叉性(用戶或專業(yè)交叉)原則進行拆分、結合智能化能力分層將業(yè)務功能拆分、組合成合適的可獨立運行的單元,即業(yè)務組件,便于構建和復用。業(yè)務組件定義方法為了沉淀重復的、共享的通用能力和核心能力,先進行領域模型構建,在此基礎上進行微服務的設計,通過基本功能編排,形成可獨立運行的應用功能app。微服務架構設計遵循以下原則:領域驅動設計:先建立領域模型,確定邏輯和物理邊界以及領域對象后,然后才開始微服務的拆分和設計,圍繞業(yè)務領域按職責單一性、功能完整性拆分;第一步:對業(yè)務組建建模,劃分領域邊界,建立領域模型和限界上下文;第二步:根據限界上下文進行微服務設計;領域建模基于業(yè)務需求變化頻率:識別領域模型中的業(yè)務需求變動頻繁的功能,考慮業(yè)務變更頻率與相關度,將業(yè)務需求變動較高(敏態(tài))和功能相對穩(wěn)定(穩(wěn)態(tài))的業(yè)務進行分離;基于組織架構:避免帶來團隊和組織架構的調整,避免由于功能的重新劃分,而增加大量且不必要的團隊之間的溝通成本;基于非功能性需求劃分:識別領域模型中性能壓力較大的功能。把在性能方面有較高要求的功能拆分出去。有特殊安全要求的功能,應從領域模型中拆分獨立,避免相互影響。微服務技術組件架構數據治理核心域數據治理核心域旨在明確發(fā)展數據治理的對象和重點目標,主要包括主數據、數據標準、數據模型、數據質量、數據安全等。同時依據國家數據管理能力成熟度評估模型開展數據管理成熟度評估,指出未來需要重點改進的方向和具體的措施。數據治理總體框架本項目將在中國數據戰(zhàn)略、數據治理總體框架的指引下,立足發(fā)展的數據治理現(xiàn)狀,借鑒業(yè)界主流數據治理方法論以及石油石化行業(yè)實踐經驗,構建發(fā)展的數據治理總體框架,促成總體框架在各業(yè)務域落地實施,全面提升數據資產管理能力、數據資產運營能力,并建立體系運行所需的保障機制和工具支撐、形成數據治理長效機制,系統(tǒng)化解決數據治理過程中面臨的諸多問題,以滿足各方需求。數據治理總體框架數據資產目錄結合發(fā)展數據資產現(xiàn)狀,編制數據資產目錄,進行數據分類,甄別基礎數據,各部門共享數據類型,合理分類,通過資產目錄,可查詢、追溯、共享數據。數據資產目錄分為L1~L5共五層,涵蓋發(fā)展的所有業(yè)務數據資產。數據資產目錄L1為主題域分組,描述集團公司數據管理的最高層級分類。本次數據資產目錄的建設L1采用業(yè)務管理邊界劃分方式,即將L1主題域分組與流程架構L1相匹配,有利于更好地推進各項數據工作。強化集團內業(yè)務部門的數據管理責任,更好地推進數據資產建設、數據治理建設。L2為主題域,是互不重疊的數據分類,管轄一組密切相關的業(yè)務對象,同一個主題域有相同的數據責任歸屬部門。L3為業(yè)務對象,是核心層,用于定義業(yè)務領域重要的人、事、物,架構建設和治理主要圍繞L3開展。L4是邏輯數據實體,是業(yè)務對象在某方面特征的屬性合集。L5為屬性,是信息架構的最小顆粒,客觀描述業(yè)務對象在某方面的性質和特征。數據資產目錄的建立從業(yè)務視角需要達到資產目錄數據可查看,業(yè)務人員看得懂、管得了,且可以在業(yè)務問題分析時進行合理利用的業(yè)務目標。從IT視角達到促進數據共享和交換、幫助數據問題定位解決、協(xié)助開展數據分析、推動數據整合、實現(xiàn)數據資源可視化的IT目標。數據模型本項目將借鑒行業(yè)標準數據模型,以中勘探開發(fā)數據湖的數據模型為基礎,進行比對研究,基于發(fā)展數據管理現(xiàn)狀,量身制定發(fā)展數據分類設計方法并構建數據模型。數據模型分為企業(yè)級數據模型、應用級數據模型。企業(yè)級數據模型是企業(yè)范圍內、整合的、面向主題的數據模型,用來定義關鍵的數據生產者和消費者的需求。數據模型(示例)發(fā)展的數據模型是以三層企業(yè)數據模型為指導,設計包含了主題域分組、主題域、業(yè)務對象、邏輯數據實體、屬性在內的五級數據架構及主題域模型、概念模型、企業(yè)級通用邏輯模型在內的三層數據模型。其中:主題域模型:對應主題域分組、主題域兩級。對企業(yè)或系統(tǒng)所關注的業(yè)務范圍的概括和界定,從整體上對油田的主要業(yè)務劃分為容易理解且符合業(yè)務習慣的幾大類,并識別和定義出其中所有的業(yè)務概念模型:對應業(yè)務對象。主要梳理業(yè)務活動下產生的成果資料,包括結構化數據標,文檔圖件,體數據等企業(yè)級通用邏輯模型:數據集按照數據類型進行抽象形成數據實體,并對不同業(yè)務活動的同類結構化數據實體合并。梳理對應數據實體的數據內容,形成屬性。數據標準為進一步推行模板化數據治理模式,提高業(yè)務單位對數據治理IT概念的理解,數據治理工作應聚焦到數據標準模板、數據質量模板兩個模板。數據標準規(guī)范的建立將規(guī)范數據域、業(yè)務過程等內容的定義,規(guī)范專業(yè)術語及其縮寫,規(guī)范命名及編碼等。數據標準模板內應包含基礎數據標準、指標數據標準、維表與代碼值等內容。在基礎數據標準模板中,定義數據域、標準類別、業(yè)務定義、業(yè)務規(guī)則、數據類型、指標標準等,保障數據的內外部使用和交換的一致性和準確性,各單位制定本業(yè)務條線的數據標準,進一步夯實數字化服務能力。數據治理標準規(guī)范同時建立數據標準管理的各流程,如數據標準編制流程、數據標準變更流程、數據標準發(fā)布流程、數據標準落地流程、數據標準復審流程。主數據主數據管理體系包含管理組織、管理流程、數據標準、管理制度、安全規(guī)范和質量控制。管理組織:基于各項數據的生命周期管理,制定數據管理的組織架構以及管理職責管理流程:依托管理模式以及管理組織的設計,制定數據的全生命周期管理流程數據標準:基于管控視角,歸納和總結各類數據的標準(編碼、分類、屬性等標準)管理制度:形成企業(yè)級的數據管理制度及規(guī)范,為企業(yè)的高效數據治理體系保駕護航安全規(guī)范:為了防止對主數據進行非授權的訪問、瀏覽、修改或刪除而制定的規(guī)范及準則,主要通過主數據分級、用戶級別及權限的授權來進行主數據安全的管理質量控制:配套數據管理制度,使數據管理成果指標化、標準化,便于有效監(jiān)控數據運行狀況,并可據此持續(xù)提升和改進數據質量。在管理模式上應基于職能域及管控要求,歸納總結企業(yè)內各項數據分布識別主數據,明確數據對象的“所有者”,并基于數據特性及管控要求,明確各項數據是集中管理還是分層管理。主數據的識別應基于企業(yè)業(yè)務活動進行梳理,并通過對一項數據分析是否符合特征一致性、識別唯一性、長期有效性、交易穩(wěn)定性、高共享性、超部門性,如都符合則可作為主數據進行管理。將識別出的主數據根據科學性、系統(tǒng)性、可延性和兼容性進行分類。主數據管理框架主數據管理工作機制管理組織管控模式數據認責管理制度管理流程KPI主數據管理專業(yè)能力主數據識別主數據分類主數據標準主數據模型編碼規(guī)范主數據全生命周期管理需求管理標準管理編碼管理分發(fā)管理應用評價主數據管理系統(tǒng)需求管理標準管理編碼管理分發(fā)管理應用評價數據質量數據質量管理的業(yè)務價值通常包含三點。第一,快速響應管理監(jiān)管要求;第二,有效支撐企業(yè)業(yè)務運營、管理分析和高層決策;第三,充分挖掘數據資產業(yè)務價值;以數據應用為抓手,推進數字化轉型與石油科技創(chuàng)新,通過提升數據質量改善數據應用效果,形成數據治理與數據應用的正反饋效應。本期項目將以發(fā)展數據治理總體框架為指引,建立發(fā)展數據質量“事前預防、事中監(jiān)控、事后改善”的閉環(huán)管理機制,落實工作機制和各方職責。其中:數據質量“前中后”閉環(huán)管理機制示例事前預防制定質量管理機制。根據組織特點,制定符合自身環(huán)境的工作制度,制定每個環(huán)節(jié)的工作流程,規(guī)定各個參與方的責任,確定各項數據的權威部門,制定數據質量指標,制定數據質量修復流程等等。制定數據質量標準。數據標準成功定義的與否,直接決定了大數據建設的成果和數據質量的高低,需要在融合國家標準、行業(yè)標準和地方標準的基礎上,融合組織自身的業(yè)務特色需求。制定質量監(jiān)測模型。數據質量模型代表的是業(yè)務需求,它是從業(yè)務需求的角度而描述出來的質量需求。制定質量監(jiān)測規(guī)則。數據監(jiān)測規(guī)則代表的具體的質量檢測手段,它是從技術角度來描述數據質量要求是如何被滿足的,包括規(guī)范性、完整性、準確性、致性、時效性、可訪問性等等。事中監(jiān)控監(jiān)控原始數據質量。數據采集工作從數據源頭獲取最原始的數據,在數據采集過程中將數據分為“好數據”“壞數據”,“好數據”入庫,“壞數據”則反饋給源頭修復,因為數據來源部門最懂這些數據,也最能在源頭上把數據問題徹底修復掉。監(jiān)控數據中心質量。經過各種采集、清洗、加工過程,數據被存入數據倉庫中,這些數據也將被業(yè)務部門使用,所以,對于這些成果數據的質量監(jiān)控和修復則猶為重要。對于這類數據問題,我們可能使用簡單的空值檢查、規(guī)范性檢查、值域檢查、邏輯檢查、一致性檢查、等等規(guī)則就可以檢查出來,也可能需要諸如多源比較、數據佐證、數據探索、波動檢查、離群檢查等等方法才可以檢查出來。反饋數據質量問題。數據質量監(jiān)控過程中,會發(fā)現(xiàn)兩類問題,一類是源頭的數據質量問題,一類是數據中心的數據質量問題,數據質量團隊需要將這些問題及時反饋給源頭部門和數據倉庫建設團隊。考核數據質量考核。數據質量的考核是為了能夠引起各個參與部門和參與團隊對數據質量的重視,需要及時統(tǒng)計分析各種數據質量問題,并制定出相應的應對措施。事后改善修復數據質量問題。發(fā)現(xiàn)質量問題不是最終的目標,我們仍要建立相關的流程和工具,通過手工、工單、自動化等等手段將質量問題修復掉,從而為業(yè)務創(chuàng)新提供可靠的數據支撐。收集數據質量需求。通過數據質量問題的修復,必然能夠促進數據的應用,我們仍要建立通暢的數據質量反饋通道,讓各個部門參與到數據質量的再次完善中來,從而形成建設、應用和反饋的良性循環(huán)。完善質量監(jiān)測模型。如前所述,監(jiān)測模型代表的業(yè)務需求,業(yè)務形態(tài)的變化、數據標準的變化和質量新需求的出現(xiàn),同樣要求監(jiān)測模型能夠做出相應的變化。針對存量數據,通過制定數據質量檢測規(guī)則或其他手段,梳理存量數據的數據質量問題,從多個維度總結分析數據質量問題,例如:數據模型設計、數據源、數據采集過程、數據傳輸過程、數據裝載過程、數據存儲等環(huán)節(jié)。結合數據管理現(xiàn)狀調研和評估結果,提出數據質量重點改進方向。數據安全數據安全管理應從決策層到技術層、從管理制度到工具支撐,自上而下貫穿整個組織的完整鏈路,涵蓋數據采集、數據傳輸、數據存儲、數據處理、數據共享交換、數據銷毀等各個數據全生命周期階段的數據安全。數據安全管理措施在數據全生命周期階段進行落地與執(zhí)行,同時,通過執(zhí)行情況反饋與調整數據安全管理施。數據安全治理治理發(fā)展參照國家標準進行安全等級劃分,但數據安全標準規(guī)范和數據加密、脫敏的清單、開放共享的清單等內容尚未明確。因此在數據安全管理方面,制定數據安全管理流程,包含數據安全管理流程和數據脫敏管理流程。定義數據安全分級方法,識別本領域的敏感數據。制定數據定級模板,根據模板對數據進行定級,根據分類分級標準對數據進行使用范圍進行界定。并針對不同安全級別的數據分別定義共享標準,制定數據共享模板,編制各專業(yè)數據共享目錄,定義數據共享目錄相關流程。并制定數據共享措施,從身份鑒別、訪問申請和審批授權三個步驟分別進行數據共享措施的設計。數據治理保障措施制度保障數據管理制度建設以服務企業(yè)管理、促進過程規(guī)范化、提高工作工作效率為原則。在數據管理制度建設過程中,借鑒勘探開發(fā)數據標準編制經驗,快速形成其他數據管理制度的初步形態(tài),在試行的過程中發(fā)現(xiàn)問題及時調整,最終形成相對完善的數據管理制度,并進行發(fā)布。遵照公司數據管理辦法,制定相應的數據管理細則。各專業(yè)領域遵從公司辦法、細則,制定符合專業(yè)特色的相關制度文件。數據管理辦法:明確數據管理組織架構,及各方工作職責;明確數據職能領域劃分;提出各數據職能領域總體要求數據管理細則:為各數據職能域提供規(guī)范要求,并制定指南,指導專業(yè)領域開展工作專業(yè)領域實施制度:在遵從公司辦法、細則的前提下,各專業(yè)領域可制定符合本領域實際情況、專業(yè)特色實施制度文件、規(guī)范等管理流程各單位在新建系統(tǒng)開發(fā)時,主動設計數據標準,提交到數字化運營中心,由數字化運營中心維護到數據治理工具內。數字化運營中心協(xié)助科創(chuàng)和數字化部收集、整理和管理公司級數據標準,并在數據治理工具中進行數據標準導入、刷新、修改等維護工作。數據標準管理流程主要包括數據標準建立流程、數據標準變更流程、數據標準發(fā)布流程、數據標準落地流程,以及數據標準復審流程五部分數據質量管理流程包括數據質量規(guī)則定義流程、數據質量執(zhí)行與檢查流程、數據質量問題分析流程、數據質量問題整改流程和數據質量評估考核流程五部分主數據管理流程。主數據管理流程包括主數據申請流程、主數據制定流程、主數據發(fā)布流程和主數據推廣與維護流程數據安全管理流程。數據安全管理流程包括數據安全定級流程、數據安全策略設計與發(fā)布流數據架構管理流程包括數據架構設計流程和數據架構實施與治理流程技術支撐技術支撐是保障數據治理框架職能活動有效執(zhí)行及配合組織管理機制正常運轉的工具基礎,它需要提供技術先進、功能完善、運行高效、安全可靠的支撐能力。技術支撐保障體系包括了平臺工具和技術創(chuàng)新兩方面內容,其中,平臺工具則特指用于支撐數據治理各類職能活動的軟件系統(tǒng)及技術工具,而技術創(chuàng)新是指達到建設數據治理目標所準備采取的技術手段、具體步驟、關鍵方法以及對創(chuàng)新方向的研究驗證等。在平臺工具方面,數據治理各類職能活動和組織管理工作都將逐步落實到數據治理管理平臺來支撐,并通過數據治理平臺對接其他相關內部平臺。數據治理平臺在公司信息架構的位置如下:數據治理平臺架構數據治理平臺需要貫徹執(zhí)行元數據驅動架構,將數據治理平臺打造為“數據操作系統(tǒng)”,防止任何直接接觸數據的操作行為,有效控制數據質量和數據安全;同時建立起平臺化運營模式,實現(xiàn)多角色、分環(huán)節(jié)的流水線作業(yè)能力,打造數據工廠,助力公司數據資產應用的規(guī)模化、集約化發(fā)展。技術創(chuàng)新方面,數據治理平臺未來應加大對區(qū)塊鏈、人工智能等研究,如,區(qū)塊鏈技術本質上是一個分布式賬本,建立了一種通過去中心化、去信任的方式集體維護一個可靠數據庫記錄的技術方案,而區(qū)塊鏈技術引入數據治理領域可以帶來一種全新的“可信數據治理”模式,使得數據治理價值更為明確,推動數據生產效率的提升、數據應用創(chuàng)新的不斷突破。再如,對于人工智能的引入,則可以借助深度學習手段來構建數據質量規(guī)則,用技術來管控數據,更好的應對海量數據增長的需求,而借助知識圖譜等認知技術,則能夠在數據治理的同時,預先發(fā)現(xiàn)數據主體上的內在關系,提升數據分析應用的效率。實施路徑規(guī)劃數據治理是一項長期、持續(xù)迭代的工作,需要業(yè)務部門主導,才能保證數據治理工作的全面落地,此項工作開展的總體策略為:“總體規(guī)劃、分

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論