1、.wd.wd.wd.數(shù)據(jù)管控產(chǎn)品規(guī)格說明書引言編寫目的本文檔作為數(shù)據(jù)管控產(chǎn)品體系(元數(shù)據(jù)和數(shù)據(jù)質(zhì)量管理)的產(chǎn)品方案說明書，介紹元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的解決方案。工程背景經(jīng)過多年建設(shè)，企業(yè)一般已經(jīng)初步建成了各類管理信息系統(tǒng)，雖然在運用和分析數(shù)據(jù)支持經(jīng)營決策方面已初見成效，但是比照戰(zhàn)略開展要求和國內(nèi)外最正確實踐經(jīng)歷，還是存在數(shù)據(jù)管控水平不高，以及配套體系建設(shè)相對滯后的問題。為解決這些問題，企業(yè)會做種種努力，但由于未采用系統(tǒng)性的管控治理，數(shù)據(jù)問題并未能從 基本上解決，阻礙了企業(yè)管理精細(xì)化的進程。參考國內(nèi)外同業(yè)先進理念、做法，一般會從數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型、數(shù)據(jù)分布、數(shù)據(jù)安全、數(shù)據(jù)生命周期管理等6個方

2、面，采用全面規(guī)劃、分步實施的策略，分階段有序推進數(shù)據(jù)管控工程建設(shè)， 包括構(gòu)建統(tǒng)一的數(shù)據(jù)管控制度體系、優(yōu)化數(shù)據(jù)管控流程、實施有針對性的數(shù)據(jù)管控配套系統(tǒng)建設(shè) ，實現(xiàn)對數(shù)據(jù)資產(chǎn)的全面管理和深度利用，進而提升數(shù)據(jù)資產(chǎn)管理水平和信息服務(wù)水平，形成差異化的競爭優(yōu)勢和核心競爭力。方案概述方案目標(biāo)本方案主要完成以下工作：完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的引進、集成部署和客戶化定制；完成風(fēng)險相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)在元數(shù)據(jù)管理系統(tǒng)的落地；完成風(fēng)險相關(guān)數(shù)據(jù)質(zhì)量的評估及數(shù)據(jù)質(zhì)量評估分析模型的開發(fā)。完成其他業(yè)務(wù)需求中明確的試點系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布和質(zhì)量評估落地工作。工程范圍實施內(nèi)容元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)相關(guān)根

3、基性工作根據(jù)業(yè)務(wù)需求，結(jié)合企業(yè)現(xiàn)有系統(tǒng)的情況，制定具體工程實施方案，確保能完成相關(guān)咨詢成果在系統(tǒng)內(nèi)的部署和設(shè)置。完成系統(tǒng)接口設(shè)計、系統(tǒng)架構(gòu)設(shè)計和形成實施所需的需求規(guī)格化文檔等工作。完成產(chǎn)品的集成安裝和初步調(diào)試工作。假設(shè)提供的軟硬件配置建議書不能完全滿足企業(yè)軟硬件選型需要的，需要協(xié)助事先完成必要的產(chǎn)品測試工作，確定最終的系統(tǒng)軟硬件配置清單。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的客制化開發(fā)實施根據(jù)企業(yè)的業(yè)務(wù)需求，對產(chǎn)品或應(yīng)用進展客制化實施。根據(jù)對業(yè)務(wù)、技術(shù)元數(shù)據(jù)進展抽取和加載，在系統(tǒng)中建設(shè)元數(shù)據(jù)之間的映射關(guān)系。根據(jù)評分模型對評分卡進展客制化開發(fā)，并能將評分結(jié)果數(shù)據(jù)在第三方報表平臺上展現(xiàn)。本階段需要

4、完成系統(tǒng)的概要設(shè)計、詳細(xì)設(shè)計；完成數(shù)據(jù)接口設(shè)計和數(shù)據(jù)ETL工作；完成產(chǎn)品的配置，應(yīng)用和報表的客制化開發(fā)等。產(chǎn)品客戶化過程中，出現(xiàn)在場人員無法解決的技術(shù)或產(chǎn)品問題時，投標(biāo)人應(yīng)及時組織國內(nèi)國外資源，快速解決問題，不能因此對工程進度造成影響。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的測試完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的各類測試工作，包括：單元測試、集成測試、壓力測試和協(xié)助用戶測試，測試工作需要符合企業(yè)測試標(biāo)準(zhǔn)要求。單元測試和集成測試的主要工作是：制定測試策略和方案、準(zhǔn)備測試案例和數(shù)據(jù)、執(zhí)行各類測試案例(含功能測試、接口測試、報表測試、系統(tǒng)管理和非功能性需求測試等)、分析測試結(jié)果、針對測試問題進

5、展回歸測試。壓力測試的主要工作是：制定測試策略和方案、準(zhǔn)備測試案例和數(shù)據(jù)、執(zhí)行性能測試案例、分析測試結(jié)果、針對測試問題進展回歸測試，完成系統(tǒng)調(diào)優(yōu)工作。用戶測試的主要內(nèi)容是：做好測試數(shù)據(jù)準(zhǔn)備工作，并協(xié)助完成測試。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的上線和試運行完成元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)的上線和試運行工作。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)上線的相關(guān)事宜，主要包括：確定系統(tǒng)軟硬件、完成系統(tǒng)整體部署(含集成部署)、調(diào)試和調(diào)優(yōu)、完成系統(tǒng)的初始化工作。完成符合企業(yè)標(biāo)準(zhǔn)的上線和移交文檔。編寫用戶操作手冊、業(yè)務(wù)手冊、系統(tǒng)操作手冊等。元數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)質(zhì)量評估管理系統(tǒng)試運行相關(guān)工作，主要包

6、括：試運行實施規(guī)劃、試運行過程中的問題整理和處理、試運行結(jié)果分析等。維護系統(tǒng)、明確系統(tǒng)應(yīng)急處理機制并演練等。方案概述數(shù)據(jù)管控系統(tǒng)建設(shè)方案元數(shù)據(jù)產(chǎn)品MetaOne系統(tǒng)和數(shù)據(jù)質(zhì)量系統(tǒng)QualityOne，并結(jié)合專業(yè)的業(yè)務(wù)和技術(shù)團隊，旨在建設(shè)一套符合企業(yè)數(shù)據(jù)管控體系建設(shè)需求的數(shù)據(jù)管控體系系統(tǒng)。數(shù)據(jù)管控體系建設(shè)工程依托元數(shù)據(jù)和數(shù)據(jù)質(zhì)量管理體系，旨在建設(shè)一套符合企業(yè)特色的數(shù)據(jù)管控體系系統(tǒng)，本工程實施主要完成數(shù)據(jù)管控系統(tǒng)咨詢成果落地工作，通過數(shù)據(jù)標(biāo)準(zhǔn)配置；指標(biāo)標(biāo)準(zhǔn)管理及分析預(yù)警；元數(shù)據(jù)獲取和調(diào)度；數(shù)據(jù)質(zhì)量分析和預(yù)警展示和數(shù)據(jù)探查分析和預(yù)警等模塊，全方位全角度展示企業(yè)系統(tǒng)平臺技術(shù)和業(yè)務(wù)元數(shù)據(jù)分析，最終，實現(xiàn)

7、數(shù)據(jù)質(zhì)量監(jiān)控預(yù)警。總體方案系統(tǒng)架構(gòu)總體系統(tǒng)架構(gòu)數(shù)據(jù)管控體系建設(shè)平臺實施方案采用雙模式進展調(diào)度配置，為保證第一時間有效監(jiān)控業(yè)務(wù)風(fēng)險相關(guān)業(yè)務(wù)指標(biāo)監(jiān)控情況，因此，總體方案中，首先采用企業(yè)數(shù)據(jù)倉庫平臺調(diào)度平臺優(yōu)先監(jiān)控風(fēng)險相關(guān)業(yè)務(wù)指標(biāo)信息,其次元數(shù)據(jù)管理產(chǎn)品內(nèi)部調(diào)度機制，加載相關(guān)平臺，關(guān)系數(shù)據(jù)庫(應(yīng)用業(yè)務(wù)數(shù)據(jù)和技術(shù)業(yè)務(wù)數(shù)據(jù))和數(shù)據(jù)模型等元數(shù)據(jù)信息。信息交付層：主要展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量成果信息，展示方式主要通過都必須通過AD域驗證(統(tǒng)一認(rèn)證平臺)，信息訪問通過報表平臺BIEE和元數(shù)據(jù)系統(tǒng)內(nèi)部展示平臺展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量分析預(yù)警信息。應(yīng)用層：主要提供企業(yè)BIEE報表系統(tǒng)展示的數(shù)據(jù)接口，展示業(yè)務(wù)客戶需要的業(yè)務(wù)

8、元數(shù)據(jù)信息。系統(tǒng)管理層：主要描述MetaOne和QualityOne為用戶提供 基本功能完善的元數(shù)據(jù)倉儲管理平臺，并支持基于平臺的應(yīng)用服務(wù)定制。豐富的調(diào)用接口和強大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上，劃分為存儲層、 基本功能層、接口層、應(yīng)用層。數(shù)據(jù)獲取層：主要描述系統(tǒng)獲取元數(shù)據(jù)方式有兩種觸發(fā)方式，為實現(xiàn)監(jiān)控風(fēng)險相關(guān)業(yè)務(wù)指標(biāo)，系統(tǒng)將采用局部任務(wù)配置在調(diào)度平臺調(diào)度；其他數(shù)據(jù)獲取方式將采用MetaOne定時觸發(fā)和依賴滿足觸發(fā)任務(wù)，將所需的業(yè)務(wù)指標(biāo)數(shù)據(jù)和平臺技術(shù)數(shù)據(jù)安裝標(biāo)準(zhǔn)加載至平臺內(nèi)部。源數(shù)據(jù)層：主要描述數(shù)據(jù)管控體系的數(shù)據(jù)源信息，包括標(biāo)準(zhǔn)格的業(yè)務(wù)元數(shù)據(jù)；鏡像業(yè)務(wù)系統(tǒng)關(guān)系數(shù)據(jù)庫；E

9、TL系統(tǒng)標(biāo)準(zhǔn)元數(shù)據(jù)信息；平臺相關(guān)技術(shù)元數(shù)據(jù)信息；模型設(shè)計文件元數(shù)據(jù)和咨詢涉及的其他標(biāo)準(zhǔn)元數(shù)據(jù)文件成果。物理系統(tǒng)架構(gòu)數(shù)據(jù)管控體系系統(tǒng)物理架構(gòu)采用應(yīng)用服務(wù)和數(shù)據(jù)庫服務(wù)器獨立方式設(shè)計，同時，兩臺服務(wù)器具體內(nèi)部互補自動切換功能，有效防止由其他因素導(dǎo)致的系統(tǒng)癱瘓。系統(tǒng)數(shù)據(jù)流程下面展示元數(shù)據(jù)和數(shù)據(jù)質(zhì)量系統(tǒng)數(shù)據(jù)流程圖示如下：網(wǎng)絡(luò)和安全MetaOne元數(shù)據(jù)系統(tǒng)部署于企業(yè)的業(yè)務(wù)網(wǎng)段，通過代理將應(yīng)用服務(wù)器地址反向映射辦公網(wǎng)段，僅開通WEB服務(wù)端口，向位于辦公網(wǎng)段的業(yè)務(wù)管理用戶提供服務(wù)；其他業(yè)務(wù)系統(tǒng)的接入均在企業(yè)的業(yè)務(wù)網(wǎng)段內(nèi)，與外部環(huán)境隔離。開放的Internet標(biāo)準(zhǔn)系統(tǒng)建設(shè)在開放的Internet標(biāo)準(zhǔn)之上，例如：

10、SSL，HTTP，XML，TCP/IP，SOAP，支持多層次的客戶機/服務(wù)器體系構(gòu)造，其通過TCI組件支持多種報文的傳輸、組包、解包；利用web service實現(xiàn)與異構(gòu)系統(tǒng)之間的數(shù)據(jù)交換。可以成功運行在支持Java虛擬機的各種操作系統(tǒng)及相應(yīng)的各種硬件平臺上，符合信息技術(shù)的開展方向，具備廣泛的應(yīng)用前景。系統(tǒng)層安全系統(tǒng)層安全主要針對系統(tǒng)的操作系統(tǒng)和數(shù)據(jù)庫等軟件平臺進展安全防護，其主要采用的措施如下： 安裝系統(tǒng)的安全補丁Patch。 關(guān)閉不需要的進程服務(wù)和端口。 使用漏洞掃描產(chǎn)品，定期進展安全掃描及時發(fā)現(xiàn)問題并采取補救措施。 定期審核系統(tǒng)配置，防止因配置不當(dāng)造成的權(quán)限管理混亂。業(yè)務(wù)安全控制通過安全

11、代理前置設(shè)備、防火墻等系統(tǒng)來保證系統(tǒng)的安全性，以及通過負(fù)載均衡來保證系統(tǒng)的高可用性，這只是從網(wǎng)絡(luò)環(huán)境和系統(tǒng)構(gòu)造的角度保證系統(tǒng)的安全，整個系統(tǒng)的安全性應(yīng)該是一個多層次的概念。主要考慮一下幾個方面：關(guān)鍵操作有詳細(xì)的操作記錄可查。 登錄系統(tǒng)日志的安全審計多維的交易權(quán)限管理機制，關(guān)鍵操作提供多重授權(quán)功能。對于管理端的關(guān)鍵數(shù)據(jù)設(shè)置提供嚴(yán)格的復(fù)核機制，以保證數(shù)據(jù)的正確性、合法性。會話管理Session：與應(yīng)用服務(wù)器的會話管理結(jié)合，實現(xiàn)多種會話的建設(shè)和管理，讓不同的會話采用統(tǒng)一的管理機制。同時實現(xiàn)會話的超時管理，有效防范防止操作人員使用已經(jīng)失效的會話進展誤操作，同時防止垃圾會話數(shù)據(jù)占用內(nèi)存，影響系統(tǒng)性能甚至

12、使系統(tǒng)無法工作。統(tǒng)一身份認(rèn)證針對統(tǒng)一身份認(rèn)證系統(tǒng)的要求，系統(tǒng)采取一種適用針對于WebLogic Server的、簡潔的、有效可行的統(tǒng)一認(rèn)證即單點登陸(SSO)解決方案。這個方案以集中統(tǒng)一的用戶信息為根基，但不包括上節(jié)說明的權(quán)限管理，而僅僅提供一個身份驗證的服務(wù)。實現(xiàn)SSO的本義。在SSO幫助用戶完成身份驗證后，由系統(tǒng)本身的權(quán)限管理進展用戶行為的進一步控制。這樣不僅完成了用戶帳號的集中管理，又不失原有系統(tǒng)靈活的權(quán)限控制。而且方案簡單可行，不需要對原有應(yīng)用做較大更改，適合快速解決Single Sign-On問題，符合行內(nèi)系統(tǒng)的要求。其主要采用SAML Browser Post Profile方案，

13、通過推模式獲取SAML Token，由Identity Provider推Assertion到Service Provider.而后驗證Assertion將用戶重新定向到目標(biāo)URL。系統(tǒng)災(zāi)備為了保障對數(shù)據(jù)處理的高可靠性和高可用性，系統(tǒng)需要具有較好的實時備份和災(zāi)難恢復(fù)能力。系統(tǒng)采用SQL SERVER 2008數(shù)據(jù)庫服務(wù)器支持的雙機熱備容錯方案來實現(xiàn)系統(tǒng)的備份策略，由兩臺機器共享一個磁盤陣列共享磁盤組，當(dāng)其中一臺機器發(fā)生故障時，另外一臺機器接收整個磁盤陣列，從而實現(xiàn)雙機容錯。如以以下圖：方案細(xì)化產(chǎn)品功能元數(shù)據(jù)元數(shù)據(jù)產(chǎn)品MetaOne采用高內(nèi)聚、低耦合的組件式產(chǎn)品架構(gòu)，豐富功能組件，為客戶搭建功能

14、強大的元數(shù)據(jù)管理平臺。向用戶全面開放元數(shù)據(jù)功能調(diào)用接口，并提供整套實施方法論。使用戶在完成元數(shù)據(jù)管理、維護等根基功能的同時，方便實現(xiàn)二次開發(fā)，滿足行業(yè)應(yīng)用的針對性需求。 基本管理平臺MetaOne Platform由元數(shù)據(jù)倉儲、Web應(yīng)用程序、元數(shù)據(jù)接口層、統(tǒng)一數(shù)據(jù)源管理客戶端、元模型操控臺以及元數(shù)據(jù) 基本維護管理功能組成的組件集合，是MetaOne產(chǎn)品的 基本功能集。元數(shù)據(jù)存儲庫MetaData Repository基于關(guān)系數(shù)據(jù)庫的元數(shù)據(jù)存儲庫，用于實現(xiàn)元數(shù)據(jù)的物理存儲。元數(shù)據(jù) 基本維護界面MetaOne WebAPPB/S構(gòu)造的Web管理程序，實現(xiàn)用戶對元數(shù)據(jù)的一般管理、維護操作。對外服務(wù)

15、接口MetaOne InterfaceMOI一組基于Java RMI的API集合，內(nèi)容包括對元數(shù)據(jù)、元模型的所有 基本操作，配套提供使用方法論，使用戶方便調(diào)用，實現(xiàn)二次應(yīng)用開發(fā)。元數(shù)據(jù)獲取器MetaData Integration BridgeMIB數(shù)據(jù)源管理平臺，對所有連接系統(tǒng)的數(shù)據(jù)源進展統(tǒng)一管理，實現(xiàn)數(shù)據(jù)源元數(shù)據(jù)的抽取和元數(shù)據(jù)向MetaData Repository的導(dǎo)入。元模型管理控制操作臺MetaOne Console元模型操控臺，用戶通過操控臺實現(xiàn)元模型建模。根基應(yīng)用分析元數(shù)據(jù)的 基本維護管理功能高級應(yīng)用分析通過元數(shù)據(jù)接口，調(diào)用元數(shù)據(jù)及相應(yīng)功能，針對行業(yè)需求開發(fā)的應(yīng)用。功能特性Met

16、aOne的產(chǎn)品理念，是為用戶提供 基本功能完善的元數(shù)據(jù)倉儲管理平臺，并支持基于平臺的應(yīng)用服務(wù)定制。豐富的調(diào)用接口和強大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上，劃分為存儲層、 基本功能層、接口層、應(yīng)用層。元數(shù)據(jù)存儲層包含元數(shù)據(jù)存儲庫，負(fù)責(zé)承載不同領(lǐng)域的元模型以及相關(guān)的元數(shù)據(jù)。元數(shù)據(jù) 基本功能層實現(xiàn)系統(tǒng)對元數(shù)據(jù)的 基本功能，針對元數(shù)據(jù)自身的維護和管理。包括元數(shù)據(jù)的維護管理、元模型維護管理，影響分析、血統(tǒng)分析、差異分析等圖形展現(xiàn)功能，元數(shù)據(jù)版本管理、權(quán)限管理、日志管理、質(zhì)量管理等。接口層MOI為MetaOne提供的元數(shù)據(jù)接口集合，供二次開發(fā)對系統(tǒng)各類數(shù)據(jù)、功能的調(diào)用。應(yīng)用層通過MOI

17、接口層與元數(shù)據(jù)存儲層實現(xiàn)連接的局部屬于應(yīng)用層。包含兩個方面，Metaone提供的功能組件MO Console和MIB，以及針對不用同的具體需求開發(fā)的應(yīng)用功能。數(shù)據(jù)流程MetaOne元數(shù)據(jù)管理系統(tǒng)將涵蓋系統(tǒng)數(shù)據(jù)處理流程各個環(huán)節(jié)的數(shù)據(jù)構(gòu)造等信息讀取進來，包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫構(gòu)造、數(shù)據(jù)模型、業(yè)務(wù)應(yīng)用、前端展示和門戶管理等，并參加業(yè)務(wù)規(guī)那么的描述和業(yè)務(wù)量值的內(nèi)涵，下面圖示詳細(xì)介紹數(shù)據(jù)獲取流程信息：數(shù)據(jù)獲取MetaOne元數(shù)據(jù)管理系統(tǒng)的元數(shù)據(jù)管理范圍，涵蓋系統(tǒng)數(shù)據(jù)處理流程各個環(huán)節(jié)，各個環(huán)節(jié)中數(shù)據(jù)源所能提供的數(shù)據(jù)類型、構(gòu)造都需要相對應(yīng)的元數(shù)據(jù)獲取方法。MetaOne元數(shù)據(jù)管理系統(tǒng)提供統(tǒng)一的數(shù)

18、據(jù)源管理平臺，平臺中集成了針對不同數(shù)據(jù)類型的元數(shù)據(jù)獲取功能插件，可以將包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫構(gòu)造、數(shù)據(jù)模型、業(yè)務(wù)應(yīng)用、前端展示和門戶管理等數(shù)據(jù)源進展統(tǒng)一管理，實現(xiàn)元數(shù)據(jù)的自動獲取。MetaOne提供元數(shù)據(jù)整合獲取平臺元數(shù)據(jù)集成橋Metadata Integration Bridge，元數(shù)據(jù)集成橋，提供自動獲取、手工獲取兩種元數(shù)據(jù)獲取功能，自動獲取主流BI工具的元數(shù)據(jù)或手工獲取XMI/Excel文件中的元數(shù)據(jù)。MIB具備強大的管理能力和可擴展性，能夠?qū)ψ詣荧@取的數(shù)據(jù)源進展管理，能夠提供自動獲取的框架，在此框架可以擴展自動獲取的適配器；對元數(shù)據(jù)的自動獲取提供持續(xù)穩(wěn)定的調(diào)度支持，能夠按預(yù)

19、設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動獲取過程，同時支持對自動獲取過程的日志記錄。MIB體系架構(gòu)如以以下圖所示：MIB數(shù)據(jù)接口元數(shù)據(jù)集成橋能夠自動獲取主流BI工具的元數(shù)據(jù)，并支持通過對SQL腳本、TCL腳本的詞法、語法和語義分析，生成滿足CWM標(biāo)準(zhǔn)要求的數(shù)據(jù)處理元數(shù)據(jù)，存儲到MetaOne中進展統(tǒng)一管理。通過MIB，MetaOne可自動獲取系統(tǒng)工程的相關(guān)工具所涉及的元數(shù)據(jù)，確保元數(shù)據(jù)及時更新與業(yè)務(wù)系統(tǒng)同步，減少人為的手工梳理過程。MIB技術(shù)特點元數(shù)據(jù)集成橋通過把不同數(shù)據(jù)源的元數(shù)據(jù)抽取、轉(zhuǎn)換到統(tǒng)一的元數(shù)據(jù)系統(tǒng)中，能夠?qū)崿F(xiàn)企業(yè)級的元數(shù)據(jù)整合、集中和統(tǒng)一，提升系統(tǒng)的元數(shù)據(jù)管理水平，其技術(shù)特點如下：跨平臺：

20、服務(wù)器支持Windows、Unix、Linux(Windows 20002003，Linux，IBM AIX，SUN Solaris)，RCP Client支持Windows、Linux、Mac OS X系統(tǒng)；兼容性：數(shù)據(jù)存儲于主流關(guān)系型數(shù)據(jù)庫系統(tǒng)，支持Oracle，DB2，SQL Server等；靈活及易用性：元數(shù)據(jù)集成橋提供了友好的圖形界面，用戶只需要配置相應(yīng)的參數(shù)就可以完成本次導(dǎo)入。用戶可以選擇需要導(dǎo)入的對象列表，設(shè)置過濾規(guī)那么，選擇元數(shù)據(jù)的根節(jié)點，無需要編程就能夠完成各省的特性化需要。主流開放性：100%JAVA、按J2EE模式構(gòu)建、基于RCP Client的客戶端架構(gòu)，采用XML R

21、PC 和 JSON RPC通信方式，支持各類編程語言開發(fā)的分布式應(yīng)用程序間的通信，如C、JAVA、Perl、PHP、.N等；全中文化和國際化：界面操作全部顯示中文。可以根據(jù)需要按照區(qū)域化的配置顯示客戶熟悉的語言。后臺自動調(diào)度： 通過后臺調(diào)度自動定期執(zhí)行導(dǎo)入作業(yè)。支持增量導(dǎo)入和自動關(guān)系維護：同一個數(shù)據(jù)源屢次導(dǎo)入時，可以支持以增量方式進展導(dǎo)入。減少數(shù)據(jù)處理量，提高效率。自動關(guān)系維護：通過元數(shù)據(jù)的屬性或者解析SQL的方式，能夠自動的建設(shè)元數(shù)據(jù)之間的關(guān)系。支持大數(shù)據(jù)量： 為了能夠支持超大數(shù)據(jù)量200M的元數(shù)據(jù)導(dǎo)入，系統(tǒng)優(yōu)化了XML解析和數(shù)據(jù)比較，并且支持多個Java虛擬機JVM的數(shù)據(jù)導(dǎo)入，最大限度的利

22、用了硬件系統(tǒng)的資源。數(shù)據(jù)模型元數(shù)據(jù)管理系統(tǒng)具有獨立的元模型管理控制平臺，實現(xiàn)元模型的建設(shè)、關(guān)系的維護等功能。元模型架構(gòu)支持國際CWM標(biāo)準(zhǔn)、提供行業(yè)預(yù)定義元模型、支持用戶按需完全定制，從而保障用戶隨著時間推移對更多種類元數(shù)據(jù)的管理需要，以及完善現(xiàn)有元數(shù)據(jù)定義的需要，能滿足企業(yè)中長期開展的需求，提高投資回報率。元模型管理功能包括：提供圖形化元模型管理控制臺Console支持元模型的增加、刪除、修改等 基本操作支持標(biāo)準(zhǔn)的CWM元模型支持元模型擴展和自定義支持繼承、關(guān)聯(lián)、依賴等 基本關(guān)系類型支持關(guān)系類型擴展支持多業(yè)務(wù)領(lǐng)域Domain支持跨業(yè)務(wù)領(lǐng)域的元模型差異分析以XML格式對元模型進展導(dǎo)入導(dǎo)出數(shù)據(jù)質(zhì)量

23、數(shù)據(jù)質(zhì)量評估體系數(shù)據(jù)質(zhì)量評估體系主要由兩局部組成：數(shù)據(jù)質(zhì)量評估維度和數(shù)據(jù)質(zhì)量加權(quán)計分卡：數(shù)據(jù)質(zhì)量根基評估維度是指對數(shù)據(jù)質(zhì)量進展定量或定性評估時所采用的描述數(shù)據(jù)質(zhì)量不同方面特性的評價標(biāo)準(zhǔn)。數(shù)據(jù)質(zhì)量加權(quán)計分卡是在數(shù)據(jù)質(zhì)量評估維度的根基上，根據(jù)業(yè)務(wù)關(guān)鍵性對各類維度進展權(quán)重設(shè)定并計算形成數(shù)據(jù)質(zhì)量評分。數(shù)據(jù)質(zhì)量根基評估維度根據(jù)數(shù)據(jù)用戶對數(shù)據(jù)質(zhì)量的關(guān)注點不同，數(shù)據(jù)質(zhì)量特征可分為兩類：數(shù)據(jù)內(nèi)容質(zhì)量和數(shù)據(jù)展示質(zhì)量。兩類數(shù)據(jù)質(zhì)量特征分別具有一套數(shù)據(jù)質(zhì)量的根基評估維度。數(shù)據(jù)內(nèi)容質(zhì)量評估維度：數(shù)據(jù)展示質(zhì)量評估維度：數(shù)據(jù)質(zhì)量加權(quán)計分卡數(shù)據(jù)質(zhì)量加權(quán)評估計分是根據(jù)數(shù)據(jù)質(zhì)量評估維度、被評估數(shù)據(jù)的技術(shù)特性和業(yè)務(wù)特性等等要素對

24、數(shù)據(jù)進展分類，對不同類型進展權(quán)重值設(shè)置，對根據(jù)各類數(shù)據(jù)質(zhì)量評估維度得出的根基評估量化值進展加權(quán)計算并最終得到數(shù)據(jù)質(zhì)量綜合水平計分的過程。具體分類方式如下：數(shù)據(jù)質(zhì)量評估維度分類：將上述的根基評估維度進展進一步分類，可得到數(shù)據(jù)質(zhì)量六個方面的特性，即：合理性、一致性、及時性、完整性、唯一性和準(zhǔn)確性。數(shù)據(jù)技術(shù)特性分類：根據(jù)數(shù)據(jù)的來源不同，可以分為根基數(shù)據(jù)、數(shù)據(jù)倉庫匯總數(shù)據(jù)、應(yīng)用層數(shù)據(jù)等。數(shù)據(jù)業(yè)務(wù)特性分類：可以根據(jù)業(yè)務(wù)條線對數(shù)據(jù)進展分類，如市場風(fēng)險數(shù)據(jù)、信貸風(fēng)險數(shù)據(jù)、操作風(fēng)險數(shù)據(jù)等。對不同分類設(shè)置權(quán)值后，即可進展數(shù)據(jù)質(zhì)量水平的加權(quán)計算。數(shù)據(jù)質(zhì)量加權(quán)計分卡的總體設(shè)計思路示意圖如下所示：數(shù)據(jù)質(zhì)量加權(quán)計分卡功

25、能框架數(shù)據(jù)質(zhì)量組件包含兩塊內(nèi)容：規(guī)那么制定，質(zhì)量評估。規(guī)那么制定是基于咨詢數(shù)據(jù)標(biāo)準(zhǔn)的導(dǎo)入，也包含企業(yè)后續(xù)對數(shù)據(jù)質(zhì)量規(guī)那么的制定數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)接口，元數(shù)據(jù)規(guī)那么等；質(zhì)量評估那么是對規(guī)那么結(jié)果的調(diào)整，通過數(shù)據(jù)評估，制定一整套數(shù)據(jù)質(zhì)量管理流程，便于對數(shù)據(jù)進展修正，對業(yè)務(wù)規(guī)那么進展合并，清理，更好得服務(wù)決策和分析。質(zhì)量管理數(shù)據(jù)質(zhì)量管理系統(tǒng)通過對KPI指標(biāo)信息進展采集，對監(jiān)控規(guī)那么進展設(shè)置，對異常信息進展告警，出具數(shù)據(jù)質(zhì)量報告等功能，可以滿足企業(yè)對高管系統(tǒng)KPI指標(biāo)進展監(jiān)控的需求。對于數(shù)據(jù)質(zhì)量管理來說，對規(guī)那么的靈活設(shè)置，對任務(wù)的及時反響，對結(jié)果的評估，以及和第三方工具嚴(yán)密集合是一個產(chǎn)品成敗的關(guān)鍵。對于

26、數(shù)據(jù)質(zhì)量流程，一般框架如下：存儲管理數(shù)據(jù)質(zhì)量管理系統(tǒng)定義了支撐數(shù)據(jù)質(zhì)量監(jiān)控功能并符合CWM標(biāo)準(zhǔn)的元模型構(gòu)造，包括監(jiān)控對象、采集項、采集規(guī)那么以及監(jiān)控規(guī)那么等。其中所涉及的元數(shù)據(jù)信息如監(jiān)控對象信息，需要從元數(shù)據(jù)管理系統(tǒng)獲取。質(zhì)量管理人員也可以創(chuàng)立新的元數(shù)據(jù)，來滿足質(zhì)量監(jiān)控的需要。相關(guān)的質(zhì)量信息存儲在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中。采集管理數(shù)據(jù)質(zhì)量采集模塊由采集服務(wù)器和采集代理組成，采集代理支持分布式部署，采集服務(wù)器對采集代理進展集中管理，支持的功能如下所示： 代理啟動時向服務(wù)器注冊請求，注冊信息包含代理的IP地址、通訊端口、進程ID，啟動時間；代理每個一段時間要向服務(wù)器發(fā)送心跳檢測信號，心跳間隔時間可配置

27、；代理在允許完畢時向服務(wù)器發(fā)送注銷請求；代理可以支持服務(wù)器對代理運行狀態(tài)的查詢；代理在與服務(wù)器中斷連接后可以保存已運行完畢檢查報告和未運行完的任務(wù)狀態(tài)；代理負(fù)責(zé)采集數(shù)據(jù)，將采集的格式化成質(zhì)量平臺的數(shù)據(jù)格式，關(guān)聯(lián)相應(yīng)的監(jiān)控對象；服務(wù)器集中保管所有的采集配置數(shù)據(jù)，代理自動從服務(wù)器獲取相關(guān)的采集信息。規(guī)那么監(jiān)控管理數(shù)據(jù)質(zhì)量管理系統(tǒng)的規(guī)那么包括數(shù)據(jù)采集規(guī)那么、監(jiān)控規(guī)那么以及告警規(guī)那么等，因采集規(guī)那么和告警規(guī)那么相對較簡單。監(jiān)控規(guī)那么存儲在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中，包括規(guī)那么當(dāng)前信息、歷史信息以及變更信息等，具體規(guī)那么可以通過Quality One選擇，也可以通過前端二次開發(fā)，獲取更多的詳細(xì)分析。為了實現(xiàn)監(jiān)

28、控規(guī)那么的靈活調(diào)度及與業(yè)務(wù)分析過程相結(jié)合，規(guī)那么調(diào)度局部支持時間觸發(fā)調(diào)度和規(guī)那么依賴調(diào)度兩種方式，具體說明如下。時間觸發(fā)方式，即按照定時觸發(fā)、循環(huán)觸發(fā)及間隔觸發(fā)的方式對規(guī)那么進展調(diào)度。如以以下圖所示。規(guī)那么依賴調(diào)度，即某規(guī)那么是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足，或某規(guī)那么執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來決定另一個節(jié)點是否執(zhí)行。此調(diào)度方式可支持?jǐn)?shù)據(jù)質(zhì)量問題的逐步探查式分析。告警管理數(shù)據(jù)質(zhì)量采集和檢查過程中發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時，系統(tǒng)會提示某些數(shù)據(jù)或者規(guī)那么超過了指定閥值，系統(tǒng)就對這些數(shù)據(jù)做告警處理。告警流程，可以通過數(shù)據(jù)接口的方式，嵌入到數(shù)據(jù)質(zhì)量管理流程中，便于后續(xù)做進一步的處理。在告警時，客戶

29、需分析查明告警原因，需要具體的明細(xì)數(shù)據(jù)，系統(tǒng)提供界面查詢的接口，也提供后端文件的接口，便于后續(xù)的檢查，也可以用于外部前端接口更深入的分析，或者檢查歷史趨勢。質(zhì)量報告數(shù)據(jù)管理系統(tǒng)提供數(shù)據(jù)質(zhì)量日常管理各種報告，包括數(shù)據(jù)質(zhì)量問題相關(guān)的各種明細(xì)及匯總報告。質(zhì)量報告模塊集成了內(nèi)置的圖形引擎，支持多種圖形的動態(tài)展示，如柱狀圖、餅圖、折線圖等，可輸出數(shù)據(jù)表格與圖形動態(tài)聯(lián)動的各種數(shù)據(jù)質(zhì)量式樣， 也可通過提供外部數(shù)據(jù)接口的方式，輸出復(fù)雜的質(zhì)量報告。質(zhì)量評估數(shù)據(jù)質(zhì)量評估是指依據(jù)數(shù)據(jù)質(zhì)量評估任務(wù)要求，結(jié)合數(shù)據(jù)質(zhì)量探查的結(jié)果，按照一定規(guī)那么，對探查結(jié)果進展統(tǒng)計分析，并形成綜合評估分析結(jié)果的活動，該活動需求包括任務(wù)管理

30、、評估規(guī)那么設(shè)置、評估結(jié)果分析等。數(shù)據(jù)質(zhì)量評估師對指定規(guī)那么設(shè)置后的處理流程，如以以下圖所示一圖為審計流程，二圖為評估處理流程 圖一圖二質(zhì)量探查數(shù)據(jù)剖析功能內(nèi)置豐富的分析評估模型內(nèi)置針對指標(biāo)日常和節(jié)假日波動的閾值分析和優(yōu)化模型、針對指標(biāo)業(yè)務(wù)相關(guān)性的關(guān)聯(lián)波動分析模型、針對問題分布的監(jiān)控覆蓋和規(guī)那么優(yōu)化分析模型等常用分析評估模型，并且可以根據(jù)業(yè)務(wù)需要進展擴大。列分析，對數(shù)據(jù)源表中的字段的值進展統(tǒng)計。比方：最大值，最小值，唯一值個數(shù)，NULL 值的比例，字段類型，長度，字段格式以及數(shù)值分布比例等；連接分析，對兩個表之間的連接列和匹配程度進展分析；鍵值分析，分析和檢查表的中某1列或多列是否符合唯一性約

31、束高級分析功能規(guī)那么管理：支持對數(shù)據(jù)源表中的字段設(shè)置評分權(quán)重，以及配置校驗規(guī)那么；規(guī)那么分類：質(zhì)量監(jiān)控信息進展規(guī)那么校驗、觸發(fā)質(zhì)量告警的計算準(zhǔn)那么，是判斷是否為數(shù)據(jù)質(zhì)量問題的標(biāo)準(zhǔn)，主要包括如下幾類：均差探查一致性校驗規(guī)那么自定義檢查規(guī)那么關(guān)聯(lián)性分析檢查支持度分析數(shù)據(jù)質(zhì)量產(chǎn)品功能需求MetaOne支持度說明系統(tǒng)操作功能100%系統(tǒng)服務(wù)功能100%變更和升級100% 基本功能要求數(shù)據(jù)探查列分析100%連接分析100%鍵值分析100%復(fù)雜規(guī)那么分析100%數(shù)據(jù)準(zhǔn)確性分析100%數(shù)據(jù)一致性分析100%數(shù)據(jù)完整性分析100%數(shù)據(jù)標(biāo)準(zhǔn)性分析100%數(shù)據(jù)參照完整性分析100%其他分析100%質(zhì)量評估定義評估

32、任務(wù)100%跟蹤評估結(jié)果100%評估規(guī)那么設(shè)定100%權(quán)重設(shè)置100%評估計算手工或者自動100%支持第三方100%通過接口方式，需要ETL工作統(tǒng)計報表需求100%用戶權(quán)限管理需求100%安全審計需求100%性能說明100%其他要求100%視情況而定，可以客制化系統(tǒng)調(diào)度數(shù)據(jù)管控體系內(nèi)部任務(wù)調(diào)度機制采用雙模型進展，整體系統(tǒng)調(diào)度集合企業(yè)數(shù)據(jù)倉庫的統(tǒng)一調(diào)度平臺觸發(fā)平臺內(nèi)部調(diào)度機制。系統(tǒng)調(diào)度設(shè)計遵循企業(yè)Automation調(diào)度機制，主要是幫助有效監(jiān)控數(shù)據(jù)管控體系工程中的關(guān)注風(fēng)險系統(tǒng)指標(biāo)規(guī)那么。系統(tǒng)集成MetaOne系統(tǒng)根據(jù)需要靈活地為其他系統(tǒng)、應(yīng)用或平臺所嵌套集成，以滿足業(yè)務(wù)用戶能夠就近訪問操作的需要；MetaOne系統(tǒng)具備該能力，是由于MetaOne采用平臺架構(gòu)，提供強大的API接口，MOIMetaOne Interface是MetaOne根據(jù)多年元數(shù)據(jù)建設(shè)經(jīng)歷，結(jié)合國內(nèi)元數(shù)據(jù)應(yīng)用的實際情況，推出的一套元數(shù)