格式12-8：附件-投標(biāo)技術(shù)方案基于影響電網(wǎng)設(shè)備的自然災(zāi)害及業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換集成技術(shù)方案目錄1概述381.1項(xiàng)目背景382系統(tǒng)集成分析產(chǎn)品392.1建設(shè)目標(biāo)392.2系統(tǒng)邏輯架構(gòu)402.3系統(tǒng)整體框架412.4系統(tǒng)設(shè)計(jì)原則462.5交換平臺(tái)技術(shù)規(guī)范與要求462.6技術(shù)特點(diǎn)472.7系統(tǒng)安全管理472.8系統(tǒng)核心設(shè)計(jì)482.8.1ETL482.8.2系統(tǒng)管理服務(wù)492.8.3系統(tǒng)服務(wù)監(jiān)控502.8.4數(shù)據(jù)服務(wù)502.9數(shù)據(jù)發(fā)布服務(wù)503項(xiàng)目實(shí)施方案50進(jìn)度控制50質(zhì)量管理51機(jī)構(gòu)與任務(wù)51質(zhì)量保證方式51測(cè)試管理52風(fēng)險(xiǎn)管理52項(xiàng)目組織和人員管理53實(shí)施進(jìn)度554售后服務(wù)和培訓(xùn)方案554.1.1售后服務(wù)554.1.2培訓(xùn)方案561 概述1.1 項(xiàng)目背景云南電網(wǎng)隨著電網(wǎng)設(shè)備的增加，以及承載負(fù)荷的不斷上漲，云南電網(wǎng)在多年的業(yè)務(wù)系統(tǒng)建設(shè)過程中，積累了大量影響電網(wǎng)設(shè)備的自然災(zāi)害及業(yè)務(wù)系統(tǒng)數(shù)據(jù)。有效地使用這些數(shù)據(jù)成為系統(tǒng)業(yè)務(wù)發(fā)展和深入的瓶頸，從長遠(yuǎn)的發(fā)展角度來看，需要一套完善的數(shù)據(jù)交換集成、共享和分析機(jī)制，為電網(wǎng)設(shè)備的正常運(yùn)行、電網(wǎng)設(shè)備資產(chǎn)保護(hù)提供大數(shù)據(jù)分析支撐。從數(shù)據(jù)集成本省來看，當(dāng)今數(shù)據(jù)交換集成仍面臨若干關(guān)鍵問題需要解決:1)如何從異構(gòu)的分布式信息系統(tǒng)中讀取數(shù)據(jù),并且高效地將異構(gòu)數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)視圖，建立邏輯模型和物理模型的映射及轉(zhuǎn)換服務(wù)；2)如何進(jìn)行數(shù)據(jù)清洗 完成數(shù)據(jù)在業(yè)務(wù)層上的轉(zhuǎn)換；3)如何拓展數(shù)據(jù)集成的驅(qū)動(dòng)模式提高實(shí)時(shí)性；4)如何建立一個(gè)有效促進(jìn)數(shù)據(jù)整合共享能力的專題數(shù)據(jù)中心。針對(duì)這種分布式異構(gòu)數(shù)據(jù)源的交換集成需求,本文提出了一個(gè)基于ETL(Extract-Transform-Load)即數(shù)據(jù)抽取、轉(zhuǎn)換和加載的集成過程模型。本過程模型采用數(shù)據(jù)提供者讀取數(shù)據(jù),通過元數(shù)據(jù)映射方式完成異構(gòu)數(shù)據(jù)向統(tǒng)一數(shù)據(jù)視圖的轉(zhuǎn)換;針對(duì)轉(zhuǎn)換之后的數(shù)據(jù),通過簡單規(guī)則引擎執(zhí)行對(duì)客戶系統(tǒng)定制 的業(yè)務(wù)規(guī)則來完成數(shù)據(jù)在業(yè)務(wù)層面上的轉(zhuǎn)換。同時(shí)將傳統(tǒng)的數(shù)據(jù)集成的驅(qū)動(dòng)模式任務(wù)調(diào)度,拓展為同時(shí)支持任務(wù)調(diào)度和按需實(shí)時(shí)性事件的雙驅(qū)動(dòng)模式。如何解決上述問題的過程中同時(shí)考慮了數(shù)據(jù)集成的性能,本過程模型通過增量式的數(shù)據(jù)集成和在數(shù)據(jù)庫端運(yùn)行的基于存儲(chǔ)過程的規(guī)則引擎減少了數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)開銷,提高了數(shù)據(jù)集成的性能。從數(shù)據(jù)應(yīng)用的角度來看，除了將數(shù)據(jù)進(jìn)行共享外，還應(yīng)該具備數(shù)據(jù)的分析展現(xiàn)應(yīng)用，分析為用戶提供的對(duì)數(shù)據(jù)價(jià)值發(fā)掘的手段，通過分析，能發(fā)現(xiàn)數(shù)據(jù)背后的價(jià)值，發(fā)現(xiàn)業(yè)務(wù)問題，從而反向來提升部門業(yè)務(wù)水平，支撐業(yè)務(wù)的良性發(fā)展，提高企業(yè)信息化水平。2 系統(tǒng)集成分析產(chǎn)品2.1 建設(shè)目標(biāo)根據(jù)云南電網(wǎng)的需求情況，結(jié)合數(shù)據(jù)交換集成技術(shù)，搭建完善的數(shù)據(jù)集成框架，框架提供數(shù)據(jù)的ETL（數(shù)據(jù)抽取、加載、轉(zhuǎn)換）功能，在框架的支持下，逐漸將質(zhì)監(jiān)的數(shù)據(jù)根據(jù)需求，集中匯總進(jìn)行統(tǒng)一的存儲(chǔ)和管理，并借助數(shù)據(jù)共享平臺(tái)提供對(duì)外服務(wù)，在數(shù)據(jù)分析方面做部分的工作，提供數(shù)據(jù)的一些基本分析功能；為完成系統(tǒng)建設(shè)目標(biāo)，需要對(duì)數(shù)據(jù)集成分析平臺(tái)進(jìn)行全面的分析和規(guī)劃，使之即能夠滿足項(xiàng)目需求，也能夠適應(yīng)未來的發(fā)展趨勢(shì)，有較好的擴(kuò)展性和靈活性，為云南電網(wǎng)長期的數(shù)據(jù)建設(shè)提供保障；2.2 系統(tǒng)邏輯架構(gòu)系統(tǒng)建設(shè)分為五大層次：（1）數(shù)據(jù)源：對(duì)應(yīng)云南電網(wǎng)已有的數(shù)據(jù)源，如組織結(jié)構(gòu)庫、標(biāo)準(zhǔn)題錄庫這種關(guān)系型的數(shù)據(jù)源，數(shù)據(jù)源也可能是非關(guān)系型的數(shù)據(jù)源，如文本文件、Excel數(shù)據(jù)文件等；（2）數(shù)據(jù)預(yù)處理：數(shù)據(jù)的核心處理層次，即ETL，是將數(shù)據(jù)源抽取、轉(zhuǎn)換、裝載到目標(biāo)數(shù)據(jù)倉庫主要層次，ETL是本次項(xiàng)目實(shí)施的重點(diǎn)；（3）數(shù)據(jù)倉庫：項(xiàng)目建設(shè)主要面向明細(xì)級(jí)的數(shù)據(jù)倉庫層次建設(shè)，保證明細(xì)數(shù)據(jù)能夠有效地存儲(chǔ)管理，為數(shù)據(jù)的共享、分析提供數(shù)據(jù)來源；（4）數(shù)據(jù)分析：數(shù)據(jù)分析主要包含多為分析以及更高層次的數(shù)據(jù)挖掘，這是做為系統(tǒng)未來的發(fā)展方向，不做為項(xiàng)目建設(shè)內(nèi)容；（5）數(shù)據(jù)展現(xiàn)：提供數(shù)據(jù)的基本分析展現(xiàn)和數(shù)據(jù)共享功能，本期數(shù)據(jù)展現(xiàn)直接面對(duì)數(shù)據(jù)倉庫層，通過一期數(shù)據(jù)共享平臺(tái)來實(shí)現(xiàn)數(shù)據(jù)的共享，同時(shí)提供基本數(shù)據(jù)查詢功能，實(shí)現(xiàn)明細(xì)級(jí)的數(shù)據(jù)查詢；2.3 系統(tǒng)整體框架結(jié)合質(zhì)監(jiān)現(xiàn)狀很本期建設(shè)重點(diǎn)，考慮到未來的發(fā)展趨勢(shì)，提出質(zhì)監(jiān)數(shù)據(jù)集成及分析系統(tǒng)整體架構(gòu)。本期建設(shè)的重點(diǎn)為ETL部分的建設(shè)，根據(jù)數(shù)據(jù)共享需求，搭建面向明細(xì)級(jí)別數(shù)據(jù)倉庫，這些數(shù)據(jù)主要為第三方提供數(shù)據(jù)共享服務(wù)，系統(tǒng)的所有功能都通過門戶進(jìn)行操作，門戶提供應(yīng)用的統(tǒng)一集成展現(xiàn)，為用戶提供統(tǒng)一的登錄入口；在數(shù)據(jù)處理過程中，需要對(duì)元數(shù)據(jù)進(jìn)行管理；以下對(duì)主要功能進(jìn)行介紹：ETL1） 數(shù)據(jù)抽取抽取主要是針對(duì)各個(gè)業(yè)務(wù)系統(tǒng)及不同網(wǎng)點(diǎn)的分散數(shù)據(jù)，充分理解數(shù)據(jù)定義后，規(guī)劃需要的數(shù)據(jù)源及數(shù)據(jù)定義，制定可操作的數(shù)據(jù)源，制定增量抽取的定義。由于源數(shù)據(jù)往往存儲(chǔ)在多個(gè)地方，有可能是一個(gè)RDMS、一個(gè)文本文件、一個(gè)Excel 文件、一個(gè)DBF 文件或其他類型文件，確定如何抽取或查詢?cè)磾?shù)據(jù)是有一定難度的，連接時(shí)可以通過標(biāo)準(zhǔn)的連接工具比如ODBC 或FTP 等。從設(shè)計(jì)的角度講最好忽視一些連接問題，把主要精力集中在源數(shù)據(jù)如何映射目標(biāo)數(shù)據(jù)上。在數(shù)據(jù)抽取分析時(shí)需要對(duì)業(yè)務(wù)深刻理解，比如企業(yè)需要的一個(gè)數(shù)據(jù)，在源系統(tǒng)中多個(gè)表都有，而ETL只選擇其中一個(gè)，在當(dāng)時(shí)不會(huì)有什么問題，但隨著后續(xù)工作的開展和分析就會(huì)出現(xiàn)意想不到的結(jié)果。所以，ETL從哪一個(gè)源表取數(shù)據(jù)不是隨意的，需要對(duì)多個(gè)數(shù)據(jù)表進(jìn)行業(yè)務(wù)分析，從而確定最終的選擇；2） 數(shù)據(jù)傳輸數(shù)據(jù)傳輸是通過網(wǎng)絡(luò)把遠(yuǎn)程的數(shù)據(jù)文件運(yùn)用FTP傳輸?shù)奖镜啬夸浵隆Ｔ趯?shí)施中，它的步驟如下：a. 初始化參數(shù)表，如間隔時(shí)間、遠(yuǎn)程數(shù)據(jù)文件的存放位置、本地?cái)?shù)據(jù)文件存放路徑，并連接到遠(yuǎn)程主機(jī)上；b. 取遠(yuǎn)程數(shù)據(jù)文件列表，將其取至本地；c. 根據(jù)遠(yuǎn)程數(shù)據(jù)文件列表，生成取數(shù)據(jù)文件的腳本，運(yùn)行此腳本；d. 完成取數(shù)據(jù)操作后，生成取回?cái)?shù)據(jù)的列表，根據(jù)此列表生成刪除遠(yuǎn)程數(shù)據(jù)文件的腳本，運(yùn)行此腳本；e. 將取回的數(shù)據(jù)文件移到指定文件夾中；3） 數(shù)據(jù)裝載數(shù)據(jù)加載主要是將經(jīng)過轉(zhuǎn)換和清洗的數(shù)據(jù)加載到數(shù)據(jù)倉庫里面，即入庫。加載可以通過數(shù)據(jù)文件直接裝載或直連數(shù)據(jù)庫的方式來進(jìn)行，充分體現(xiàn)高效性。數(shù)據(jù)加載有 兩個(gè)部分，一部分是把合法數(shù)據(jù)文件裝入回滾表中，該裝入過程沒有匯總部分；另一部分是把初次匯總表加載到臨時(shí)匯總表，根據(jù)不同類型的數(shù)據(jù)，可能會(huì)有二次匯 總。當(dāng)加載臨時(shí)匯總表的過程完畢以后，再把臨時(shí)中間表的數(shù)據(jù)裝入到中間表中。在實(shí)施中，它的步驟如下： a. 讀取匯總數(shù)據(jù)文件、無需進(jìn)行匯總的源數(shù)據(jù)文件或需以后匯總的源數(shù)據(jù)文件，調(diào)用數(shù)據(jù)文件對(duì)應(yīng)操作配置表，加載到相應(yīng)數(shù)據(jù)表（中間表或回滾表）中； b. 讀取需進(jìn)行實(shí)時(shí)匯總的合法數(shù)據(jù)文件，調(diào)用數(shù)據(jù)文件對(duì)應(yīng)操作配置表，對(duì)數(shù)據(jù)庫進(jìn)行更新操作； c. 程序根據(jù)生成的不同數(shù)據(jù)文件，同時(shí)生成匯總數(shù)據(jù)，同先前步驟的匯總文件進(jìn)行對(duì)比，如出現(xiàn)不一致，提供系統(tǒng)預(yù)警。4） 數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換主要是針對(duì)數(shù)據(jù)倉庫建立的模型，通過一系列的轉(zhuǎn)換將數(shù)據(jù)從業(yè)務(wù)模型數(shù)據(jù)轉(zhuǎn)換為分析模型數(shù)據(jù)，通過內(nèi)建的庫函數(shù)、自定義腳本或其他的擴(kuò)展方式，實(shí)現(xiàn) 多種復(fù)雜轉(zhuǎn)換，并且支持調(diào)試環(huán)境，監(jiān)控轉(zhuǎn)換狀態(tài)。數(shù)據(jù)轉(zhuǎn)換是將源數(shù)據(jù)變?yōu)槟繕?biāo)數(shù)據(jù)的關(guān)鍵環(huán)節(jié)，它包括數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)類型轉(zhuǎn)換、數(shù)據(jù)匯總計(jì)算、數(shù)據(jù)拼接 等等。但轉(zhuǎn)換工作可以視具體情況在不同的過程中實(shí)現(xiàn)，比如可以在數(shù)據(jù)抽取時(shí)轉(zhuǎn)換，也可以在數(shù)據(jù)加載時(shí)轉(zhuǎn)換；5） 任務(wù)調(diào)度對(duì)ETL中抽取、加載、轉(zhuǎn)換任務(wù)的調(diào)度觸發(fā)，ETL過程是要根據(jù)業(yè)務(wù)需要定期的進(jìn)行數(shù)據(jù)處理，任務(wù)調(diào)度的目的就是對(duì)根據(jù)需要定時(shí)執(zhí)行這些任務(wù)的過程，任務(wù)調(diào)度一般按照時(shí)間周期進(jìn)行；6） 資源管理對(duì)系統(tǒng)數(shù)據(jù)資源管理，主要是對(duì)源頭、目標(biāo)數(shù)據(jù)源的管理和維護(hù)，為ETL執(zhí)行提供保障；數(shù)據(jù)倉庫：1） 明細(xì)庫存儲(chǔ)質(zhì)監(jiān)明細(xì)數(shù)據(jù)，默認(rèn)本期實(shí)現(xiàn)對(duì)明細(xì)數(shù)據(jù)的處理，明細(xì)數(shù)據(jù)不僅提供數(shù)據(jù)共享功能，也是未來分析數(shù)據(jù)的基礎(chǔ)，必須要保證明細(xì)數(shù)據(jù)的一致有效；2） 專題庫滿足分析功能的專題庫，也可以是數(shù)據(jù)共享庫，有些數(shù)據(jù)共享需要對(duì)明細(xì)數(shù)據(jù)進(jìn)行處理后進(jìn)行共享，這里的專題庫就是指基于明細(xì)數(shù)據(jù)庫處理后的數(shù)據(jù)內(nèi)容；數(shù)據(jù)分析：1） 多維分析是高級(jí)統(tǒng)計(jì)分析方法之一，就是把一種產(chǎn)品或一種市場(chǎng)現(xiàn)象，放到一個(gè)兩維以上的空間坐標(biāo)上來進(jìn)行分析；多維分析提供的基本功能包含數(shù)據(jù)下鉆、上鉆、切片、旋轉(zhuǎn)等分析手段；2） 報(bào)表分析基本報(bào)表查詢服務(wù)，主要是針對(duì)明細(xì)數(shù)據(jù)的統(tǒng)計(jì)查詢功能；3） 數(shù)據(jù)服務(wù)將倉庫中的數(shù)據(jù)對(duì)外共享，數(shù)據(jù)分析支持以下方式： WebService符合SOAP2.0規(guī)范，支持跨系統(tǒng)、跨開發(fā)環(huán)境的數(shù)據(jù)交換接口形式，核心傳遞內(nèi)容還是XML； XMLXML格式共享數(shù)據(jù)方式，采用HTTP協(xié)議實(shí)現(xiàn)數(shù)據(jù)的共享； JSON面向腳步的數(shù)據(jù)共享格式，是目前Web應(yīng)用中最常見的方式，具有靈活，簡介的特性，比較適合于頁面展現(xiàn)；展現(xiàn)：1） 門戶展現(xiàn)提供門戶的方式訪問系統(tǒng)功能，同時(shí)門戶也具有將其它Web瀏覽器應(yīng)用集成到門戶中，門戶展現(xiàn)具有靈活、統(tǒng)一、擴(kuò)展性強(qiáng)等特點(diǎn)，是目前企業(yè)應(yīng)用頁面集成的主要形式；2） 頁面集成將用戶的功能根據(jù)設(shè)置、全新聚合展現(xiàn)的一種技術(shù)手段，門戶可以實(shí)現(xiàn)跨系統(tǒng)的頁面集成，使得用戶不需要登錄不同的系統(tǒng)就能使用不同系統(tǒng)提供的業(yè)務(wù)功能；3） 單點(diǎn)登錄為了達(dá)到用戶通過門戶就能使用不同系統(tǒng)的功能，需要實(shí)現(xiàn)統(tǒng)一的單點(diǎn)登錄功能，從而達(dá)到用戶信息在不同系統(tǒng)之間的同步，保證用戶登錄的一致性，僅需登錄一次，就可以訪問不同的系統(tǒng)提供的功能；元數(shù)據(jù)管理：元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)，隨著信息技術(shù)的快速向前發(fā)展,元數(shù)據(jù)在數(shù)據(jù)集成及分析過程中起著關(guān)鍵的作用。元數(shù)據(jù)有自己的標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)的主要作用是介紹了元數(shù)據(jù)的組成元素和分類應(yīng)用，提出了一些元數(shù)據(jù)建庫的基本原則，并且給出了基于XML格式的元數(shù)據(jù)管理的設(shè)計(jì)方案。元數(shù)據(jù)管理主要包含元數(shù)據(jù)的編輯、導(dǎo)入導(dǎo)出、查詢和目錄關(guān)聯(lián)管理的功能；系統(tǒng)管理：系統(tǒng)管理基礎(chǔ)功能，系統(tǒng)提供用戶管理、角色管理、權(quán)限管理、日志管理、系統(tǒng)監(jiān)控等基本的管理功能，用戶管理、角色管了、權(quán)限管理實(shí)現(xiàn)基本用戶相關(guān)的管理功能；日志管理記錄系統(tǒng)所有操作信息，并為管理員提供日志查詢統(tǒng)計(jì)功能；系統(tǒng)監(jiān)控為管理員提供系統(tǒng)運(yùn)行情況、ETL作業(yè)運(yùn)行情況、系統(tǒng)資源消耗情況的監(jiān)控；2.4 系統(tǒng)設(shè)計(jì)原則數(shù)據(jù)交換平臺(tái)應(yīng)遵循以下幾個(gè)基本設(shè)計(jì)原則： 穩(wěn)定性原則，不影響現(xiàn)有或其它相關(guān)信息系統(tǒng)的使用和信息安全。 數(shù)據(jù)安全性原則，不能造成數(shù)據(jù)的泄露； 先進(jìn)型原則，保證系統(tǒng)的技術(shù)先進(jìn)性，提高系統(tǒng)的運(yùn)行生命周期； 開發(fā)性原則，系統(tǒng)能投有效地進(jìn)行數(shù)據(jù)的共享； 標(biāo)準(zhǔn)型原則，采用國際通用標(biāo)準(zhǔn)，便于和國際接軌，易于系統(tǒng)擴(kuò)展及升級(jí)； 易用性原則，建立一個(gè)堅(jiān)實(shí)的系統(tǒng)應(yīng)用平臺(tái)，便于系統(tǒng)的管理和維護(hù)，技術(shù)易于更新，網(wǎng)絡(luò)及業(yè)務(wù)規(guī)模可以逐步擴(kuò)展。統(tǒng)一規(guī)劃，分步實(shí)施。2.5 交換平臺(tái)技術(shù)規(guī)范與要求1）數(shù)據(jù)一致性：源頭數(shù)據(jù)和目標(biāo)數(shù)據(jù)需要保持一致，對(duì)于需要進(jìn)行轉(zhuǎn)換的數(shù)據(jù)，如數(shù)據(jù)字典的映射也要保持語義上的一致性；2）接口簡單：數(shù)據(jù)共享接口需要簡單易用，接口滿足常見的調(diào)用需求和業(yè)務(wù)場(chǎng)景；3） 安全可靠的傳輸：數(shù)據(jù)傳輸過程需要安全可靠，數(shù)據(jù)傳遞過程中要保證數(shù)據(jù)沒有被篡改，數(shù)據(jù)傳遞失敗，支持?jǐn)帱c(diǎn)續(xù)傳；4） 高可靠性和高性能：ETL過程中涉及到大數(shù)據(jù)量的傳遞，一般ETL是在業(yè)務(wù)不繁忙的時(shí)候進(jìn)行，所以需要ETL高效，在業(yè)務(wù)空閑期就能將數(shù)據(jù)處理完畢。5）數(shù)據(jù)標(biāo)準(zhǔn)：對(duì)數(shù)據(jù)管理遵循業(yè)界標(biāo)準(zhǔn)，元數(shù)據(jù)管理方面采用CWM元數(shù)據(jù)標(biāo)準(zhǔn)，方便元數(shù)據(jù)的擴(kuò)展和元數(shù)據(jù)交換共享；6）多數(shù)據(jù)源支持，系統(tǒng)抽取過程支持主流的數(shù)據(jù)庫，如Oracle、MySQL、MS SOLServer等；7）有效完善的系統(tǒng)監(jiān)控，提供完善的系統(tǒng)監(jiān)控功能，能夠監(jiān)控主機(jī)運(yùn)行情況、ETL運(yùn)行情況；2.6 技術(shù)特點(diǎn)1) 靈活的ETL調(diào)度功能；2) 多數(shù)據(jù)源支持，滿足主流數(shù)據(jù)庫抽取需要；3) 文件傳輸實(shí)現(xiàn)斷點(diǎn)續(xù)傳；4) 通用的元數(shù)據(jù)管理，滿足CWM規(guī)范；5) 數(shù)據(jù)傳遞過程防篡改驗(yàn)證，數(shù)據(jù)壓縮傳遞；6) 靈活的數(shù)據(jù)轉(zhuǎn)換功能，支持?jǐn)?shù)據(jù)的合并、數(shù)據(jù)字典轉(zhuǎn)移、拆分、格式化操作；7) 靈活的系統(tǒng)管理工具，提供高可用性的用戶交互界面；8) 可視化的調(diào)度管理工具；9) 服務(wù)安全性，服務(wù)調(diào)用的安全驗(yàn)證；10) 增量數(shù)據(jù)抽簽，對(duì)于累加數(shù)據(jù)的增量抽取功能；2.7 系統(tǒng)安全管理安全管理服務(wù)借助于系統(tǒng)安全平臺(tái)提供如下服務(wù)：n U-key驗(yàn)證服務(wù)調(diào)用驗(yàn)證用戶的證書信息，保證調(diào)用請(qǐng)求的合法性；n 權(quán)限管理系統(tǒng)功能、服務(wù)權(quán)限的有效控制；n 角色管理以角色為中心的權(quán)限控制，滿足權(quán)限分配的同時(shí)，降低用戶權(quán)限的直接耦合，增強(qiáng)系統(tǒng)靈活性；n 身份認(rèn)證包含門戶訪問的身份認(rèn)證和服務(wù)調(diào)用的身份認(rèn)證；n 數(shù)字簽名文件傳輸過程中通過數(shù)字簽名，保證文件合法性；2.8 系統(tǒng)核心設(shè)計(jì)2.8.1 ETLETL是本次實(shí)施的重點(diǎn)，決定項(xiàng)目的成敗，在ETL方面對(duì)系統(tǒng)設(shè)計(jì)進(jìn)行細(xì)化：1. 調(diào)度調(diào)度環(huán)節(jié)可引用業(yè)內(nèi)的調(diào)度產(chǎn)品作為調(diào)度引擎，平臺(tái)對(duì)調(diào)度產(chǎn)品能實(shí)現(xiàn)完全兼容，并保證調(diào)度效率和資源的完美平衡；2. 統(tǒng)一調(diào)度接口統(tǒng)一調(diào)度接口作為調(diào)度引擎和ETL作業(yè)的中間層，有以下特點(diǎn)：l 簡化了調(diào)度引擎的作業(yè)調(diào)用：JSI封裝了ETL作業(yè)的運(yùn)行邏輯，各種作業(yè)之間的差異性就在接口中被屏蔽掉，調(diào)度引擎無需過多關(guān)心ETL作業(yè)細(xì)節(jié)的運(yùn)行信息，只需要調(diào)用JSI提供給調(diào)度引擎的統(tǒng)一接口即可； l 動(dòng)態(tài)資源分配：根據(jù)作業(yè)的資源要求以及系統(tǒng)當(dāng)前的資源情況，將作業(yè)組織和分配到合適的ETL-Client節(jié)點(diǎn)(組)運(yùn)行； l 作業(yè)流組織和管理：作業(yè)分組的概念，將一系列相關(guān)的ETL作業(yè)，以作業(yè)流的形式組織起來，確保作業(yè)的有序運(yùn)行； l 統(tǒng)一作業(yè)日志登記和管理； l 作業(yè)檢查：提供作業(yè)的前處理、后處理功能，當(dāng)作業(yè)需要進(jìn)行前處理或后處理操作時(shí)，可以在作業(yè)參數(shù)中配置，使得作業(yè)更具有特色；3. 時(shí)間管理器結(jié)合調(diào)度產(chǎn)品實(shí)現(xiàn)以事件為驅(qū)動(dòng)的數(shù)據(jù)加工架構(gòu)，對(duì)事件進(jìn)行識(shí)別，登記，處理，通知調(diào)度引擎調(diào)起相關(guān)的作業(yè)完成數(shù)據(jù)加工，或通知傳輸模塊將數(shù)據(jù)傳輸給目標(biāo)系統(tǒng)，整個(gè)過程中采用全事件驅(qū)動(dòng)方式運(yùn)行，在低資源使用的基礎(chǔ)上，獲取高效的處理效率；4. 監(jiān)控管理器提供全方位的監(jiān)控和管理，包括數(shù)據(jù)到達(dá)監(jiān)控、數(shù)據(jù)提交監(jiān)控、事件監(jiān)控和手工干預(yù)、調(diào)度監(jiān)控、ETL作業(yè)運(yùn)行日志查詢、資源監(jiān)控、統(tǒng)計(jì)分析報(bào)告等系統(tǒng)管理；2.8.2 系統(tǒng)管理服務(wù)n 系統(tǒng)日志管理記錄系統(tǒng)運(yùn)行交換過程和活動(dòng)，以便進(jìn)行審核，分析。n 系統(tǒng)參數(shù)配置調(diào)整和配置系統(tǒng)的運(yùn)行參數(shù)，以優(yōu)化系統(tǒng)的運(yùn)行性能和進(jìn)行安全管理n 系統(tǒng)狀態(tài)監(jiān)控對(duì)系統(tǒng)中每個(gè)服務(wù)的運(yùn)行狀態(tài)，性能，故障進(jìn)行監(jiān)控。如果發(fā)生性能瓶頸，或系統(tǒng)故障，則會(huì)進(jìn)行報(bào)警，并通知系統(tǒng)管理員。2.8.3 系統(tǒng)服務(wù)監(jiān)控系統(tǒng)提供完備的系統(tǒng)監(jiān)控服務(wù)，及時(shí)體現(xiàn)系統(tǒng)運(yùn)行狀況，當(dāng)系統(tǒng)運(yùn)行過程中發(fā)生異常，系統(tǒng)能夠及時(shí)反饋給管理人員，根據(jù)問題級(jí)別，可以設(shè)置異常信息推送；如可以設(shè)置當(dāng)系統(tǒng)服務(wù)不能正常訪問時(shí)，自動(dòng)向管理人員發(fā)送消息，消息可以是手機(jī)短信或者其他即時(shí)通訊工具；為保證監(jiān)控的有效性，監(jiān)控模塊和系統(tǒng)分類；2.8.4 數(shù)據(jù)服務(wù)在一期的基礎(chǔ)上，增強(qiáng)服務(wù)的安全性，提高服務(wù)的監(jiān)控能力和手段，保證數(shù)據(jù)不被竊取，對(duì)于惡意數(shù)據(jù)訪問，可以及時(shí)切斷并反饋到系統(tǒng)管理人員；2.9 數(shù)據(jù)發(fā)布服務(wù)提供可視化服務(wù)發(fā)布功能，管理員可以根據(jù)專題數(shù)據(jù)庫，發(fā)布用戶需要的各種服務(wù)，服務(wù)可以進(jìn)行權(quán)限控制，服務(wù)支持常見的接口類型，包含WebService、JSON、XML，服務(wù)可以指定有效時(shí)間段，過期服務(wù)自動(dòng)停止，停止的服務(wù)也提供啟動(dòng)功能；在服務(wù)監(jiān)控方面，不見能查看服務(wù)的調(diào)用明細(xì)，也能通過匯總的方式提供服務(wù)的總體調(diào)用情況，以方便管理人員掌握服務(wù)實(shí)際調(diào)用情況；3 項(xiàng)目實(shí)施方案進(jìn)度控制項(xiàng)目進(jìn)度計(jì)劃是項(xiàng)目經(jīng)理最主要的項(xiàng)目進(jìn)度控制工具，在項(xiàng)目進(jìn)度計(jì)劃中包括了關(guān)鍵的里程碑、重大的項(xiàng)目評(píng)審、交付日期、主要任務(wù)和工作需要依靠的條件，等等內(nèi)容。完善的進(jìn)度計(jì)劃為項(xiàng)目協(xié)調(diào)、監(jiān)督工程的進(jìn)度狀況提供依據(jù)。進(jìn)度控制過程的關(guān)鍵要素包括以下幾個(gè)方面：l 反應(yīng)能力：及時(shí)了解項(xiàng)目的進(jìn)度狀況，進(jìn)度報(bào)告方式包括兩個(gè)方面的內(nèi)容，報(bào)告周期和報(bào)告的形式。項(xiàng)目的報(bào)告周期與項(xiàng)目的總周期相關(guān)；而報(bào)告的方式可以采用多種靈活方式。確定報(bào)告方式的原則為：即能及時(shí)掌握項(xiàng)目的進(jìn)展、同時(shí)又不占用過多的資源，l 精確性：應(yīng)在一個(gè)工作地點(diǎn)保持一個(gè)唯一的、并及時(shí)更新的時(shí)間數(shù)據(jù)，反映項(xiàng)目進(jìn)度計(jì)劃和進(jìn)展?fàn)顟B(tài)；l 可見能力：時(shí)間數(shù)據(jù)應(yīng)該廣泛散發(fā)；l 可維護(hù)能力：具備根據(jù)客戶需求調(diào)整、修改項(xiàng)目進(jìn)度計(jì)劃的能力；質(zhì)量管理機(jī)構(gòu)與任務(wù)l 為了高質(zhì)量的完成項(xiàng)目任務(wù)，成立質(zhì)量管理組，其任務(wù)是對(duì)整個(gè)項(xiàng)目質(zhì)量管理。質(zhì)量管理組嚴(yán)格按照ISO9001質(zhì)量體系文件的要求，并按照本計(jì)劃的各項(xiàng)規(guī)定組織和監(jiān)督各項(xiàng)評(píng)審、協(xié)助各部門負(fù)責(zé)人進(jìn)行日常質(zhì)量管理活動(dòng)及變更控制。l 建議成立更改控制組（CCB），由項(xiàng)目經(jīng)理任CCB組長，負(fù)責(zé)工程中重要設(shè)計(jì)和實(shí)施的更改。l 在實(shí)施組內(nèi)成立配置管理小組，負(fù)責(zé)各系統(tǒng)配置管理。在各任務(wù)組設(shè)立系統(tǒng)配置管理員，對(duì)各系統(tǒng)進(jìn)行配置管理。質(zhì)量保證方式我們將采用以下方法實(shí)現(xiàn)質(zhì)量控制和管理的要求：l 評(píng)審和審核：按照本計(jì)劃規(guī)定的評(píng)審時(shí)間進(jìn)行評(píng)審與驗(yàn)證。l 日常質(zhì)量工作檢查：通過周報(bào)、月報(bào)及工作會(huì)議檢查工作進(jìn)展情況，及時(shí)發(fā)現(xiàn)問題解決問題。該項(xiàng)工作由各任務(wù)組按工作計(jì)劃執(zhí)行，工程的項(xiàng)目管理組監(jiān)督和參與管理。測(cè)試管理項(xiàng)目的測(cè)試是一個(gè)獨(dú)立的、關(guān)鍵的階段，也是保證項(xiàng)目質(zhì)量的重要手段，項(xiàng)目測(cè)試過程如下圖所示在測(cè)試過程和完成后，要提交的文檔包含測(cè)試計(jì)劃、測(cè)試說明和測(cè)試報(bào)告。測(cè)試計(jì)劃描述測(cè)試活動(dòng)的范圍、方法、資源和進(jìn)度。它規(guī)定被測(cè)試的項(xiàng)、被測(cè)試的特性、應(yīng)完成的測(cè)試任務(wù)、擔(dān)任各項(xiàng)工作的人員職責(zé)及與本計(jì)劃有關(guān)的風(fēng)險(xiǎn)等。測(cè)試說明包括三類文件：測(cè)試設(shè)計(jì)說明、測(cè)試用例說明、測(cè)試規(guī)程說明，測(cè)試報(bào)告包括四類文件：測(cè)試項(xiàng)傳遞報(bào)告、測(cè)試日志、測(cè)試事件報(bào)告、測(cè)試總結(jié)報(bào)告。風(fēng)險(xiǎn)管理項(xiàng)目風(fēng)險(xiǎn)是所有影響項(xiàng)目目標(biāo)實(shí)現(xiàn)的不確定性因素集合。典型的項(xiàng)目風(fēng)險(xiǎn)包括時(shí)間表過于倉促、人員/技術(shù)能力不足、預(yù)算不確定、組織變化和技術(shù)更新等。項(xiàng)目風(fēng)險(xiǎn)管理就是對(duì)項(xiàng)目風(fēng)險(xiǎn)進(jìn)行識(shí)別、分析和應(yīng)對(duì)的過程，它包括把正面事件影響擴(kuò)大到最大和把負(fù)面影響減少到最小。我們?cè)O(shè)計(jì)了全面的風(fēng)險(xiǎn)管理方案，并已經(jīng)在許多政府和商業(yè)項(xiàng)目中成功應(yīng)用。我們將根據(jù)本項(xiàng)目的具體情況和具體運(yùn)行環(huán)境做出修改，確保本項(xiàng)目能夠按時(shí)在預(yù)算內(nèi)高質(zhì)量順利完成。下圖描述了風(fēng)險(xiǎn)管理方案，該方案涉及五個(gè)互相關(guān)聯(lián)的步驟：編制風(fēng)險(xiǎn)管理計(jì)劃、風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)量化、風(fēng)險(xiǎn)處理和風(fēng)險(xiǎn)控制。階段風(fēng)險(xiǎn)管理計(jì)劃風(fēng)險(xiǎn)識(shí)別風(fēng)險(xiǎn)量化風(fēng)險(xiǎn)處理風(fēng)險(xiǎn)控制所用的方法或工具計(jì)劃會(huì)議檢查表繪制流程圖訪問調(diào)查預(yù)計(jì)貨幣值統(tǒng)計(jì)和模擬決策樹專家評(píng)定應(yīng)急計(jì)劃編制替代方案策略保險(xiǎn)權(quán)變措施附加的風(fēng)險(xiǎn)應(yīng)對(duì)措施開發(fā)風(fēng)險(xiǎn)管理將由項(xiàng)目經(jīng)理根據(jù)風(fēng)險(xiǎn)管理計(jì)劃進(jìn)行控制和總結(jié)，并定期向客戶報(bào)告項(xiàng)目的進(jìn)展情況，并允許客戶對(duì)項(xiàng)目風(fēng)險(xiǎn)和解決辦法有全面的了解。項(xiàng)目組織和人員管理本項(xiàng)目中，將安排強(qiáng)大的技術(shù)隊(duì)伍來確保項(xiàng)目的實(shí)施。項(xiàng)目組結(jié)構(gòu)規(guī)劃如下：項(xiàng)目組成立后即開始運(yùn)作，為清晰定義項(xiàng)目組成員的工作職責(zé)，項(xiàng)目組進(jìn)行職責(zé)細(xì)分如下：l 領(lǐng)導(dǎo)小組主要人員：總經(jīng)理，項(xiàng)目委員會(huì)職責(zé)：保證項(xiàng)目活動(dòng)資源對(duì)項(xiàng)目中不能解決的重大問題予以支持、解決；l 項(xiàng)目負(fù)責(zé)人主要人員：項(xiàng)目經(jīng)理職責(zé)：負(fù)責(zé)項(xiàng)目具體實(shí)施計(jì)劃和人員安排調(diào)度；協(xié)調(diào)解決項(xiàng)目實(shí)施中出現(xiàn)問題；l 項(xiàng)目實(shí)施人員主要人員：系統(tǒng)工程師（CCIE）系統(tǒng)工程師（CCNA）系統(tǒng)工程師（CCNA）職責(zé)：負(fù)責(zé)工程具體實(shí)施操作；對(duì)項(xiàng)目進(jìn)度進(jìn)行報(bào)告和提出調(diào)整建議；l 專家顧問組主要人員：；職責(zé)：負(fù)責(zé)解決項(xiàng)目中出現(xiàn)的各種技術(shù)難題；l 商務(wù)處理主要人員： 職責(zé)：負(fù)責(zé)管理維護(hù)服務(wù)合同號(hào)；負(fù)責(zé)設(shè)備更換和維修的具體商務(wù)操作；l QA（Quality Assurance，質(zhì)量保證）經(jīng)理主要人員: 職責(zé)：審閱QA報(bào)告，監(jiān)督QA工作，提供獨(dú)立QA資源；l QA（Quality Assurance，質(zhì)量保證）主要人員:職責(zé)：培訓(xùn)質(zhì)量體系文件與本項(xiàng)目相關(guān)部分的應(yīng)用；跟蹤監(jiān)督項(xiàng)目實(shí)施過程活動(dòng)；檢查項(xiàng)目成果是否符合規(guī)范、規(guī)定要求；向QA經(jīng)理、項(xiàng)目控制主管報(bào)告；實(shí)施進(jìn)度本項(xiàng)目計(jì)劃5個(gè)月