1、57/22格式12-8：附件-投標技術方案基于影響電網設備的自然災害及業務系統數據交換集成技術方案目錄TOC o 1-3 h z uHYPERLINK l _Toc3408479071概述 PAGEREF _Toc340847907 h 38HYPERLINK l _Toc3408479081.1項目背景 PAGEREF _Toc340847908 h 38HYPERLINK l _Toc3408479092系統集成分析產品 PAGEREF _Toc340847909 h 39HYPERLINK l _Toc3408479102.1建設目標 PAGEREF _Toc340847910 h 39

2、HYPERLINK l _Toc3408479112.2系統邏輯架構 PAGEREF _Toc340847911 h 40HYPERLINK l _Toc3408479122.3系統整體框架 PAGEREF _Toc340847912 h 41HYPERLINK l _Toc3408479132.4系統設計原則 PAGEREF _Toc340847913 h 46HYPERLINK l _Toc3408479142.5交換平臺技術規與要求 PAGEREF _Toc340847914 h 46HYPERLINK l _Toc3408479152.6技術特點 PAGEREF _Toc3408479

3、15 h 47HYPERLINK l _Toc3408479162.7系統安全管理 PAGEREF _Toc340847916 h 47HYPERLINK l _Toc3408479172.8系統核心設計 PAGEREF _Toc340847917 h 48HYPERLINK l _Toc3408479182.8.1ETL PAGEREF _Toc340847918 h 48HYPERLINK l _Toc3408479192.8.2系統管理服務 PAGEREF _Toc340847919 h 49HYPERLINK l _Toc3408479202.8.3系統服務監控 PAGEREF _To

4、c340847920 h 50HYPERLINK l _Toc3408479212.8.4數據服務 PAGEREF _Toc340847921 h 50HYPERLINK l _Toc3408479222.9數據發布服務 PAGEREF _Toc340847922 h 50HYPERLINK l _Toc3408479233項目實施方案 PAGEREF _Toc340847923 h 50HYPERLINK l _Toc340847924進度控制 PAGEREF _Toc340847924 h 50HYPERLINK l _Toc340847925質量管理 PAGEREF _Toc340847

5、925 h 51HYPERLINK l _Toc340847926機構與任務 PAGEREF _Toc340847926 h 51HYPERLINK l _Toc340847927質量保證方式 PAGEREF _Toc340847927 h 51HYPERLINK l _Toc340847928測試管理 PAGEREF _Toc340847928 h 52HYPERLINK l _Toc340847929風險管理 PAGEREF _Toc340847929 h 52HYPERLINK l _Toc340847930項目組織和人員管理 PAGEREF _Toc340847930 h 53HYPE

6、RLINK l _Toc340847931實施進度 PAGEREF _Toc340847931 h 55HYPERLINK l _Toc3408479324售后服務和培訓方案 PAGEREF _Toc340847932 h 55HYPERLINK l _Toc3408479334.1.1售后服務 PAGEREF _Toc340847933 h 55HYPERLINK l _Toc3408479344.1.2培訓方案 PAGEREF _Toc340847934 h 56概述項目背景電網隨著電網設備的增加，以及承載負荷的不斷上漲，電網在多年的業務系統建設過程中，積累了大量影響電網設備的自然災害及業

7、務系統數據。有效地使用這些數據成為系統業務發展和深入的瓶頸，從長遠的發展角度來看，需要一套完善的數據交換集成、共享和分析機制，為電網設備的正常運行、電網設備資產保護提供大數據分析支撐。從數據集成本省來看，當今數據交換集成仍面臨若干關鍵問題需要解決:1)如何從異構的分布式信息系統中讀取數據,并且高效地將異構數據轉換為統一的數據視圖，建立邏輯模型和物理模型的映射及轉換服務；2)如何進行數據清洗 完成數據在業務層上的轉換；3)如何拓展數據集成的驅動模式提高實時性；4)如何建立一個有效促進數據整合共享能力的專題數據中心。針對這種分布式異構數據源的交換集成需求,本文提出了一個基于ETL(Extract-

8、Transform-Load)即數據抽取、轉換和加載的集成過程模型。本過程模型采用數據提供者讀取數據,通過元數據映射方式完成異構數據向統一數據視圖的轉換;針對轉換之后的數據,通過簡單規則引擎執行對客戶系統定制 的業務規則來完成數據在業務層面上的轉換。同時將傳統的數據集成的驅動模式任務調度,拓展為同時支持任務調度和按需實時性事件的雙驅動模式。如何解決上述問題的過程中同時考慮了數據集成的性能,本過程模型通過增量式的數據集成和在數據庫端運行的基于存儲過程的規則引擎減少了數據傳輸的網絡開銷,提高了數據集成的性能。從數據應用的角度來看，除了將數據進行共享外，還應該具備數據的分析展現應用，分析為用戶提供的

9、對數據價值發掘的手段，通過分析，能發現數據背后的價值，發現業務問題，從而反向來提升部門業務水平，支撐業務的良性發展，提高企業信息化水平。系統集成分析產品建設目標根據電網的需求情況，結合數據交換集成技術，搭建完善的數據集成框架，框架提供數據的ETL（數據抽取、加載、轉換）功能，在框架的支持下，逐漸將質監的數據根據需求，集中匯總進行統一的存儲和管理，并借助數據共享平臺提供對外服務，在數據分析方面做部分的工作，提供數據的一些基本分析功能；為完成系統建設目標，需要對數據集成分析平臺進行全面的分析和規劃，使之即能夠滿足項目需求，也能夠適應未來的發展趨勢，有較好的擴展性和靈活性，為電網長期的數據建設提供保

10、障；系統邏輯架構系統建設分為五大層次：（1）數據源：對應電網已有的數據源，如組織結構庫、標準題錄庫這種關系型的數據源，數據源也可能是非關系型的數據源，如文本文件、Excel數據文件等；（2）數據預處理：數據的核心處理層次，即ETL，是將數據源抽取、轉換、裝載到目標數據倉庫主要層次，ETL是本次項目實施的重點；（3）數據倉庫：項目建設主要面向明細級的數據倉庫層次建設，保證明細數據能夠有效地存儲管理，為數據的共享、分析提供數據來源；（4）數據分析：數據分析主要包含多為分析以及更高層次的數據挖掘，這是做為系統未來的發展方向，不做為項目建設容；（5）數據展現：提供數據的基本分析展現和數據共享功能，本期

11、數據展現直接面對數據倉庫層，通過一期數據共享平臺來實現數據的共享，同時提供基本數據查詢功能，實現明細級的數據查詢；系統整體框架結合質監現狀很本期建設重點，考慮到未來的發展趨勢，提出質監數據集成及分析系統整體架構。本期建設的重點為ETL部分的建設，根據數據共享需求，搭建面向明細級別數據倉庫，這些數據主要為第三方提供數據共享服務，系統的所有功能都通過門戶進行操作，門戶提供應用的統一集成展現，為用戶提供統一的登錄入口；在數據處理過程中，需要對元數據進行管理；以下對主要功能進行介紹：ETL數據抽取抽取主要是針對各個業務系統及不同網點的分散數據，充分理解數據定義后，規劃需要的數據源及數據定義，制定可操作

12、的數據源，制定增量抽取的定義。由于源數據往往存儲在多個地方，有可能是一個RDMS、一個文本文件、一個Excel 文件、一個DBF 文件或其他類型文件，確定如何抽取或查詢源數據是有一定難度的，連接時可以通過標準的連接工具比如ODBC 或FTP 等。從設計的角度講最好忽視一些連接問題，把主要精力集中在源數據如何映射目標數據上。在數據抽取分析時需要對業務深刻理解，比如企業需要的一個數據，在源系統中多個表都有，而ETL只選擇其中一個，在當時不會有什么問題，但隨著后續工作的開展和分析就會出現意想不到的結果。所以，ETL從哪一個源表取數據不是隨意的，需要對多個數據表進行業務分析，從而確定最終的選擇；數據傳

13、輸數據傳輸是通過網絡把遠程的數據文件運用FTP傳輸到本地目錄下。在實施中，它的步驟如下：a. 初始化參數表，如間隔時間、遠程數據文件的存放位置、本地數據文件存放路徑，并連接到遠程主機上；b. 取遠程數據文件列表，將其取至本地；c. 根據遠程數據文件列表，生成取數據文件的腳本，運行此腳本；d. 完成取數據操作后，生成取回數據的列表，根據此列表生成刪除遠程數據文件的腳本，運行此腳本；e. 將取回的數據文件移到指定文件夾中；數據裝載數據加載主要是將經過轉換和清洗的數據加載到數據倉庫里面，即入庫。加載可以通過數據文件直接裝載或直連數據庫的方式來進行，充分體現高效性。數據加載有 兩個部分，一部分是把合法

14、數據文件裝入回滾表中，該裝入過程沒有匯總部分；另一部分是把初次匯總表加載到臨時匯總表，根據不同類型的數據，可能會有二次匯 總。當加載臨時匯總表的過程完畢以后，再把臨時中間表的數據裝入到中間表中。在實施中，它的步驟如下： a. 讀取匯總數據文件、無需進行匯總的源數據文件或需以后匯總的源數據文件，調用數據文件對應操作配置表，加載到相應數據表（中間表或回滾表）中； b. 讀取需進行實時匯總的合法數據文件，調用數據文件對應操作配置表，對數據庫進行更新操作； c. 程序根據生成的不同數據文件，同時生成匯總數據，同先前步驟的匯總文件進行對比，如出現不一致，提供系統預警。數據轉換數據轉換主要是針對數據倉庫建

15、立的模型，通過一系列的轉換將數據從業務模型數據轉換為分析模型數據，通過建的庫函數、自定義腳本或其他的擴展方式，實現 多種復雜轉換，并且支持調試環境，監控轉換狀態。數據轉換是將源數據變為目標數據的關鍵環節，它包括數據格式轉換、數據類型轉換、數據匯總計算、數據拼接 等等。但轉換工作可以視具體情況在不同的過程中實現，比如可以在數據抽取時轉換，也可以在數據加載時轉換；任務調度對ETL中抽取、加載、轉換任務的調度觸發，ETL過程是要根據業務需要定期的進行數據處理，任務調度的目的就是對根據需要定時執行這些任務的過程，任務調度一般按照時間周期進行；資源管理對系統數據資源管理，主要是對源頭、目標數據源的管理和

16、維護，為ETL執行提供保障；數據倉庫：明細庫存儲質監明細數據，默認本期實現對明細數據的處理，明細數據不僅提供數據共享功能，也是未來分析數據的基礎，必須要保證明細數據的一致有效；專題庫滿足分析功能的專題庫，也可以是數據共享庫，有些數據共享需要對明細數據進行處理后進行共享，這里的專題庫就是指基于明細數據庫處理后的數據容；數據分析：多維分析是高級統計分析方法之一，就是把一種產品或一種市場現象，放到一個兩維以上的空間坐標上來進行分析；多維分析提供的基本功能包含數據下鉆、上鉆、切片、旋轉等分析手段；報表分析基本報表查詢服務，主要是針對明細數據的統計查詢功能；數據服務將倉庫中的數據對外共享，數據分析支持以

17、下方式：WebService符合SOAP2.0規，支持跨系統、跨開發環境的數據交換接口形式，核心傳遞容還是XML；XMLXML格式共享數據方式，采用HTTP協議實現數據的共享；JSON面向腳步的數據共享格式，是目前Web應用中最常見的方式，具有靈活，簡介的特性，比較適合于頁面展現；展現：門戶展現提供門戶的方式訪問系統功能，同時門戶也具有將其它Web瀏覽器應用集成到門戶中，門戶展現具有靈活、統一、擴展性強等特點，是目前企業應用頁面集成的主要形式；頁面集成將用戶的功能根據設置、全新聚合展現的一種技術手段，門戶可以實現跨系統的頁面集成，使得用戶不需要登錄不同的系統就能使用不同系統提供的業務功能；單點

18、登錄為了達到用戶通過門戶就能使用不同系統的功能，需要實現統一的單點登錄功能，從而達到用戶信息在不同系統之間的同步，保證用戶登錄的一致性，僅需登錄一次，就可以訪問不同的系統提供的功能；元數據管理：元數據就是描述數據的數據，隨著信息技術的快速向前發展,元數據在數據集成及分析過程中起著關鍵的作用。元數據有自己的標準，這個標準的主要作用是介紹了元數據的組成元素和分類應用，提出了一些元數據建庫的基本原則，并且給出了基于XML格式的元數據管理的設計方案。元數據管理主要包含元數據的編輯、導入導出、查詢和目錄關聯管理的功能；系統管理：系統管理基礎功能，系統提供用戶管理、角色管理、權限管理、日志管理、系統監控等

19、基本的管理功能，用戶管理、角色管了、權限管理實現基本用戶相關的管理功能；日志管理記錄系統所有操作信息，并為管理員提供日志查詢統計功能；系統監控為管理員提供系統運行情況、ETL作業運行情況、系統資源消耗情況的監控；系統設計原則數據交換平臺應遵循以下幾個基本設計原則：穩定性原則，不影響現有或其它相關信息系統的使用和信息安全。數據安全性原則，不能造成數據的泄露；先進型原則，保證系統的技術先進性，提高系統的運行生命周期；開發性原則，系統能投有效地進行數據的共享；標準型原則，采用國際通用標準，便于和國際接軌，易于系統擴展及升級；易用性原則，建立一個堅實的系統應用平臺，便于系統的管理和維護，技術易于更新，

20、網絡及業務規模可以逐步擴展。統一規劃，分步實施。交換平臺技術規與要求1）數據一致性：源頭數據和目標數據需要保持一致，對于需要進行轉換的數據，如數據字典的映射也要保持語義上的一致性；2）接口簡單：數據共享接口需要簡單易用，接口滿足常見的調用需求和業務場景；3） 安全可靠的傳輸：數據傳輸過程需要安全可靠，數據傳遞過程中要保證數據沒有被篡改，數據傳遞失敗，支持斷點續傳；4） 高可靠性和高性能：ETL過程中涉及到大數據量的傳遞，一般ETL是在業務不繁忙的時候進行，所以需要ETL高效，在業務空閑期就能將數據處理完畢。5）數據標準：對數據管理遵循業界標準，元數據管理方面采用CWM元數據標準，方便元數據的擴

21、展和元數據交換共享；6）多數據源支持，系統抽取過程支持主流的數據庫，如Oracle、MySQL、MS SOLServer等；7）有效完善的系統監控，提供完善的系統監控功能，能夠監控主機運行情況、ETL運行情況；技術特點靈活的ETL調度功能；多數據源支持，滿足主流數據庫抽取需要；文件傳輸實現斷點續傳；通用的元數據管理，滿足CWM規；數據傳遞過程防篡改驗證，數據壓縮傳遞；靈活的數據轉換功能，支持數據的合并、數據字典轉移、拆分、格式化操作；靈活的系統管理工具，提供高可用性的用戶交互界面；可視化的調度管理工具；服務安全性，服務調用的安全驗證；增量數據抽簽，對于累加數據的增量抽取功能；系統安全管理安全管

22、理服務借助于系統安全平臺提供如下服務：U-key驗證服務調用驗證用戶的證書信息，保證調用請求的合法性；權限管理系統功能、服務權限的有效控制；角色管理以角色為中心的權限控制，滿足權限分配的同時，降低用戶權限的直接耦合，增強系統靈活性；身份認證包含門戶訪問的身份認證和服務調用的身份認證；數字簽名文件傳輸過程過數字簽名，保證文件合法性；系統核心設計ETLETL是本次實施的重點，決定項目的成敗，在ETL方面對系統設計進行細化：調度調度環節可引用業的調度產品作為調度引擎，平臺對調度產品能實現完全兼容，并保證調度效率和資源的完美平衡；統一調度接口統一調度接口作為調度引擎和ETL作業的中間層，有以下特點：簡

23、化了調度引擎的作業調用：JSI封裝了ETL作業的運行邏輯，各種作業之間的差異性就在接口中被屏蔽掉，調度引擎無需過多關心ETL作業細節的運行信息，只需要調用JSI提供給調度引擎的統一接口即可； 動態資源分配：根據作業的資源要求以及系統當前的資源情況，將作業組織和分配到合適的ETL-Client節點(組)運行； 作業流組織和管理：作業分組的概念，將一系列相關的ETL作業，以作業流的形式組織起來，確保作業的有序運行； 統一作業日志登記和管理； 作業檢查：提供作業的前處理、后處理功能，當作業需要進行前處理或后處理操作時，可以在作業參數中配置，使得作業更具有特色；時間管理器結合調度產品實現以事件為驅動的

24、數據加工架構，對事件進行識別，登記，處理，通知調度引擎調起相關的作業完成數據加工，或通知傳輸模塊將數據傳輸給目標系統，整個過程中采用全事件驅動方式運行，在低資源使用的基礎上，獲取高效的處理效率；監控管理器提供全方位的監控和管理，包括數據到達監控、數據提交監控、事件監控和手工干預、調度監控、ETL作業運行日志查詢、資源監控、統計分析報告等系統管理；系統管理服務系統日志管理記錄系統運行交換過程和活動，以便進行審核，分析。系統參數配置調整和配置系統的運行參數，以優化系統的運行性能和進行安全管理系統狀態監控對系統中每個服務的運行狀態，性能，故障進行監控。如果發生性能瓶頸，或系統故障，則會進行報警，并通

25、知系統管理員。系統服務監控系統提供完備的系統監控服務，及時體現系統運行狀況，當系統運行過程中發生異常，系統能夠及時反饋給管理人員，根據問題級別，可以設置異常信息推送；如可以設置當系統服務不能正常訪問時，自動向管理人員發送消息，消息可以是手機短信或者其他即時通訊工具；為保證監控的有效性，監控模塊和系統分類；數據服務在一期的基礎上，增強服務的安全性，提高服務的監控能力和手段，保證數據不被竊取，對于惡意數據訪問，可以及時切斷并反饋到系統管理人員；數據發布服務提供可視化服務發布功能，管理員可以根據專題數據庫，發布用戶需要的各種服務，服務可以進行權限控制，服務支持常見的接口類型，包含WebService

26、、JSON、XML，服務可以指定有效時間段，過期服務自動停止，停止的服務也提供啟動功能；在服務監控方面，不見能查看服務的調用明細，也能通過匯總的方式提供服務的總體調用情況，以方便管理人員掌握服務實際調用情況；項目實施方案進度控制項目進度計劃是項目經理最主要的項目進度控制工具，在項目進度計劃中包括了關鍵的里程碑、重大的項目評審、交付日期、主要任務和工作需要依靠的條件，等等容。完善的進度計劃為項目協調、監督工程的進度狀況提供依據。進度控制過程的關鍵要素包括以下幾個方面：反應能力：及時了解項目的進度狀況，進度報告方式包括兩個方面的容，報告周期和報告的形式。項目的報告周期與項目的總周期相關；而報告的方

27、式可以采用多種靈活方式。確定報告方式的原則為：即能及時掌握項目的進展、同時又不占用過多的資源，精確性：應在一個工作地點保持一個唯一的、并及時更新的時間數據，反映項目進度計劃和進展狀態；可見能力：時間數據應該廣泛散發；可維護能力：具備根據客戶需求調整、修改項目進度計劃的能力；質量管理機構與任務為了高質量的完成項目任務，成立質量管理組，其任務是對整個項目質量管理。質量管理組嚴格按照ISO9001質量體系文件的要求，并按照本計劃的各項規定組織和監督各項評審、協助各部門負責人進行日常質量管理活動及變更控制。建議成立更改控制組（CCB），由項目經理任CCB組長，負責工程中重要設計和實施的更改。在實施組成

28、立配置管理小組，負責各系統配置管理。在各任務組設立系統配置管理員，對各系統進行配置管理。質量保證方式我們將采用以下方法實現質量控制和管理的要求：評審和審核：按照本計劃規定的評審時間進行評審與驗證。日常質量工作檢查：通過周報、月報及工作會議檢查工作進展情況，及時發現問題解決問題。該項工作由各任務組按工作計劃執行，工程的項目管理組監督和參與管理。測試管理項目的測試是一個獨立的、關鍵的階段，也是保證項目質量的重要手段，項目測試過程如下圖所示在測試過程和完成后，要提交的文檔包含測試計劃、測試說明和測試報告。測試計劃描述測試活動的圍、方法、資源和進度。它規定被測試的項、被測試的特性、應完成的測試任務、擔

29、任各項工作的人員職責及與本計劃有關的風險等。測試說明包括三類文件：測試設計說明、測試用例說明、測試規程說明，測試報告包括四類文件：測試項傳遞報告、測試日志、測試事件報告、測試總結報告。風險管理項目風險是所有影響項目目標實現的不確定性因素集合。典型的項目風險包括時間表過于倉促、人員/技術能力不足、預算不確定、組織變化和技術更新等。項目風險管理就是對項目風險進行識別、分析和應對的過程，它包括把正面事件影響擴大到最大和把負面影響減少到最小。我們設計了全面的風險管理方案，并已經在許多政府和商業項目中成功應用。我們將根據本項目的具體情況和具體運行環境做出修改，確保本項目能夠按時在預算高質量順利完成。下圖

30、描述了風險管理方案，該方案涉及五個互相關聯的步驟：編制風險管理計劃、風險識別、風險量化、風險處理和風險控制。階段風險管理計劃風險識別風險量化風險處理風險控制所用的方法或工具計劃會議檢查表繪制流程圖訪問調查預計貨幣值統計和模擬決策樹專家評定應急計劃編制替代方案策略保險權變措施附加的風險應對措施開發風險管理將由項目經理根據風險管理計劃進行控制和總結，并定期向客戶報告項目的進展情況，并允許客戶對項目風險和解決辦法有全面的了解。項目組織和人員管理本項目中，將安排強大的技術隊伍來確保項目的實施。項目組結構規劃如下：項目組成立后即開始運作，為清晰定義項目組成員的工作職責，項目組進行職責細分如下：領導小組主要人員：總經理，項目委員會職責：保證項目活動資源對項目中不能解決的重大問題予以支持、解決；項目負責人主要人員：項目經理職責：負責項目具體實施計劃和人員安排調度；協調解決項目實施中出現問題；項目實施人員主要人員：系統工程師（CCIE）系統工程師（CCNA）系統工程師（CCNA）職責：負責工程具體實施操作；對項目進度進行報告和提出調整建議；專家顧問組主要人員：；職責：負責解決項目中出現的各種技術難題；商務處理主要人員：職責：負責管理維護服務合同號；負責設