數據交換平臺的設計方案，架構方案，總體建設思路整體解決方案

目錄

2

平臺簡介

功能介紹

典型案例

三

二

一

平臺簡介

3總體目標：提供企業級復雜環境下異構信息系統間數據共享、集成、融合的整體解決方案

總部

子公司

系統B…

系統A子公司

系統B…

系統A…

子公司

系統B…

系統A1.系統間文件傳輸

2.數據庫數據抽取、轉換、裝載

3.系統間高頻消息通信

4.數據庫準實時同步復制

5.應用接口服務注冊、轉換、編排、管理

平臺簡介

4海迅數據交換平臺簡介

海迅數據交換平臺（HSP-EXG）旨在提供復雜環境下、異構系統間企業數據孤島問題的一體化解決方案。平臺集合了業內主流的數據交換產品功能，提供ETL、ESB、MQ、文件傳輸、數據庫同步復制等產品的整體功能實現，各組件能夠按照需求組合或裁剪，從而一次性滿足中大型企業各類型數據集成共享需求，并進行統一的數據交換監測與管理。平臺主要包括五大子系統：

批量數據總線子系統（HSP-EXG-ETL）作為中間件實現將數據從源端經過抽取、轉換、加載至目的端，主要提供系統間基于文件的交換功能以及數據庫間的批量數據交換功能。支持TB級文件交換，GB級數據庫數據交換。

即時數據總線子系統（HSP-EXG-MQ）實現了滿足JMS1.1規范面向系統間消息型數據交換的中間件，用于在應用程序之間或分布式系統中互發消息，進行高效異步通信，一般用作企業級數據集成通信總線。支持30000條/秒的高頻度點對點、一對多消息通信。

數據庫同步復制子系統（HSP-EXG-Sync）實現基于數據庫日志的同步復制功能，主要用于oracle數據庫的主備式災備、讀寫分離、數據遷移。系統保障數據的事務性，支持秒級數據庫準實時同步。

服務集成總線子系統（HSP-EXG-ESB）基于SOA思想，實現對企業接口服務的協議轉換、注冊/發布、編排、管理，幫助企業對繁雜的應用服務接口進行統一標準、分類管理、集成共享。

統一監測子系統（HSP-EXG-MS）對平臺各組件提供統一的可視化狀態監測、統計分析、告警、報表導出等功能。以全局視圖方式展示企業數據集成情況以及數據流向。

SG-UEP一期成果介紹

5上級單位

下級單位

協同辦公

…

營銷系統

協同辦公

…

營銷系統

ERPERP數據中心

數據中心

SG-UEPSG-UEP橫向數據交換

橫向數據交換

縱向數據交換

統一監測

SG-UEP兩級部署

批量

消息

同步

服務

批量

消息

同步

服務

典型解決方案

平臺簡介

6整體功能架構

平臺簡介

7技術特點

分布式高可靠文件傳輸；

數據庫數據抽取、轉換、傳輸、裝載；

基于數據庫日志的低延遲、低影響同步復制；

高性能分布式企業級消息中間件；

面向服務的企業級服務集成總線。

客戶價值

一體化企業數據交換解決方案；

統一企業業務系統數據交換標準；

簡化應用集成技術復雜度；

集中管理與共享企業接口服務資產；

提高企業應用集成共享水平；

目錄

8

平臺簡介

功能介紹

典型案例

三

二

一

功能介紹

91、批量數據總線子系統介紹

批量數據總線子系統（HSP-EXG-ETL）主要實現將批量數據從源端經過抽取、轉換、加載至目標端的功能，主要提供系統間基于文件的交換功能以及數據庫間的數據交換功能。系統支持對oracle、mysql、db2等主流數據以及excel等常見文件的數據抽取，在交換過程中可以對數據進行合并、拆分、轉換、篩選、過濾等處理。批量總線子系統可以單機部署，為局域網第三方應用系統提供批量數據交換服務，也可以隨平臺進行分布式部署，交換節點部署于企業多個上下級部門，貫穿組網形成通信網絡，為企業提供橫縱向批量數據交換服務。

應用程序

第三方系統（源端）

數據庫

文件

應用程序

第三方系統（目標端）

數據庫

文件

交換節點

交換節點

交換節點

批量數據總線（單機/組網）

數據傳輸

功能介紹

10運行原理

批量數據總線子系統（HSP-EXG-ETL）由引擎節點

、管理服務器、管理工具、集成接口組成，主要完成兩大類工作：面向文件的分布式高可靠路由分發傳輸；面向數據庫的數據抽取、轉換、傳輸、裝載。

管理服務器對多個引擎節點進行管理，用戶通過管理工具連接到管理服務器進行圖形化開發管理，管理服務器將用戶開發的服務/流程下發到涉及的引擎。引擎分布式部署在不同機器上，他們按照服務/流程信息相互協作對數據在各節點上進行抽取、轉換、傳輸、裝載等處理以完成數據交換任務。第三方系統通過平臺提供的API、URL、定時調度等方式調用總線上配置好的服務或流程完成數據交換任務。

管理工具

管理工具

管理工具

管理服務器

httpxml引擎/節點

引擎/節點

引擎/節點

第三方系統

集成接口

URL/定時

服務

文件傳輸

數據庫數據抽取

數據清洗、轉換、過濾

數據庫數據裝載

流程編排

功能介紹

11性能

1.單節點最大配置數據交換流程≥2000個；

2.單節點并發交換數≥500；

3.單節點數據吞吐率>40M/秒；

4.結構化數據加工速度>3000行/秒；

5.系統資源平均消耗不大于50%；

6.支持對TB級數據進行數據交換。

以上指標在以下測試環境測得：

服務器（CPU8核2.20GHz；內存48G；64位Windows），網絡（1000Mbps），數據庫（oracle11g）。

12基于文件的批量數據傳輸

–

文件、文件夾傳輸；

–

模糊匹配多文件傳輸功能；

–

對文件的壓縮、加密傳輸；

–

斷點續傳功能；

–

數據的完整性檢查及差錯校驗；

–

多任務并發傳輸；

–

文件變化傳輸機制（增量傳輸）；

–

文件傳輸后刪除、備份功能；

–

節點間一對多、多對一傳輸；

–

同步/異步傳輸機制；

–

可視化配置與FTP系統集成；

數據整合功能

–

常見數據庫數據抽取、裝載；

–

動態SQL、變量數據抽?。?/p>

–XML/Excel文件數據抽??；

–

數據庫表條件路由傳輸；

–

字段邏輯檢查；

–

數學運算支持；

–

字段拆分、合并；

–

數據類型轉換；

–

數據內容轉換；

–

數據清洗；

–

高效私有格式轉換；

–

前置、后置處理；

功能介紹

13調度與管理

–API調度觸發交換任務；

–URL調度觸發交換任務；

–

管理工具手動觸發交換任務；

–

定時調度觸發交換任務；

–

圖形化開發與配置；

–

數據庫接口管理；

–

節點管理；

–

服務/流程管理；

–

狀態和過程監控；

功能介紹

14界面效果-節點配置

批量數據總線截圖

功能介紹

15界面效果-數據整合

功能介紹

16界面效果-推送服務

功能介紹

17界面效果-流程配置

功能介紹

182、即時消息總線子系統介紹

即時消息總線子系統（HSP-EXG-MQ）實現了滿足JMS1.1規范面向消息型數據交換的中間件，用于在應用程序之間或分布式系統中互發消息，支持高達30000條/秒的高效異步通信。本系統一般用作企業級高性能數據集成總線，通信應用不需要知道彼此物理位置使得應用集成實現松耦合，不需要知道彼此間怎樣建立通信從而簡化應用底層通信復雜度，不需要同時處于運行狀態由總線保障消息的可靠到達，不需要在同樣的操作系統或網絡環境下運行實現跨平臺跨系統通信。系統支持一對一、一對多、請求應答三種通信模式，提供了java、c/c++等常見編程語言的API。系統節點可以單機部署，也可以分布式多級部門部署并組網形成橫縱向數據交換網絡。

功能介紹

應用系統

第三方系統（接收端）

Broker節點

Broker節點

Broker節點

即時消息總線（單機/組網）

數據傳輸

API第三方系統（發送端）

應用系統

API19運行原理

即時消息總線子系統（HSP-EXG-MQ）由交換節點、監管系統、API組成，實現了滿足JMS1.1規范面向系統間消息型數據交換的中間件，旨在為局域網/廣域網環境下的應用系統提供高效、穩定、透明路由和安全的企業級消息通信總線，以滿足企業異構系統高效數據集成需求。

交換節點可單獨部署也可以分布式部署，監管系統統一對個節點進行管理分配隊列資源，節點程序根據監管系統的配置進行組網通信與消息路由，第三方系統通過API向指定隊列發送消息，符合路由規則的消息將會被路由到其它節點供接收消費。

系統B系統D交換節點a隊列1隊列2隊列2交換節點bAPIAPI級聯組網

路由規則

系統AAPI流量控制

流量控制

監管

系統

配置文件

功能介紹

功能介紹

20性能

1.系統非持久化異步消息發送總吞吐≥80000條/s；

2.系統非持久化同步消息發送總吞吐≥40000條/s；

3.系統持久化異步消息發送總吞吐≥40000條/s；

4.系統持久化同步消息發送總吞吐≥20000條/s；

5.單線程非持久化異步消息發送

≥20000條/s；

6.單線程非持久化同步消息發送

≥4000條/s；

7.單線程持久化異步消息發送

≥3000條/s；

8.單線程持久化同步消息發送

≥1500條/s；

9.系統總吞吐量

≥80MB/s。

以上指標在以下測試環境測得：

服務器（CPU8核2.20GHz；內存48G；64位Windows），網絡（1000Mbps），消息大小500字符。

21支持的消息類型

–BytesMessage字節流

–ObjectMessage可序列化的對象

–TextMessage字符串

–StreamMessage原始數據流

–MapMessagekey/value映射map消息交互功能

–

點對點模式

–

發布/訂閱模式

–

持久化/非持久化

–

同步發送（可靠性高）

–

異步發送（吞吐量大）

–

請求應答（應用層同步）

–

事務支持

–

安全認證

–

多消費者負載

–

消息分組

–

消息過濾

–

消費者優先級設置

增強特性

–

廣域網多節點級聯組網

–

消息路由透明通信

–

流量控制防阻塞

–

分布式統一監管

–

統一授權

–

資源監測

即時消息總線功能

功能介紹

業務應用服務器

223、同步復制子系統介紹

同步復制子系統（HSP-EXG-Sync）實現了基于oracle數據庫日志解析的低延遲、非侵入式同步復制功能，當源庫發生變化時系統將通過解析數據庫日志（而不是訪問數據庫，對源數據庫性能影響?。┳R別變化并將變化同步到目標庫，從而實現oracle數據庫的秒級同步復制。系統保證數據的事務性，支持全量、增量同步方式，主要用于災難情況下的數據庫準實時備份、高壓力情況下數據庫的讀寫分離/負載均衡、以及數據共享數據分析的數據同步。系統源端支持oracle數據庫，目標端支持oracle、mysql、db2等常見數據庫。

功能介紹

應用程序

業務數據庫服務器

災備數據庫服務器

oracle常見數據庫

復制節點

復制節點

業務應用服務器

應用程序A業務數據庫服務器

災備數據庫服務器

oracle常見數據庫

復制節點

復制節點

應用程序B寫

讀

233、同步復制子系統介紹

同步復制子系統（HSP-EXG-Sync）實現了基于數據庫日志的低延遲、低影響、高效率的同步復制功能，可準實時完成數據庫災備、讀寫分離。

數據庫使用本系統建立復制關系后，系統日志分析進程將實時對數據庫日志進行監聽、解析，當業務系統對源數據庫進行操作后，日志分析進程識別出需要復制的數據進行臨時存儲為jsonfile，然后調用發送進程將數據傳輸到目標端，目標端接收到數據后進行適當處理裝載到目標庫。

功能介紹

24系統功能

–

基于數據庫日志解析

–

多任務并發復制

–

斷點續傳

–

數據加密安全傳輸

–

緩存隊列傳輸

–

并發多線程裝載

–

異構數據庫DML裝載

–

支持分布式數據庫

–

保證數據庫事務一致性

–

支持JDBC裝載

–

支持常見主流操作系統

業務功能

–

數據庫讀寫分離

–

數據庫雙向同步

–

數據庫數據分發

–

數據庫級聯同步

–

常見數據庫支持

–

數據過濾

–

全量同步復制

–

增量同步復制

–

準實時同步復制

–

對源庫低影響

–

準實時同步復制

–

可視化監測

同步復制子系統功能

功能介紹

25常見實施方案

功能介紹

264、服務集成總線子系統介紹

服務集成總線（HSP-EXG-ESB）作為企業網絡中最基本的連接中樞，是構筑企業神經系統、提高企業服務重用性的必要元素?；赟OA思想，實現對企業接口服務的協議轉換、注冊/發布、編排、管理、標準化，幫助企業對繁雜的應用服務接口進行標準化與重用、分類管理、集成共享。采用“總線”模式管理和簡化應用之間的集成拓撲結構，以廣為接受的開放標準為基礎來支持應用之間在事件和服務級別上動態的互連互通，是一種在松散耦合的服務和應用之間標準的集成方式。系統可以單套部署，也可以在企業上下級進行跨地域分布式組網部署，互聯互通。

功能介紹

服務集成總線

服務注冊/發布

協議轉換

服務編排

服務管理

服務質量監測

業務系統1發布服務

業務系統2發布服務

業務系統3發布服務

…

業務系統n發布服務

業務系統A消費服務

服務查詢

業務系統B消費服務

業務系統C消費服務

業務系統x消費服務

…

服務集成總線

級聯

27運行原理

服務集成總線（HSP-EXG-ESB）提供了級聯式基于服務調用的接口服務集成平臺，主要提供了服務注冊、服務編排、協議接入/接出、協議轉換、服務轉換、服務路由等功能。服務集成總線采用SOA松耦合的思想來進行企業服務的集成，通過靈活的服務接口和適配器方便不同協議、不同報文格式的應用接口的集成，并提供松耦合、效靈活的設計架構，方便未來系統接口的擴展。

功能介紹

業務系統1業務系統n服務集成總線

httpjmssocket其他

httpjmssocket其他

協議接出

協議接入

協議轉換

服務路由

服務轉換

SOAPJSONXMLtxtHessianHL7其他

服務注冊

156調用對應服務

服務消費者

2服務請求

3服務注冊

1可視化開發、管理、監測

業務系統2服務注冊

1…

28服務集成

服務管理

服務運行監控

?協議適配（接出/接入）

?協議轉換

?JMS?HTTP?Webservice?UDP/TPC?…

?服務轉換

?服務編排

?服務路由

?靜態路由

?動態路由

?服務級聯

?服務異常處理

?服務注冊

?服務目錄管理與服務查詢

?服務訪問權限控制

?服務訪問流量控制

服務器管理

?服務部署

?服務器管理

?集群管理

?服務運行統計

?服務運行查詢

?接口運行診斷（服務運行耗時排名）

?接口運行檢索（攔截查看請求響應報文）

?服務日志分析

功能介紹

功能介紹

29性能

1.Http協議穿透代理事務數≥14000次/s，響應時間≤0.005s；

2.WebService協議穿透代理事務數≥7000次/s，響應時間≤0.03s；

3.JMS協議穿透代理事務數≥20000次/s，響應時間≤0.007s；

4.http與WebService協議轉換處理事務數≥7000次/s，響應時間≤0.04s；

5.http轉jms協議轉換處理事務數≥11000次/s，響應時間≤0.02s；

6.WebServicee轉jms協議轉換處理事務數≥11000次/s，響應時間≤0.02s。

以上指標在以下測試環境測得：

服務器（CPU8核2.20GHz；內存48G；64位Windows），網絡（1000Mbps），用例300并發。

30業務場景-服務注冊

30在線工具

Excel模板生成

權限管理

系統權限

應用權限

運行統計

統計綜合查詢

軟件資產管理

接口注冊管理

系統IP地址管理

資產審計管理

上線部署管理

資產管

理者

資產

提供者

資產

調用者

用戶通過服務注冊功能對企業接口服務、數據模型等軟件資產通過一定的管理流程進行集中管理

軟件服務資產的注冊管理在SOA體系下至關重要，其中接口服務資產的集中管控使得“資產狀況透明化”從而有效支撐集成架構的部署價值

調用關系管理

軟件資產統計管理

部署管理

變更歷史查詢

注冊審計

報文審計

調用審計

審計任務管理

接口運行統計

接口運行診斷

接口運行檢索

Excel格式校驗

在線比對工具

功能介紹

31業務場景-服務編排

提供圖形化的服務編排設計工具，可以可視化的配置服務調用、處理等過程，從而更容易完成服務的編排，利用已有服務接口編排產生符合需求的新服務接口。

?動態消息路由

?異常處理機制

?復雜業務運算

?垃圾消息過濾

功能介紹

325、統一監測子系統介紹

統一監測子系統

批量數據總線子系統

即時數據總線子系統

數據庫同步復制子系統

服務集成總線子系統

采集器

采集器

采集器

采集器

數據收集

統計分析

數據存儲

報表生成

圖形化展示

遠程連接

統一監測子系統（HSP-EXG-MS）實現了對海迅數據交換平臺各子系統的遠程運行數據采集、運行狀態分析、圖形化展示、報表生成、異常告警等功能，能夠直觀的展現平臺各子系統的運行狀況、業務系統交換關系、交換數據量等，為企業針對數據交換、服務集成、數據庫同步復制提供了統一的監測管理實現。

告警

功能介紹

33系統管理

–

分級授權

–

三權分立控制

–

告警配置

統一監控與全景展示

–

系統基本信息采集

–

全局分析概況

–

地圖動態信息

–

服務器集中監測展示

–

服務器資源監測

–

節點信息監測

–

組件運行情況監測

–

日志查詢

–

告警功能

–

報表導出

–

異常告警

智能分析

–

峰值分析

–

接入信息統計

–

交換數據量/頻度統計

–

系統熱度統計

–

系統健康度分析

–

關聯度分析

統一監測子系統功能

功能介紹

34統一監測-全局監測

功能介紹

35統一監測-資源監測

功能介紹

36統一監測-遠程配置查看

功能介紹

37統一監測-遠程日志分析

功能介紹

目錄

38

平臺簡介

功能介紹

典型案例

三

二

一

典型案例

業務系統

ODSODSDXPDXP營銷

協同辦公

…

營銷

協同辦公

…

總部

省(市)WS/HTTPWS/HTTP業務系統

企業服務總線

企業服務總線

123BWETL平臺

DB連接

DB連接

ETL平臺

GIS非結構化平臺

GIS非結構化平臺

5WebServiceWebService海量平臺

海量平臺

416OGGQueueERPBWABAPERPBWABAP國家電網公司統一數據交換

1、公司業務系統龐多，公司跨地域子公司較多，業務系統分布在不同地理位置；

2、業務系統間集成方式繁多，技術實現不統一，缺乏統一設計和管控；

3、缺少基于文件傳輸的批量數據總線；

4、現有數據交換能力有限；

5、數據集成方式定位不清晰、使用不規范、分工不明確；

6、國產化不足，自主可控能力薄弱；

7、需要一體化的數據交換系統完成業務系統間的集成與共享，并提供統一的管理、控制、分析功能；

40基于數據交換現狀，國網啟動了統推項目統一數據交換平臺項目，主要通過我公司海迅數據交換