達夢數據交換平臺——高效全方面的數據集成應用的支撐平臺產品白皮書達夢數據庫有限公司3月本文檔含有達夢數據庫公司的保密的技術和商業信息未經達夢數據庫公司的書面同意，不得進行拷貝、復印或者以其它任何形式向第三方散發。我們極力確保本文檔中信息的精確和完整，但是仍然可能出現技術或者文字描述的錯誤，如果因使用本文檔造成的損失，達夢概不負責。本文檔中包含的信息可能會隨時更改，恕不另行告知。

緒論近幾十年來，信息化的推動和計算機網絡的飛速發展，使得人類社會所積累的數據量已經超出了過去50的總和，數據的采集、存儲、解決和傳輸的數量也與日俱增。然而，這些為不同應用服務的數據都存儲在許多不同的數據源之中。為更有效地運用這些信息，實現公司或社會組織數據共享與交換，減少數據采集的重復勞動和對應費用，需要從多個分布、異構和自治的數據源中集成數據，同時還需要保持數據在不同系統上的完整性和一致性。因此，如何對數據進行有效的集成已成為增強公司商業競爭力的必然選擇，特別是對于那些擁有多部門多數據源的大型公司或者組織來說，每一種部門都擁有自己的數據庫，這些數據庫可能是獨立、異構且自治的，為了各部門間更加好的合作和數據共享，建立一種完善的數據交換和集成系統是極有應用價值并且尤為重要的。產品介紹達夢數據交換平臺是達夢數據庫有限公司在上十年數據解決經驗的基礎上，研制開發的含有自主版權的、商品化的數據交換與解決平臺。達夢數據交換平臺創新地將傳統的ETL工具（Extract、Transform、Loading)與分布式消息平臺相結合，實現了對數據抽取、傳輸、整合、以及裝載的一站式支持，是構建數據中心、數據倉庫、數據交換和數據同時等數據集成類應用的抱負平臺，同時也能夠作為數據加工解決工具由業務人員直接使用。功效組件達夢數據交換平臺由下列5個軟件組件構成：達夢數據集成服務器DMETLServerDMETLServer是一種含有數據抽取（Extract）、清洗轉換(Transform)和裝載（Load）功效的通用的數據解決平臺，能夠為異構數據同時和數據整合應用提供完整的支持。達夢數據交換設計器DMETLStudioDMETLStudio提供可視化的管理、流程設計、調試功效。達夢數據交換控制臺DMETLConsoleDMETl服務管理、參數配備與初始化。達夢數據總線DMETLDatabus提供基于消息的、可靠的、安全的數據路由與交換服務，用于支持廣域網上跨部門的數據交換。達夢數據交換監控系統DMETLWebMonitor對多節點的數據交換網絡的管理、監控以及統計分析功效。版本劃分達夢數據交換平臺分為原則版和公司版，其中原則版重要提供基本的數據整合和數據同時功效，公司版則在原則版的功效上增加了基于消息的數據交換與路由、監控與統計、數據質量管理、數據的公布和訂閱等公司級的功效，其重要功效劃分見下表：原則版公司版數據清洗轉換√√增量數據抽取√√作業調度√√數據公布與訂閱√自定義函數變量√√權限管理√√操作審計√√實時告警√√數據質量檢測√數據交換與路由(DMETLDatabus)√交換監控與統計（DMETLWebConsole）√典型應用場景 達夢數據交換平臺是專門為多個類型的數據集成應用而設計的，使用達夢數據交換平臺，能夠大大縮短數據集成類應用的工作量。達夢數據交換平臺能夠全方面而高效的應用于下列某些場景。異構數據同時異構數據同時是指在一定的時間范疇內，通過特定的技術方式，實現異構數據源之間的數據一致性。數據同時應用普通有下列某些規定：性能規定高，普通要達成準實時同時，因此需要實現增量數據抽取，以達成快速同時和節省網絡資源的；可靠性規定高，故障自動恢復。達夢數據交換平臺能夠較好的滿足上述規定，能夠支持一對一或者一對多的文獻到文獻、文獻到數據庫、數據庫到數據庫、數據庫到文獻的數據同時。同時的源和目的數據能夠是不同類型的數據庫或者文獻，并且在同時過程中能夠對數據格式進行轉換以滿足源和目上的不同應用系統的規定。一對多數據同時數據交換數據交換，普通用于不同部門間的業務協同，數據的流動是普通由應用發起并推動的，應用獲取到數據并完畢業務邏輯之后，能夠把數據存儲下來，也能夠丟棄。數據交換應用普通涉及多個部門的數據庫和應用程序，需要布署多臺數據交換服務器。達夢數據交換平臺內置了軟總線功效，能夠連接多個應用和數據源，支持數據自動路由，確保數據的安全可靠傳輸。同時達夢數據交換平臺也提供了交換監控配備系統，通過該系統能夠實時監控各個交換節點的狀態，并能夠可視化的修改交換路由設立。跨部門數據交換數據整合數據整合是指將不同來源的數據，通過清洗轉換后變為統一格式，存儲到數據中心或者數據倉庫中，用于提供數據共享、數據分析等服務。其特點是：數據量大，數據種類豐富，需要較高的數據裝載性能；對數據質量規定高，需要有豐富易用的數據清洗轉換組件；數據持續集成，不同類型的數據集成的周期可能不同，需要功效強大的作業調度與監控功效；達夢數據交換平臺含有數據分區并發清洗和裝載、數據質量實時檢查以及靈活的調度設立，能全方面滿足數據整合應用對于性能、易用性的規定。數據整合功效特色全方面的數據源支持支持多個主流數據庫（達夢、Oracle、SQLServer、DB2、Mysql、Sybase、PostgreSql等）的全量和增量數據抽取和裝載，還支持TXT、CSV、Excel、XML文獻、消息服務器、LDAP服務器、WebService等數據的抽取和裝載。易用增量數據抽取內置了多個增量數據抽取方式，顧客只需要簡樸的設立刻可實現對多個數據庫的數據的增量數據抽取，為實時數據集成提供了良好的支持。批量文獻解決支持多個文獻（txt、excel、xml）的批量讀取和解析，能夠自動識別目錄中新增和修改的文獻，并且能夠在本地和遠程服務器之間同時文獻夾。豐富的數據轉換規則內置近40多個數據清洗轉換規則，支持動態擴充。對于簡繁體、中文拼音、亂碼解決、字符集轉換、中文數字的中國特有的問題提供內置的轉換規則進行解決。批量流程創立提供基于模板的批量流程生成向導，能夠快速生成大量類似的轉換，大大提高工作效率。公司級的監控提供了BS架構的統一監控系統，通過該系統顧客能夠直觀的監控整個多節點數據交換網絡，實時查看后臺流程運行狀態和統計信息、接受和解決系統告警，并執行日常的管理和維護工作。實時數據質量檢查 DMETL內置了數據質量檢查功效，能夠根據顧客定義的規則對流程中的數據質量進行檢查，并對成果進行統計。支持顧客定制規則以及和重用質量檢查規則高性能采用基于流水線的多線程架構，并支持數據分區解決和并行裝載，能夠充足發揮硬件性能，數據解決能力能夠隨著系統CPU和IO性能的提高而同時提高。另外還支持支持單表多連接并行裝載、達夢、oracle的快速裝載接口、文本文獻的分段并行解析等。高安全提供基于角色的權限控制機制，責權明晰。支持傳輸加密，不同交換節點之間傳輸的數據都是通過加密解決，避免信息泄露。高可擴展DMETL采用基于OSGI整體架構，系統的各個模塊如流程節點、轉換規則、數據質量檢查規則都支持插件機制，能夠根據具體業務需求動態擴展。可編程提供了簡樸易用的編程接口API，通過調用該API第三方應用能夠快速方便的調用DMETL的各項功效，如創立、執行流程，獲取監控和統計信息等。另外，DMETL還支持編寫自定義的java函數和體現式來對數據進行解決。應用案例浦東新區數據中心該項目建設是結合浦東新區信息化發展的實際需要，解決電子政務建設過程中出現的信息孤島、信息共享交換、數據安全存儲等問題，面對全區重要委辦局，建設一套安全、高效、經濟的公共數據中心，項目總體架構見下圖：項目特色實現了對多個委辦局現運行的多個異質異構系統的支持，涉及windows、linux以及unix操作系統，和對多個品牌的PCServer、小型機服務器。支持多個系列的數據庫，涉及Oracle系列、SqlServer系列、db2、sybase、mysql、DM數據庫、access等多個國內外數據庫管理系統。支持通過政務外網或專用光纖連接對各委辦局的局域網內的數據進行交換，對地理位置從1公里以內到10公里以外的交換節點均支持良好。國家電網主備調數據同時該項目的最后顧客是國家電網。現在國家電網電力調度系統正面臨大規模的系統升級，而現在的系統升級過程中，面臨的普遍現實是：舊版系統運行了較長的時間，系統相對穩定；新版系統則實現了更多更強的功效。為了確保能夠平穩地完畢系統的升級，提高系統的穩定性，需要同時運行新舊兩個版本的系統，并確保新舊系統的數據同時。項目特色基于DMETL表級增量抽取和靈活的轉換邏輯，高效的實現了國家電網主備調系統間的異構數據（數據平臺和數據模型、數據構造均不同）的同時，確保了新舊調度系統的平穩過渡和升級。商務部產業安全數據分析平臺該項目的顧客是商務部產業安全調查局。項目的核心建設內容是建設一種數據分析平臺，為產業損害預警業務提供數據，為具體業務部門日常作業提供支撐，為領導決策提供支持。該項目涵蓋了從數據采集、數據加工解決到信息公布的全部過程，系統總體構架采用分層的開放體系構造，分為數據及其管理層、業務分析層、綜合應用層，以下圖所示。項目特色該項目數據來源廣泛，數據構造復雜，重要涉及國家統計局數據、海關進出口數據、商務部數據直報系統采集數據、各行業協會和專家報送數據、購置的海外競爭對手貿易數據、調查局自采集數據等。通過DMETL工具實現了上述數據的有效整合，以此為基礎實現了商務部產業安全數據倉庫。湖北省公安云項目該項目全稱為湖北省公安廳金盾工程多層架構體系建設和政府部門間信息共享平臺項目。項目采用“云計算”理念，運用虛擬化技術，對湖北省公安廳現有的軟硬件資源以及內外部數據進行整合，實現“基礎設施即服務（IaaS）”