ODS數據平臺介紹

中國人壽股份有限公司信息技術部統計信息項目組12/5/20241主要內容1、數據平臺的功能2、數據平臺的建設原則3、數據平臺數據平臺建設使用技術4、ODS表命名規則5、Basedb數據結構設計要點12/5/20242數據平臺兩大功能1、提供數據服務 增量層（INCR層），存放生產庫的存量數據，以此作為所有外圍系統的數據接口，提供數據級服務。2、提供信息服務

ODS層（BaseDB與CubeDB）

BaseDB存放融合的基于操作級的數據，而CubeDB是基于BaseDB的匯總數據，以此提供數據查詢與數據的統計。

ODS層只存放與統計相關的數據。增量層的數據范圍＞ODS層的數據范圍

12/5/20243保監會報表、總部快報等CallCenter、省級數據接口DTS調度抽取DTS調度抽取Trigger抽取增量及全表抽取CBPS8版年金系統AMIS財務系統……鏡像庫鏡像庫增量數據庫增量數據庫SQLServer數據庫INFORMIX數據庫省級ODS數據庫SQLServer數據庫CBPS7版總部匯總層總部ODS數據庫未確定數據庫總分傳輸省級匯總層DTS調度抽取SQLServer數據庫12/5/20244層次間的數據導向1、增量層（INCR）是生產系統的同構層，并且是邏輯集中的。有幾類業務系統就有幾個增量數據庫。

2、BaseDB對同構層數據進行了集成和融合，但它還是基于操作型數據的3、CubeDB對數據進行了抽象和加工，它并不是基于操作型數據的。主要是針對前臺的報表應用建立統計模型。不同層之間的數據特點決定了它們的應用方向。如：1、增量層適合于作為數據供應池2、BaseDB除了作為CubeDB的數據匯總來源外，還可提供數據查詢使用3、而CubeDB適合于報表生成和數據分析12/5/20245目前應用基于數據服務的應用有：CallCenter、電子商務，以及后期的再保數據接口，他們將從增量層獲取數據基于信息服務的應用有：中介統計平臺、保監會報表系統以及每日業務快報、廣東省報表中心等，他們均從ODS層獲取數據（即基礎數據來源于BaseDB，經過匯總，產生CubeDB中的事實表數據）.12/5/20246數據平臺建設的幾點原則1、整個架構基于PC服務器 當前多層次的架構適合于多個PC服務器的聯合工作。 如果采用小型機架構，存在下列問題：1）數據平臺龐大的數據以及復雜的層次結構，將要求獨占小型機資源，這對于各省的硬件設備，難以支撐。2）如果把數據平臺的各層都架構在小型機上，那么應用上難以達到平衡，應用間效率的互相影響和牽制會相對突出。 而采用PC服務器方式，由于PC服務器成本低，我們可以通過多臺PC服務器的聯合工作，獲得有效的性能。 未來設備采用：使用64位的PC服務器＋高速磁盤存儲設備，將會給數據平臺提供堅實的基礎。12/5/20247數據平臺建設的幾點原則2、基于微軟平臺與微軟技術 微軟平臺的集成性和方便快捷是顯而易見的。 數據庫采用SQL

SERVER，在SQL

SERVER中，集成了如下服務：數據庫平臺、報表工具（ReportingServices）、ETL工具（DTS）、分析平臺（AnalysisServices）以及復制工具（ReplicaiotnServices），而且許多BI工具都是很有名的。 應用前端基于.NET平臺，在微軟平臺上，采用.NET技術一定優越于JAVA。除非我們要在UNIX平臺上建立應用，否則，采用JAVA是舍簡取繁。

12/5/20248數據平臺建設的幾點原則3、采用Trigger方式提供軌跡數據 由于各個生產庫在設計階段，都未充分考慮到軌跡數據的記錄，所以采用Trigger方式，是目前唯一可行的方案。這樣，才能保證數據平臺的數據與生產庫之間的一一對應。否則，你費盡心力，也難以作到雙方的數據一致性。

12/5/20249數據平臺建設的幾點原則4、增量層作為生產庫的同構層，并作為數據供應池 增量層與生產庫是完全的同構關系，有多少種生產庫，就有多少個增量庫，目前數據平臺中設計好的增量庫有：CBPS7版增量庫（INCRDB）、CBPS8版增量庫（INCRV8）、AMIS增量庫（INCRAM）、年金增量庫（INCRNJ）以及投連萬能增量庫（INCRUL）。 目前增量層中的數據已擴充成全量數據。 這一層是為外圍系統而生的。主要是考慮到對CALL

CENTER與再保系統的深度支持。12/5/202410數據平臺建設的幾點原則5、BaseDB保存集成的、經過融合的、基于操作型的數據 如果直接在增量層上架構統計應用，會存在許多的不便，因為增量層中的數據是非集成的，一項統計可能要跨越多個數據庫，同時，數據是非融合的，一項統計可能要基于不同的數據庫進行復雜的定制。而基于BaseDB，可以在很大程度上避免這些復雜性。但同時，BaseDB中的數據還是基于操作型的數據，并未進行太多的抽象，這樣帶來的優點是：1）我們可以有效減少ETL的復雜性2）提高了ETL的效率。也正因為BaseDB是操作型數據，所以我們需要CubeDB層對基于統計的數據進行抽象加工。12/5/202411數據平臺建設使用技術操作系統

數據庫ETL工具前端應用調度方案

數據庫引擎WindowsServer2000，未來希望采用WindowsServer2003SQLServer2000，未來希望采用SQLServer2005DTS，屬于SQLServer2000自帶。

JAVA和ASP、ASP.NET

由VB程序開發的管理維護平臺實現

對生產庫（INFORMIX）的訪問使用ODBC引擎，應用上采用JDBC或ADO引擎

12/5/202412ODS表命名規則A類表－保單類表B類表－收付費類表

C類表－客戶類表包括A01長險保單表，A04基金險保單表，A05短險保單表，A02基本要約表、A03子要約表、A11長險被保人表、A12基金險被保人表、A13短險被保人等表。主鍵合并包括B01實收表，B02實付表，B03應收表，B04應付表、B05帳戶表、B06財務應收備份表、B07財務應付備份表。主鍵合并包括C01客戶主表，C02個人客戶信息表、C03團體客戶信息表、C04聯系方式關聯表、C05聯系方式列表。主鍵合并D類表－保全類表目前暫不抽取E類表－理賠類表包括：E01理賠申請表、E02賠付理算表、E03索賠被保人表。主鍵合并T類表－AMIS類表包括T01營銷員基本信息表，T02營銷員自然狀況表，T03傭金明細信息表，T11營銷員流動情況，T29代理人資格證，T50機構定義表等H類表匯總層的表命名L類表、M類表、N類表留給省一級使用12/5/202413BaseDB中的冗余字段BaseDB中許多表都設計了冗余字段，它主要作用是：1、減少表間關聯，提高匯總速度。2、降低不同業務系統之間的差異性。大部分冗余字段都采用雙向更新方式，以保證冗余字段的值不會被遺漏。12/5/202414A類表的冗余字段許多信息在7版中存在，但8版中把保單信息分布在幾張表中，所以我們在抽取8版數據時，生成了相關字段的信息。原則如下：1、一對一的表，直接更新2、一對多的表，SUM更新或首條記錄更新12/5/202415B類表的冗余字段B類表的冗余字段，大部分是從保單表更新得到。但在8版中，由于生成保單的置后現象（即回執問題）。所以在未找到保單記錄的情況下，我們通過投保單信息（A31）與投保要約信息表（A32）來更新B類表的相關字段。12/5/202416C類表的處理當生產