1、分布式數據庫助力金融科技架構轉型移動化與互聯網化推動科技的發展集中式架構問題系統分散，數據共亨度低缺乏靈活的水平伸縮能力無法快速應對瞬時爆發的業務增長采購運維成本高昂缺乏自主掌控能力，生產運行風險大大集中大機架構，重核心業務系統分布式SOA面向服務架構應用程序分布式虛擬化部署、微服務數據存儲分布式大數據、分布式影像 平臺核心父易分布式分布式父易型數據庫分布式技術在企業中的發展歷程應用程序開發從煙茵式架構向分布式的轉型應用 削墑數據庫中間件微 服 務數據庫微 服 務微 服 務微 服 務數據庫微 服 務微 服 務微 服 務數據庫微 服 務微 服 務傳統架構向微 服務轉型應用 削墑數據庫如何應對微服

2、務應用框架Oracle IBM 0B2MySQLMySQLPGSQLPGSQL分布式數據庫MySQL實例MySQL實例PGSQL實例PGSQL實例集中式存儲數據緊耦合無法彈性擴張單點故障碎片化存儲數據碎片化數據無共享運維成本高分布式存儲微服務對應獨 立實例物理分散存儲 彈性擴張分布式數據庫技術的典型應用場景數據倉庫大數據影像平臺數據中臺聯機父易數據倉庫 傳統報表統計分析類 業務，使用分布式MPP數據庫大數據 離線數據挖掘，使用 Hadoop技術堆棧影像平臺 非結構化對象存儲， 使用分布式數據庫或對象存儲數據中臺 提供聯機生產業務的 核心系統瘦身，使用分布式數據 庫聯機父易 提供在線父易型服務，

3、 使用分布式數據庫分布式技術在傳統大數據數倉的價值用得廣大數據支持多種數據類 型的存儲支持MapReduce對非結 構化數據自定義訪問方 式算得快分布式計算有效利用所 有設備計算能力使用預計算技術有效降 低實時計算需求存得多橫向擴展提升存儲量列存儲壓縮能力強分布式數據庫技術在統計分析中的不足 大數據支持多種數據類型用得廣 的存儲 支持MapReduce對非結構化數據自定義訪問方式 分布式計算有效利用所有算得快 設備計算能力 使用預計算技術有效降低實時計算盂求存得多 橫向擴展提升存儲呈 列存儲壓縮能力強可靠性弱并發能力不足響應速度不夠聯機交易業務需要什么樣的分布式數據庫？ACID的支持 事務、致

4、性等，處理OLTPSQL完整支持 MySQL/PostgreSQL語法的完整兼容分布式與擴展性 分布式是新代架構的基礎，擴展性能應對變化的數 據量Multi-model與多租戶 multi-model多模數據庫引擎，同引擎處理多種 數據應用場景，符合微服務和云數據庫的架構理念HTAP 混合事務和分析場景，適應更多數據應用需求傳 統 技 術 兼 容 性新 技 術 酌 瞻 性Application核心信貸CRM票據分庫分表clusterclusterclustercluster將不同模塊的數據表分庫存儲，庫間 不相互關聯杳詢，如果有，必須通過 數據冗余或在應用層次加工來解決， 對應用程序侵入較大。

5、通過分布式中間件進行用戶ID的路由分發，保 證用戶的類操作涉及的表在個節點上完成， 避免分布式事務。如果有跨節點的事務，則通 過中間件保證其致性。原生分布式數據庫將表分布到不同朸器的庫上，減輕數據庫的壓 力物理朸的CPU、內存、網絡I0負載分攤。支持 分布式事務。Application分布式中間件（路由分發MQ)用戶組1用戶組2用戶組3用戶組4XXXclusterclusterclustercluster核心核心DB1核心DB2核心DB3核心DBn信貸信貸DB1信貸DB2信貸DB3信貸DBnCRMCRM-DB1CRM-DB2CRM-DB3CRM-DBn票據clusterApplicationc

6、lusterclustercluster核心核心DB1核心DB2核心DB3核心DBn信貸信貸DB1信貸DB2信貸DB3信貸DBnCRMCRM-DB1CRM-DB2CRM-DB3CRM-DBn票據票據DB1票據DB2票據DB3票據DBnXXX票據DB1 X 票據DB2 X票據DB3X 票據DBn分布式交易型數據庫技術發展體系應用垂直分庫垂直分庫分庫分表原生分布式數據庫起點比較早，應用控制能力強，可進 行深度定制化對千底層數據庫沒有任何特殊要求， 完全在應用程序內部進行分庫構建中間SQL解析層，盡可能將標準SQL拆分成多個子杳詢下壓到下層數據庫，在SQL層進行結杲拼裝對千底層數據庫無特殊要求，在中

7、間 件進行SQL切分（支持XA即可）部分兼容傳統SQL，應用程序開發難 度小千垂直分庫數據庫內部處理分布式事務與數據切 分邏輯，對千應用程序完全透明，不 需感知底層數據分布數據庫內部原生支持分布式事務，性 能遠遠高千分庫分表高可用與容災能力由數據庫內核原生 支持，不需額外輔助工具應用程序邏輯侵入性極強，應用程序 需要進行復雜邏輯才能進行合理數據 分布拓撲結構調整或擴容時非常痔苦，幾 乎不可能完成在線擴容很難支持跨庫事務應用程序邏輯侵入性較強，應用程序 需感知底層數據分布結構，才能設計 出優化后的杳詢邏輯中間件實現分布式事務，跨庫事務使 用XA機制，性能大幅度下降作為單點向新型分布式數據庫轉型的

8、 過渡階段，技術延續性堪憂技術較新，業界成熟案例相對較少輔助工具相對較少，生態環境有待完 善優 勢劣 勢分布式數據庫技術發展體系對比金融級分布式數據庫分布式數據庫架構”計算存儲分離” 分布式數據庫架構數據庫實例區數據存儲區元數據管理區協調 節點協調 節點協調 節點協調 節點數據 節點數據 節點數據 節點分區1數據 節點數據 節點數據 節點分區2數據 節點數據 節點數據 節點分區3數據 節點數據 節點數據 節點分區4數據 節點數據 節點數據 節點分區5數據 節點數據 節點數據 節點分區6MySQL實例PGSQL實例S3實例編目節點 編目節點 編目節點主副本1從副本2從副本3每個實例均可作為高可用

9、負載 均衡 且能進行對等讀寫操作Sequoia DB分 布 式 存 儲 引 擎SequoiaDB支持多種數據庫實例類型關系型文檔型MySQLPostgreSQLJSON SparkSQL對象型S3Posix文件系統關系型數據庫實例：MySQLMySQL實例1（高可用）MySQL實例2（高可用）MySQL實例3（高可用）MySQL實例4（高可用）全兼容MySQL數據庫增刪改查語法(SQL、DML)視圖、存儲過程、觸發器、自增字段(DDL、DCL)語法 跨節點跨表事務、四種隔離級別、讀已提交能力協議級兼容MySQL客戶端協議級兼容JDBC驅動通訊協議 支持所有MySQL開發框架訪問計劃計算方式兼容

10、MySQL訪問計劃 統計信息收集策略兼容MySQL分布式事務能力悲觀鎖賣已提父能力MySQL/PGSQL/SparkSQL保持100%兼容原生MySQL/PGSQL/SparkSQL解 析與執行引擎，不需擔心語法兼 容訪間計劃流水類數據按時間與ID 維切分，避免數據搬遷余額類數據按ID散列，保 證均衡無熱點傳統段提父機制保證數據跨節點致性段提父表設計原2PC則鎖機制兼容性HT P能力+數據湖：MySQL + SparkSQLMySQL實例1（高可用）MySQL實例2（高可用）MySQL實例3（高可用）MySQL實例4（高可用）SparkSQL實例1SparkSQL實例2微服務框架下，對成千上萬

11、個MySQL數據庫實例做到統一化管理，防止數據碎片化，并對來自不同實 例和服務的數據統一實時分析，避免聯機交易與分析業務相互干擾多模式與多租戶在一個集群內同時提供關系型數據庫以及對象存儲實例 盡可能減少用戶對于異構產品的學習與運維成本MySQL實例1MySQL實例2S3對象存儲Posix文件系統結構化存儲格式非結構化存儲格式多租戶與數據隔離數據中臺域非結構化數據域數 據 存 儲 區聯機父易互聯網服務影像存儲審計監督數據倉庫機器學習結構化與非結構化存儲格式File HeaderSpace Management ExtentData Segment MetadataCS Metadatapage1

12、page2.offset 1offset 2空閑空間key2key1支持多種容災模式，數據零丟失同城方案1、主備機房使用可靠高速光纖直連2、每個分區主節點在主中心3、平時使用強致同步策略保障數據不丟4、故障發生時使用takeover工具進行集群分離， 備集群獨立運行 5、故障恢復后使用merge工具進行集群合并雙活方案1、應用程序直連本地數據中心數據庫協調節點2、應用程序不需要關注底層數據存儲主備中 心復制和通訊策略兩地三中心1、遠程數據中心使用異步機制進行數據復制2、數據中心之間可進行流量控制保證不會占用過多帶寬異構數據源復制策略異步數據復制策略1、使用1S54或+Sv格式定期將異構數據源M

13、r始數據 p行導出Qcdc件2、tTFT6a方式將c件傳輸至巨杉數據庫M客戶端3、tTIdbBDGrJs具將cdc件導o巨杉數據庫4、滿足異構數據源T+1M數據復制策略，簡單S靠準h時數據復制策略1、異構數據源使用lmMs具將日志c件h時解析x 寫o管道2、tTAGacAe SJFrD對管道信息監nx轉換Q標準D32 DD2命令 3、指令分發至P線程處理服務p行巨杉歷史數據庫M b刪改查4、滿足異構數據源T+OM數據復制策略，秒級延時5、if支持5racCe /FCdeE /aJe(對y5racCe數據源)、0B3 +D+(對y0B3 DB2)、00E(對y0B30EfFrDBx)、V及+aE

14、EeC(對y3LSQ2)6、對eifN支持M數據庫需O尋找開源M日志解析 s具或p行獨立開發OracleDB2InformixMySQL導 入 工 具歷史庫異 步 數 據 復 制 策 略DB2InformixMySQL歷史庫準 實 時 數 據 復 制 策 略定期任務實時推送Oracle日志解析格式轉化任務處理聯機交易場景中分布式數據庫應用接入層應用應用應用服務層杳詢服務賬務服務場景控制流程調度備份服務外部服務鑒權服務用戶權限安全服務服 務用戶服務存儲層SequoiaDB巨杉數據 庫RedisCeph物理層計算虛擬化網絡虛擬化存儲虛擬化 laaS虛擬機虛擬機虛擬機 VM物理機物理機物理機X86物

15、理機集群管控配詈中心注冊中心消息服務組 消息推送資源服務組 資源更新杳詢賬 戶組外部備 份組安全服 務組場景控 制服務 組認證授權 服務組分布式數據庫分布式緩存分布式存儲微服務框架分布式數據庫開發管理渠道層A地B地應用應用應用數 據 中 心API分布式緩存數據庫實例MySQL實例MySQL實例協調節點備數據協調節點備數據備數據主數據SequoiaDB存儲SequoiaDB分布式數據庫數據中心1API分布式緩存數據庫實例MySQL實例MySQL實例協調節點備數據協調節點備數據備數據主數據SequoiaDB存儲SequoiaDB分布式數據庫數據中心2API分布式緩存數據庫實例MySQL實例MySQ

16、L實例協調節點備數據協調節點備數據備數據主數據SequoiaDB存儲SequoiaDB分布式數據庫數據中心3實時開少同城雙活兩地三中心架構數據中臺場景中分布式數據庫應用數據中臺業務價值數據匯聚 連接前后縱觀大局 統領全局技術升級 應用快捷套數據個ID組服務數據標準化數據規范定義從業務源頭標準化技術內核工具化規范定義、建模研發、調度運維元數據驅動智能化智能化規劃計算和存儲單元技術驅動數據連接通過統ID進行業務間數據連接技術內核工具化自動化數據清洗、高效標簽生產業務驅動技術價值化打破信息孤島，產生高價值數據主題式數據服務主題邏輯表屏蔽復雜的物理表統多樣化數據服務高并發杳詢自由報表在線服 務跨源數據

17、服務屏蔽異構數據源數據中臺體系結構實時數據服務內容管理場景中分布式數據庫應用銀行業內容管理系統發展歷史新一代 ECM 非結構化數據量巨大。銀行每E產生大量憑證、票據、報表、檔案以及其他非結構化數據。 銀行的非結構化數據直接關系銀行的核心價值，包括信用、法規遵從、風險管理、客服等。 銀行的非結構化數據涉及諸C業務領域，M存在大量業務間的傳遞和共享需求。 非結構化數據的操作常常是業務流程的重要環節，直接影響業務流程的效率。 銀行的非結構化數據通常有很強的生命周期管理和安全方面的需求。傳E 需求弱事務型碎片化 隨時隨地云計算互聯網銀行CE-簡單的影像 5用獨立服務于CE的 影像服務E一7供服務的影

18、像40全行級的-3管理 40，21采用傳EECM架構2003-20042005-20072007-20102010-2014SCM 3.0架構設計應用服務資源管理層原C服務編制組件安全 管理應用服務 質簫管理數據生命 周期管理可拔插原C服務層全文檢索圖像檢索視頻檢索OCR識別語音識別元數據管理應用系統智能識別 云平臺應用存/恒信投行管理 系統企貸、個 貸電C檔案 系統IT運營監 控系統云服務資源管理層并行計算框架資源管理服務數據挖R服務全文檢索服務其他管理服務數據存/層元數據服務應用存/應用存/應用存/應用存/應用存/應用存/根據存/系統 的特點，根據 應用類型與生 命周期，使用 不同級別的存/方式文件緩存層元數據存/文件O久化存/層文件歸檔層應用服務層文件搜索簡單文件存/ 下載服務復合