1、基于分布式數(shù)據(jù)庫的OLTP高性能方案分布式數(shù)據(jù)庫在解決什么問題應(yīng)用開發(fā)簡單，無需分庫分表，支持ACID，傳統(tǒng)MySQL兼容運(yùn)維方式簡單，一個(gè)人管理幾百臺服務(wù)器集群，自動(dòng)化運(yùn)維操作傳統(tǒng)交易型數(shù)據(jù)庫單庫承載能力有限云計(jì)算不斷發(fā)展，平臺化數(shù)據(jù)服務(wù)PaaS層替換煙囪式部署架構(gòu)信息科技的發(fā)展，數(shù)據(jù)量爆炸在線交易業(yè)務(wù)的發(fā)展應(yīng)用程序開發(fā)從煙囪式架構(gòu)向分布式的轉(zhuǎn)型應(yīng)用前端數(shù)據(jù)庫中間件微 服 務(wù)數(shù)據(jù)庫微 服 務(wù)微 服 務(wù)微 服 務(wù)數(shù)據(jù)庫微 服 務(wù)微 服 務(wù)微 服 務(wù)數(shù)據(jù)庫微 服 務(wù)微 服 務(wù)傳統(tǒng)架構(gòu)向微 服務(wù)轉(zhuǎn)型應(yīng)用前端數(shù)據(jù)庫如何應(yīng)對微服務(wù)應(yīng)用框架集中式 關(guān)系型 數(shù)據(jù)庫MySQLMySQLPGSQLS3對象 存

2、儲分布式數(shù)據(jù)庫MySQLMySQL實(shí)例實(shí)例PGSQLS3實(shí)例 實(shí)例 集中式存儲數(shù)據(jù)緊耦合無法彈性擴(kuò)張單點(diǎn)故障碎片化存儲數(shù)據(jù)碎片化數(shù)據(jù)無共享運(yùn)維成本高分布式存儲微服務(wù)對應(yīng)獨(dú) 立實(shí)例物理分散存儲邏輯集中管理聯(lián)機(jī)交易業(yè)務(wù)需要什么樣的分布式數(shù)據(jù)庫？ACID的支持：事務(wù)、一致性等，處理OLTPSQL完整支持：MySQL/PostgreSQL語法的完整兼容分布式與擴(kuò)展性：分布式是新一代架構(gòu)的基礎(chǔ)，擴(kuò)展性能應(yīng)對變化的數(shù)據(jù)量Multi-model與多租戶: multi-model多模數(shù)據(jù)庫引擎，同一引擎處理多種 數(shù)據(jù)應(yīng)用場景，符合微服務(wù)和云數(shù)據(jù)庫的架構(gòu)理念HTAP: 混合事務(wù)和分析場景，適應(yīng)更多數(shù)據(jù)應(yīng)用需求傳

3、 統(tǒng) 技 術(shù) 兼 容 性新 技 術(shù) 前 瞻 性Applicationclusterclusterclustercluster核心信貸CRM票據(jù)分庫分表將不同模塊的數(shù)據(jù)表分庫存儲，庫間 不相互關(guān)聯(lián)查詢，如果有，必須通過 數(shù)據(jù)冗余或在應(yīng)用層二次加工來解決， 對應(yīng)用程序侵入較大。通過分布式中間件進(jìn)行用戶ID的路由分發(fā)，保 證用戶的一類操作涉及的表在一個(gè)節(jié)點(diǎn)上完成， 避免分布式事務(wù)。如果有跨節(jié)點(diǎn)的事務(wù)，則通 過中間件保證其一致性。原生分布式數(shù)據(jù)庫將表分布到不同機(jī)器的庫上，減輕數(shù)據(jù)庫的壓 力物理機(jī)的CPU、內(nèi)存、網(wǎng)絡(luò)IO負(fù)載分?jǐn)偂ＶС?分布式事務(wù)。Application分布式中間件（路由分發(fā)MQ）用戶組

4、1用戶組2用戶組3用戶組4XXXclusterclusterclustercluster核心核心DB1核心DB2核心DB3核心DBn信貸信貸DB1信貸DB2信貸DB3信貸DBnCRMCRM-DB1CRM-DB2CRM-DB3CRM-DBn票據(jù)Applicationclusterclusterclustercluster核心核心DB1核心DB2核心DB3核心DBn信貸信貸DB1信貸DB2信貸DB3信貸DBnCRMCRM-DB1CRM-DB2CRM-DB3CRM-DBn票據(jù)票據(jù)DB1票據(jù)DB2票據(jù)DB3票據(jù)DBnXXX票據(jù)DB1 X 票據(jù)DB2 X票據(jù)DB3 X 票據(jù)DBn分布式交易型數(shù)據(jù)庫技術(shù)發(fā)

5、展體系應(yīng)用垂直分庫垂直分庫分庫分表原生分布式數(shù)據(jù)庫起點(diǎn)比較早，應(yīng)用控制能力強(qiáng)，可進(jìn)行深度定制化對于底層數(shù)據(jù)庫沒有任何特殊要求， 完全在應(yīng)用程序內(nèi)部進(jìn)行分庫構(gòu)建中間SQL解析層，盡可能將標(biāo)準(zhǔn) SQL拆分成多個(gè)子查詢下壓到下層數(shù) 據(jù)庫，在SQL層進(jìn)行結(jié)果拼裝對于底層數(shù)據(jù)庫無特殊要求，在中間件進(jìn)行SQL切分（支持XA即可）部分兼容傳統(tǒng)SQL，應(yīng)用程序開發(fā)難 度小于垂直分庫數(shù)據(jù)庫內(nèi)部處理分布式事務(wù)與數(shù)據(jù)切 分邏輯，對于應(yīng)用程序完全透明，不 需感知底層數(shù)據(jù)分布數(shù)據(jù)庫內(nèi)部原生支持分布式事務(wù)，性能遠(yuǎn)遠(yuǎn)高于分庫分表高可用與容災(zāi)能力由數(shù)據(jù)庫內(nèi)核原生 支持，不需額外輔助工具應(yīng)用程序邏輯侵入性極強(qiáng)，應(yīng)用程序 需要進(jìn)

6、行復(fù)雜邏輯才能進(jìn)行合理數(shù)據(jù) 分布拓?fù)浣Y(jié)構(gòu)調(diào)整或擴(kuò)容時(shí)非常痛苦，幾 乎不可能完成在線擴(kuò)容很難支持跨庫事務(wù)應(yīng)用程序邏輯侵入性較強(qiáng)，應(yīng)用程序 需感知底層數(shù)據(jù)分布結(jié)構(gòu)，才能設(shè)計(jì) 出優(yōu)化后的查詢邏輯中間件實(shí)現(xiàn)分布式事務(wù)，跨庫事務(wù)使 用XA機(jī)制，性能大幅度下降作為單點(diǎn)向新型分布式數(shù)據(jù)庫轉(zhuǎn)型的 過渡階段，技術(shù)延續(xù)性堪憂技術(shù)較新，業(yè)界成熟案例相對較少輔助工具相對較少，生態(tài)環(huán)境有待完 善優(yōu) 勢劣勢分布式數(shù)據(jù)庫技術(shù)發(fā)展體系對比分布式數(shù)據(jù)庫實(shí)現(xiàn)OLTP高性能MySQL主從復(fù)制架構(gòu)MySQL服務(wù)（主）MySQL解析器InnoDBAPPMySQL服務(wù)（備）MySQL解析器InnoDBMySQL服務(wù)（備）MySQL解析器

7、InnoDBAPPAPP讀寫只讀只讀binlogshippingSequoiaDB MySQL 100%兼容，彈性擴(kuò)張，多活架構(gòu)MySQL服務(wù)（主）MySQL解析器APPMySQL服務(wù)（主）MySQL解析器MySQL服務(wù)（主）MySQL解析器APPAPP讀寫讀寫讀寫SequoiaDB分布式數(shù)據(jù)庫SequoiaDB 分布式數(shù)據(jù)庫架構(gòu)計(jì)算分布+存儲分布SequoiaDB 分布式數(shù)據(jù)庫架構(gòu)SequoiaDB數(shù)據(jù)存儲層采用分布式架構(gòu)，實(shí)現(xiàn)了彈性水平擴(kuò)展以及高性能和高可用，靈活適應(yīng)不同規(guī)模企業(yè)及不同作業(yè)方式的需要。數(shù)據(jù)切分：系統(tǒng)提供垂直切分和水平切分的多 維分片管理方式，數(shù)據(jù)可以按多種條件切分， 均勻分

8、布到集群中的各個(gè)數(shù)據(jù)節(jié)點(diǎn)。高可用：數(shù)據(jù)在系統(tǒng)中至少保留三個(gè)副本，高 可用機(jī)制，保證了數(shù)據(jù)的持續(xù)安全使用。彈性擴(kuò)容：SequoiaDB的存儲節(jié)點(diǎn)可按需彈性擴(kuò)展，系統(tǒng)支持在線擴(kuò)容硬件成本降低：分布式架構(gòu)均采用通用x86服務(wù) 器+高密度硬盤，相比傳統(tǒng)的“小機(jī)+高端存儲” 的配置，大大節(jié)省了用戶投資費(fèi)用。SequoiaDB MySQL 分布式數(shù)據(jù)庫架構(gòu)SQL解析區(qū)數(shù)據(jù)存儲區(qū)元數(shù)據(jù)管理區(qū)協(xié)調(diào) 節(jié)點(diǎn)協(xié)調(diào) 節(jié)點(diǎn)協(xié)調(diào) 節(jié)點(diǎn)協(xié)調(diào) 節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)分區(qū)1數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)分區(qū)2數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)分區(qū)3數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)分區(qū)4數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)分區(qū)5數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)分區(qū)6

9、MySQL服務(wù)MySQL服務(wù)MySQL服務(wù)編目節(jié)點(diǎn) 編目節(jié)點(diǎn) 編目節(jié)點(diǎn)主副本1從副本2從副本3每個(gè)服務(wù)均可 進(jìn)行讀寫操作Sequoia DB分 布 式 存 儲 引 擎分布式交易設(shè)計(jì)悲觀鎖讀已提交能力MySQL/PGSQL/SparkSQL保持100%兼容原生 MySQL/PGSQL/SparkSQL 解析與執(zhí)行引擎，不需 擔(dān)心語法兼容訪問計(jì)劃流水類數(shù)據(jù)按時(shí)間與ID 二維切分，避免數(shù)據(jù)搬 遷余額類數(shù)據(jù)按ID散列， 保證均衡無熱點(diǎn)傳統(tǒng)二段提交機(jī)制保證數(shù)據(jù)跨節(jié)點(diǎn)一致性二段提表設(shè)計(jì)交2PC原則兼容性鎖機(jī)制支持多活架構(gòu)讀寫只讀讀寫容災(zāi)和多活方案，同城方案1、主備機(jī)房使用可靠高速光纖直連2、每個(gè)分區(qū)主節(jié)點(diǎn)

10、在主中心3、平時(shí)使用強(qiáng)一致同步策略保障數(shù)據(jù)不丟4、故障發(fā)生時(shí)使用takeover工具進(jìn)行集群分離 備集群獨(dú)立運(yùn)行5、故障恢復(fù)后使用merge工具進(jìn)行集群合并雙活方案1、應(yīng)用程序直連本地?cái)?shù)據(jù)中心數(shù)據(jù)庫協(xié)調(diào)節(jié) 點(diǎn)2、應(yīng)用程序不需要關(guān)注底層數(shù)據(jù)存儲主備中心復(fù)制和通訊策略兩地三中心1、遠(yuǎn)程數(shù)據(jù)中心使用異步機(jī)制進(jìn)行數(shù)據(jù)復(fù)制2、數(shù)據(jù)中心之間可進(jìn)行流量控制保證不會(huì)占用過多帶寬異構(gòu)數(shù)據(jù)源復(fù)制策略異步數(shù)據(jù)復(fù)制策略1、使用JSON或CSV格式定期將異構(gòu)數(shù)據(jù)源的原始數(shù)據(jù) 進(jìn)行導(dǎo)出為文本文件 2、通過FTP等方式將文件傳輸至巨杉數(shù)據(jù)庫的客戶端3、通過sdbimprt工具將文本文件導(dǎo)入巨杉數(shù)據(jù)庫4、滿足異構(gòu)數(shù)據(jù)源T+1

11、的數(shù)據(jù)復(fù)制策略，簡單可靠準(zhǔn)實(shí)時(shí)數(shù)據(jù)復(fù)制策略1、異構(gòu)數(shù)據(jù)源使用相關(guān)的工具將日志文件實(shí)時(shí)解析并寫入管道2、通過Apache Storm對管道信息監(jiān)聽并轉(zhuǎn)換為標(biāo)準(zhǔn)DML/DDL命令 3、指令分發(fā)至多線程處理服務(wù)進(jìn)行巨杉?xì)v史數(shù)據(jù)庫的 增刪改查4、滿足異構(gòu)數(shù)據(jù)源T+0的數(shù)據(jù)復(fù)制策略，秒級延時(shí)5、當(dāng)前支持Oracle Golden Gate（對應(yīng)Oracle數(shù)據(jù) 源）、IBM CDC（對應(yīng)IBM DB2）、IIE（對應(yīng)IBM Informix）、以及Cannel（對應(yīng)MySQL）6、對于當(dāng)前不支持的數(shù)據(jù)庫需要尋找開源的日志解析工具或進(jìn)行獨(dú)立開發(fā)OracleDB2InformixMySQL導(dǎo) 入 工 具歷史

12、庫異 步 數(shù) 據(jù) 復(fù) 制 策 略O(shè)racleDB2InformixMySQL歷史庫準(zhǔn) 實(shí) 時(shí) 數(shù) 據(jù) 復(fù) 制 策 略定期任務(wù)實(shí)時(shí)推送日志解析格式轉(zhuǎn)化任務(wù)處理多租戶與業(yè)務(wù)隔離核心交易域信貸業(yè)務(wù)域信用卡業(yè)務(wù)域協(xié)調(diào)節(jié)點(diǎn)組1協(xié)調(diào)節(jié)點(diǎn)組2數(shù) 據(jù) 存 儲 區(qū)核心業(yè)務(wù)信貸業(yè)務(wù)信用卡業(yè)務(wù)風(fēng)控系統(tǒng)審計(jì)系統(tǒng)客戶畫像系統(tǒng)全文檢索索引支持sd 運(yùn)行架構(gòu)SequoiaDBSearch Engine Connectorsearch engineroute agentsearch engine agentshard session managerdata cappeddata cappeddatadataroute age

13、nt index session managerAssync session and Assync session managershard sessionshard sessionshard sessionindex sessionindex sessionindex sessionshard sessionTCPlistenerIndexer readershard session agent sessionagent sessionexternal data source managerCB managerMain loopEDSEDSEDS對象存儲S3+文件系統(tǒng)支持22SequoiaD

14、B提供全面 的圖形化集群監(jiān)控功能集群健康狀態(tài)資源使用狀態(tài)SequoiaDB提供圖形化 操作界面集群部署、擴(kuò)容集群管理數(shù)據(jù)CURD操作數(shù)據(jù)管理，切分、均 衡等平臺統(tǒng)一管理監(jiān)控方案交易型業(yè)務(wù)場景替換 MySQL、PGSQL 等傳統(tǒng)關(guān)系型數(shù)據(jù)庫數(shù)據(jù)中臺數(shù)據(jù)服務(wù)與高頻只讀類業(yè)務(wù)提供比 Hbase 更加 友好的開發(fā)接口以及 更加簡便的運(yùn)維能力音視頻、圖片、文件等對象存儲類業(yè)務(wù)提供比 Ceph 更優(yōu)的 實(shí)時(shí)容災(zāi)能力以及更 加豐富的內(nèi)容管理特 性內(nèi)容管理聯(lián)機(jī)交易分布式關(guān)系型數(shù)據(jù)庫主要適用場景分布式存儲層支持分布式事務(wù)能力；支持RU、RC、RR、以及Serializable四種隔離級別；支持讀已提交的MVCC特性；在線數(shù)據(jù)Rebalance；多租戶數(shù)據(jù)物理隔離能力；HTAP交易分析業(yè)務(wù)的物理隔離能力；基于Raft協(xié)議的高可用能力；基于Logshipping機(jī)制的數(shù)據(jù)