1、互聯網金融數據云平臺架構彈性敏捷的RDS架構與互聯網最佳實踐以數據處理技術為核心，持續為互聯網轉型企業打造高端服務PaaS平臺傳統企業互聯網轉型的應用架構開源軟件的特點5和在企業應用中的問題以MySQL為例Enterprise Ready Open Source6簡單，易用，十分鐘數據庫7普遍面臨擴展性 和高可用的難題生產應用中8擴展性：讀寫分離是互聯網行業提升數據庫吞吐量的常規方案存在的問題：在應用程序中包含讀JDBC/ODBC寫JDBC/ODBC應用程序邏輯決定哪些SQL調 用讀數據源，哪些調用寫數據 源已有應用需做大量修改才可 使用數據復制的效率得不到有效 保障，復制延遲影響業務的 結果

2、Web/App ServersIndex & Binary Log RotationMy SQL Slave ServerWritesReplicationMy SQL Master ServerWrites & ReadsDBProxyReads讀寫分離組件Writes9Pacemaker/Keepalived/MHA/MySQL Cluster.配置和運維復雜；針對MySQL特點需要人工開發額外腳本不可避免腦裂的問題在業務高峰期出現問題不敢切換；數據文件存在于存儲設備，是個單獨故 障點。冷備，備機不提供服務，浪費一半資源不支持故障節點自動修復keepalivedVIP 192.168.1.

3、2Master 192.168.1.3Backup 192.168.1.4存儲設備ActionHA各類高可用方案不能保證數據完整性“互聯網+”需要這樣的數據庫云集高可用技術之大成合橫向擴展能力于一身11 數據 緩存RedisRedis RedisRedisRedis負載 均衡Service IpHAProxy 1HAProxy 2HAProxy group 1管理 門戶ZabbixBalm mcBalm mc 高可用管理MySQL高 可 用 集 群外部 支付 系統My SQL 1My SQL 2My SQL 3My SQL 4讀寫 分離DBProxy 1DBProxy 2 交易庫讀寫分離DBP

4、roxy 1DBProxy 2 其他庫讀寫分離My SQL 1My SQL 2LUN交易庫My SQL 1My SQL 2LUNLUNLUN支付庫短消息風控My SQL 1My SQL 2其他1My SQL 1My SQL 2其他8My SQL 1My SQL 2其他1My SQL 1My SQL 2其他8My SQL 1My SQL 2其他nMy SQL 1My SQL 2物理 集群botbotbotbalm Server-1Server-2Server-3存儲設備（支持SCSI-3 PR）bot mgrServer-4存儲設備（支持SCSI-3PR）bot Server-30應用客服市場風

5、控交易活動通知秒殺分析其他互聯網金融高可用數據云平臺架構12 管理平臺展示技術演進：分布式數據庫集群的無縫遷移支撐100萬/秒紅包設計容量業務系統線上借貸產品交易，紅包庫數據規模總量1TB注冊用戶6千萬以上性能指標紅包數量按照100萬/秒容量設計系統特性全局自增ID拆分表多維度復制中間層1%影響以內的異步審計日志在水平拆分基礎上支持單節點自定義 分表運行級別7x24x365愛可生分布式數據庫集群軟件1組非拆分數據節點，4組分片節點。所在節點是1主3從，其它節點時1 主2從。拆分數據：產品、賬號、好友相關16個分片節點，拆分數據：紅包數據愛可生分布式數據庫集群軟件交易業務紅包業務。集高可用之大成

6、部署簡單，運維方便極端情況不丟任何數據切換時間短，5秒以內多套靈活高可用分組同城災備，異地災備一體化貼近MySQL設計，自動處理上百種 MySQL故障主從讀寫分離水平擴展降低主節點的負載壓力提高資源利用效率在線添加MySQL從機，不影響業務根據業務SQL統計調整主從比例高性能，中間層的性能損耗低于10%多年數據庫服務積累十年數據服務經驗完善的數據生態系統自主知識產權產品快速投產無需更改應用中間層透明MySQL接口中間層自動讀寫SQL路 由事務可強制讀主庫業務維度的延遲檢測 和自動處理數據庫云PaaS平臺的優勢MySQL數據庫自動化運維管理數據庫智能管理平臺軟件功能：Dashboard：顯示平臺

7、中各類節點的邏輯拓撲圖和 健康狀態，并提供標準接口，供第三方軟件對接集群節點管理：實現集群節點主機的配置、管理及維 護，如添加/刪除主機、停止/啟動HA等數據庫管理：MySQL數據庫的日常管理和維護，如 高可用組的動態創建、擴展等，數據庫實例的創建、 激活、移除/加入高可用組、移出/加入路由、停止/ 啟動實例等，備份策略管理，還原數據庫備份等監控報表:實現對集群內的節點主機、MySQL數據庫 的運行狀態進行監控，并生成性能診斷報表。告警管理：實現預設報警規則的配置，提供郵件、短 信的異常告警提醒DBProxy管理：實現DBProxy（讀寫分離中間件） 的全生命周期的管理，如創建、配置、刪除、添

8、加/ 刪除路由等用戶及日志管理：實現用戶及權限、各節點及組件日 志的管理運維管理平臺功能架構數據庫日志節點日志操作日志拓撲結構節點服務狀態告警狀態數據庫監控系統監控報表生成用戶管理角色管理權限配置未處理告警已處理告警節點管理 和維護集群節點配 置DBProxy 管理DBProxy 配置監控報表數 據 庫 實 例 管 理DBProxy 管理集群 節點 管理告 警 管 理儀 表 計 量日 志 管 理用 戶 管 理數據庫實例管理備份策略管理還原數據庫備份自動化運維管理平臺方案物理主機管理管理控制臺組件實例管理數據庫實例管理讀寫分離組件管理負載均衡組件管理監控告警管理用戶審計用戶管理平臺組件拓撲結構圖

9、“互聯網+”對于大規模云數據集的處理技術需求分布式集群 分庫分表負載均衡數據分片數據分片集群管理平臺愛可生分布式集群中間件SQL轉換和分發SQL轉換和分發分布式MySQL集群原理應用服務器應用服務器應用服務器MySQL數據庫集群節點并行計算邏輯庫(schema)- DB1邏輯表(table)-T1分片節點(datanode)-分 片1實例(database)-數據庫1節點主機(datahost)-物理 主機1數據庫DB1表T1表T2分片1分片2物理主機1物理主機2物理主機3分片3分片4數據庫1數據庫2 數據庫3數據庫4分布式數據庫分庫分表模型“互聯網+”對開發測試云的要求DevOps開發運維一

10、體化DB as a Service自服務項目背景：該銀行的數據中心擁有規模龐大的IT基礎設施和種類繁多的線上和開發測試 項目。需構建完整統一的私有云中的數據庫即服務平臺，并與IaaS整合。解決方案：我們提供了基于MySQL的云數據庫即服務平臺。實現了面向多租戶開發測試環境和生產環境的數據庫自服務、隨需創建擴縮、便捷自動管理 和運維的統一的數據庫云平臺。方案價值：目前DBaaS平臺已投產系統63套，開發環境200個數據庫實例，測試環境100個實例。物理服 務器共計30臺左右，虛擬機200個左右。提升了快速的MySQL服務交付能力形成了標準的MySQL運維管理規范實現了全面的MySQL運維自動化能

11、力已經支持了手機銀行、財富體驗、個貸系統、互聯網在線融資、信用卡企業服務等30 余個項目，加快了開發、單元測試、功能測試、集成測試和生產部署的處理流程，從基礎設施 層面滿足業務敏捷性需求。某銀行面向私有云的云數據庫平臺，打造DevOps模式應用界面展示-實例管理界面展示-備份策略界面展示-實例性能擴容界面展示-實例存儲擴容界面展示-實例HA擴容物理機資源Control Groups資源用戶多核CPU內存平 資臺系統 源調度MySQLA型實例MySQLB型實例單機多實例，充分利用 資源DBaaS提供了CPU計算資源、內存資源的隔離 手段DBaaS中的數據庫服務實例運行時在各自的容器中運行，互相不

12、可見，不影響CGroups是Linux內核 提供的一種資源隔離手 段，資源調度損耗小， 性能高Docker容器采用了linux內核中的cgroup 技術來實現container 的資源的隔離和控制。資源隔離：Container與Docker技術MySQL數據庫災備數據復制容災技術層次及分類應用文件系統裸設備/卷NASIP磁盤陣列緩存設備I/O驅動程序SCSI, FCNFS,CIFSSAN1. 基于陣列復制2. 基于SAN復制OS3. 基于OS復制4. 基于數據庫復制5. 基于應用復制復雜度兼容性擴展性帶 寬DBMS數據庫管理系統基于QRep的數據庫容災架構原理數據復制基于binlog 日志進行

13、解析、過濾、 傳輸、回放優化了異地網絡傳輸， 采用SQL合并及壓縮提 升處理性能基于行格式binlog的 高效處理及傳輸，有效 提升RPO備庫在復制過程中始 終處于運行等待狀態， 基于主鍵歸并，加速并 行回放效率，有效提升 RTO主庫主庫主庫主庫Dump協議主端Agent(解析/提取/壓縮/傳輸)備端Agent(接收/解壓/合并/回放)SQL備庫備庫備庫備庫管理 監控 節點Qrep數據壓縮傳輸主端并行收集各個業務庫的事務binlog，基于主鍵合并RowChange，序列化壓縮成一個work進行傳 輸備端接收work，解壓，反序列化成RowChange，置于workpool備端啟動多個worke

14、r并行回放。基于主鍵合并的RowChange不存在相同主鍵，與順序無關。Gargou：主端組件Emmet：備端組件QRep數據復制組件架構數據傳輸原生replication是流式，基于event，粒度小，壓縮比小，壓縮和 解壓消耗時間和傳輸收益相比較大災備數據復制工具可配置最大粒度（缺省3M），較原生的粒度大， 壓縮比高，所以壓縮后傳輸效率更高（gzip壓縮算法）并行回放基于主鍵合并的并行回放，提升回放效率insert + update = insert update + update = update insert/update + delete = delete delete + inse

15、rt = insertdelete + delete = delete愛可生災備數據復制組件設計原理主機和災備端的日志包傳輸有ACK機制日志包本身帶CRC32的checksum主端gargou、備端emmet均是集群化的，任一節點Fail 時，新節點均可從中斷狀態中繼續工作。回放時完善的異常處理機制可選定時進行主備的數據全量校驗災備數據復制的安全性分別在2M、5M、10M三種網絡環境進 行壓測總執行時間愛可生 復制組件比原生組件 快4倍以上在2萬左右QPS， 災備復制工具可以 基本無延遲愛可生災備數據復制組件評測結果基于 QRep 的災備場景解析1. 基于Qrep的異地容災方案機房AMySQL

16、主MySQL從MySQL從愛可生高可用讀寫分離集群機房BMySQL主MySQL從MySQL從愛可生高可用讀寫分離集群管理節點配置推送QREP異步傳輸Gargou主端Agent 高可用集群Emmet備端Agent 高可用集群服務IP服務IP2. 基于QRep的兩地三中心場景生產機房同城容災機房異 步 傳 輸服務IP主端Agent 高可用集群管理節點備端Agent 高可用集群管理節點服 務IP異地容災機房管理節點備端Agent 高可用集群服 務IP配置推送QREPMySQL主MySQL從愛可生高可用讀寫分離集群MySQL從MySQL主MySQL主MySQL從MySQL從3. 基于Qrep的雙活互備場景機房AMySQL主MySQL從MySQL從愛可生高可用讀寫分離集群主備端Agent 高可用集群管理節點機房B