1、汽車之家DB服務化平臺架構實踐技術創新，變革未來目錄平臺介紹運維設施數據設施Q&A服務化平臺 之 目標自助化服務化智能化自動化服務化平臺 之 發展歷程AI2014純手工2015工具化2016自動化, 系統化2017平臺服務化智能化服務化平臺 之 技術棧Go , Python , FlaskCelery ( 異步任務框架 )SaltStackHEKA(Logstash, Hindsight )Inception ( SQL 審核組件 )SQLAdvisor開源技術獨立開發AtlasBinlog2sqlTiDB Parservc-mysql-snifferKafka等等實例, 用戶, DB, 表,

2、字段,索引,數據量.元信息MySQLMSSQL資源 申請生產 變更備份 恢復流量 分析權限 控制SQL審核容量 信息數據 同步資源 大盤主機指標實例指標性能數據實時日志采集SALT自動部署DataBusAutoLine邏 輯 實 時 數 據 抽 取 傳 輸 脫 敏AutoMaskSQL優化建議日志分析處理秒級監控告警區間性能趨勢元信息管理空間容量規劃權限安全管控分組監控大盤集群信息數據 設施 平臺Proxy備份備份狀態信息監控信 息 采 集基 礎 組 件數 據 服 務AUTOMHA組件自動化擴容可視化切換時間點恢復自動化部署自動化MHA自動備份恢復自助化申請一鍵化切換備份中心建設智能異常診斷S

3、QL 自動優化配置自動優化故障修復自愈SQL查詢統計自助SQL上線服 務智 能 分 析運 維 模 塊鏈路復制 APP 關系狀態同步ErrorSlow實時LogSQLSQL服務化平臺 之系統架構服務化平臺運維設施服務化自動化構建核心功能自助化流程申請數據庫自動部署MySQL 集群SQLServerSlave 自動化構建技術方案SaltStackCelery 異步任務框架自動裝機系統服務化自動化構建?服務化自動化構建備份恢復體系備份全備增量加密校驗恢復正常恢復時間點恢復集群構建存儲可靠可擴展容易維護備份恢復體系: 備份程序: 傳輸程序BR: 恢復程序: 與DB交互: 備份數據流: 開始備份: 傳至

4、Buffer機: 恢復驗證: 上傳HDFS5: 備份清理BRBR備份恢復體系高可用架構主從復制AUTOMHA基礎DNSAlwaysON未來方向:引入 MGR, MIC, 分布式數據庫等技術實現高可用方案的升級換代SQL實時分析采集類型慢查詢優化分析運行報告新出現跟蹤實時SQL流量分析故障診斷實現方案HEKA 實時采集至KafkaTiDB 的 SQLParser消費端格式化統計分析可視化HEKA實時采集原始慢查詢采集格式HEKA實時采集原始查詢采集格式SQL實時分析MySQLMySQLMySQLWeb 系統HEKAHEKAHEKASlow SQL TopicMessage QueueRT SQL

5、 TopicError Log TopicLogConsumerSQLConsumer平臺DBELKSQLParserSQLAdviser計算 任務Log ProcessingSQL ProcessingSQL實時分析數據設施構建公司數據的高速公路支持公司向數據化轉型數據傳輸類型全備增量T + 1近實時功能需求數據脫敏延遲可控結構變更感知異構傳輸同步維護需求簡單靈活可擴展需求CDC獲取方案日志解析(Binary Log)Trigger 記錄變更SQL 邏輯抽取CDC獲取及技術選型采用方案AutoLine 邏輯抽取BinLog日志解析Part I :AutoLine邏輯復制AutoLine系統本

6、質上是一個分布式的調度系統邏輯復制T0T1TTnTn+1Table A 的時間軸表處理邏輯系統優勢靈活簡單異構支持按需擴容故障自愈Data MigrationBroker ( Multi Task Queue )CeleryBeat平臺DBTask SchedulerW0W1W2Wn-1WnResult StoreWeb系統分組調度計算擴容重復執行監控告警結構感知邏輯復制邏輯復制Part II:日志解析技術選型開源組件Alibaba CanalLinkin DATABUSTungsten replicatorMaxScale CDC自主研發Python ( python-mysql-repli

7、cation )Go ( go-mysql )Java (Open Replicator )模塊介紹日志解析消息Json化處理 冪等消息分發 解析端高可用模塊介紹快照處理創建快照START TRANSACTION WITH CONSISTENT SNAPSHOTBinlog_snapshot_fileBinlog_snapshot_positionSnapshot CloningSTART TRANSACTION WITH CONSISTENT SNAPSHOTFROM SESSION ;模塊介紹日志應用基備快照應用 增量日志應用 冪等性控制系統結構SnapshotLogDumperMySQLApply WorkerAppl