雙活數據中心技術研究方案匯報 雙活數據中心研究項目組2020年3月10日 匯報內容 雙活 多活數據中心實現方案 雙活 多活數據中心實現層次 訪問接入層 Web層 應用層 數據庫層 存儲層 訪問接入層 Web層 應用層 數據庫層 存儲層 上海卡園 上海集電港 訪問接入層 Web層 應用層 數據庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統平臺層 系統平臺層 系統平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 匯報內容 雙活 多活數據中心實現層次 訪問接入層 Web層 應用層 數據庫層 存儲層 訪問接入層 Web層 應用層 數據庫層 存儲層 上海卡園 上海集電港 訪問接入層 Web層 應用層 數據庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統平臺層 系統平臺層 系統平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 WEB 應用層雙活實現機制 WEB 應用層雙活實現機制主要有三種 一是基于主機集群技術 二是基于WEBSERVER 應用中間件軟件自身集群軟件實現功能 三是基于負載均衡設備方式 城域互聯 站點選擇服務器 WEB層雙活工作機制 WEB層雙活工作機制 城域互聯 站點選擇服務器 WEB層雙活工作機制 城域互聯 站點選擇服務器 應用層雙活工作機制 城域互聯 應用層雙活工作機制 城域互聯 應用層雙活工作機制 城域互聯 雙活 多活數據中心實現層次 訪問接入層 Web層 應用層 數據庫層 存儲層 訪問接入層 Web層 應用層 數據庫層 存儲層 上海卡園 上海集電港 訪問接入層 Web層 應用層 數據庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統平臺層 系統平臺層 系統平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 數據庫層雙活實現示意圖 跨機房的ORACLERAC集群 VPLEX 實現數據零丟失和數據庫實時切換 跨機房的數據庫利用數據同步復制技術 通過應用部署實現讀寫分離 數據庫層雙活實現機制主要有兩種 一是基于ORACLERAC VPLEX 二是基于ORACLEDATAGUARD GOLDENGATE 數據庫層雙活實現機制 ERAC 數據庫層雙活實現機制 ERAC 數據庫層雙活實現機制 讀寫分離 主應用域 應用域1 主數據庫 應用域2 應用域k 客戶端1 客戶端2 客戶端k RAC Node1 RAC Node2 RAC Nodej 備數據庫 OracleDB Server ActiveDataGuard 輔助應用域 應用域1 應用域i 鏡像庫 OracleDB Server GoldenGateSharePlex存儲復制等 災備精算 數據庫層雙活實現機制 讀寫分離 主應用域 應用域1 主數據庫 應用域2 應用域k 客戶端1 客戶端2 客戶端k RAC Node1 RAC Node2 RAC Nodej 數據庫 OracleDB Server 主 輔助應用域 應用域1 應用域i k 鏡像庫 OracleDB Server GoldenGateSharePlex存儲復制等 災備精算 數據庫層雙活實現機制 讀寫分離 主應用域 應用域1 主數據庫 應用域2 應用域k 客戶端1 客戶端2 客戶端k RAC Node1 RAC Node2 RAC Nodej 數據庫 OracleDB Server 主 輔助應用域 應用域1 應用域i k 鏡像庫 OracleDB Server 主 輔助應用域 應用域1 應用域i k 數據庫層雙活實現機制對比 雙活 多活數據中心實現層次 訪問接入層 Web層 應用層 數據庫層 存儲層 訪問接入層 Web層 應用層 數據庫層 存儲層 上海卡園 上海集電港 訪問接入層 Web層 應用層 數據庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統平臺層 系統平臺層 系統平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 系統平臺層雙活實現機制 VMFSActive Active ESX備份代理 VPLEXMetro 城域互聯RTT 5ms 卡園 集電港 AccessAnywhere LAN SAN SAN VPLEXMetro FC VMFSActive Active StorageArray StorageArray ITOIVDC集中監控控制臺 AvamarDataStore AvamarDataStore AvamarProxyVM ITOI虛擬服務器 Nexus7000 Nexus7000 ESX ESX ESX備份代理 ITOI虛擬服務器 ESX ESX SAN SAN LAN 備份數據復制 虛機在線透明遷移 基于VPLEX技術的虛擬機雙活解決方案 雙活 多活數據中心實現層次 訪問接入層 Web層 應用層 數據庫層 存儲層 訪問接入層 Web層 應用層 數據庫層 存儲層 上海卡園 上海集電港 訪問接入層 Web層 應用層 數據庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統平臺層 系統平臺層 系統平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 存儲復制示意圖 利用基于存儲的數據復制 可以實現災備 但不能實現實時雙活 災備數據不能實時使用 切換時間較長 主機卷工作示意圖 主機 磁盤陣列 磁盤陣列 城域互聯 LogicVolume 上海集電港 上海卡園 PhysicalVolume PhysicalVolume 鏡像 I O I O I O 同步距離 利用基于主機的卷管理軟件 實現物理卷映射為邏輯卷的方式 將兩個數據中心的物理卷 映射為一個主機可見的邏輯卷 并在邏輯卷的層次 實現I O分離 城域互聯 虛擬機群 10110 10110 10110 10110 ACK ACK ACK ACK 同步距離 主機 主機 磁盤陣列 磁盤陣列 V PlexCluster 1 上海卡園 V PlexCluster 2 上海集電港 分布式的設備部署 存儲雙活示意圖 存儲雙活實現機制 存儲雙活實現機制主要有四種 一是基于主機卷復制技術 二是基于存儲虛擬化技術 三是基于存儲復制技術 四是基于SAN網絡復制技術 匯報內容 雙活 多活數據中心實現層次 訪問接入層 Web層 應用層 數據庫層 存儲層 訪問接入層 Web層 應用層 數據庫層 存儲層 上海卡園 上海集電港 訪問接入層 Web層 應用層 數據庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統平臺層 系統平臺層 系統平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 扁平化網絡接入 網絡扁平化 將實現全公司業務終端的便捷網絡接入和快速網絡傳輸 將實現網絡平臺與業務平臺松耦合的跨越 降低業務系統部署位置對用戶端的影響 核心網將成為多中心網絡傳輸平臺 有效保障了多活中心的靈活部署 大大降低多活中心廣域網部署復雜度和資金投入 訪問接入層的雙活實現機制 為滿足雙活數據中心的需求 必須使客戶端的請求在多個中心進行智能選擇 實現業務的連續性 性能最優 故障切換 按需連接 實現站點選擇通常有兩種方式 一是傳統站點輪詢技術 二是站點負載均衡技術 卡園數據中心 匯聚層 接入層 負載均衡設備 核心網 訪問接入層的雙活實現方案 WEB AP DB WEB AP DB 集電港數據中心 匯聚層 接入層 負載均衡設備 WEB AP DB WEB AP DB 站點選擇設備 站點選擇設備 js cbps8 clic 城域互聯 1 5 1 5 2 3 用戶端通過公司內網DNS解析域名請求 DNS解析請求被轉向站點選擇設備站點選擇設備探測域名所對應的多個服務器的狀態 并返回最合適的服務器IP地址 以實現多數據中心間負載均衡用戶訪問對應的WEB 應用服務器當其中一個數據中心的WEB 應用服務器出現故障或數據中心出現故障 用戶自動流量自動切換到正常數據中心的服務器 從而實現雙活 站點選擇設備對WEB 應用服務器狀態的檢測 卡園數據中心 匯聚層 接入層 負載均衡設備 核心網 WEB 應用層雙活實現方案 WEB AP DB WEB AP DB 集電港數據中心 匯聚層 接入層 負載均衡設備 WEB AP DB WEB AP DB js cbps8 clic 城域互聯 1 2 2 用戶不直接訪問服務器 而是訪問負載均衡設備的虛擬IP負載均衡設備探測虛IP對應的多個服務器的狀態 將流量指向合適的服務器 并在業務處理過程中保持會話的一致性當其中一臺WEB 應用服務器出現故障時 用戶自動流量自動切換到正常的服務器 從而實現數據中心內部高可用當數據中心出現故障時 通過訪問接入層策略將流量遷引至正常數據中心 負載均衡設備對于會話狀態的保持負載均衡設備對WEB 應用服務器狀態的檢測 2 網絡層雙活實現機制 兩地三中心多活模式下的網絡互聯和存儲備份 需要保證IP網絡的高可用性 又要保證能夠滿足既定RTO RPO目標及多活要求 大量使用Vmware虛擬化技術 需要多活中心間二層互通 同城間同步數據復制 需滿足OracleDataGuard同步復制或ORACLERAC VPLEX的實際要求 異地間異地數據復制技術 需滿足OracleDataGuard Goldengate技術的實際要求 考慮在卡園和集電港間部署DWDM設備 實現IP網 存儲網的高可用 網絡上通過直接二層互聯或OTV技術實現二層互通 在北京和上海間用SDH構建核心傳輸網 實現IP網絡高速互通 同城網絡互聯方案 業務主機 存儲 存儲交換機 FC 城域波分系統可以提供豐富和大量的光纖接口 如 GE 10GE FC等 城域波分 主數據中心 光傳輸設備 以太交換機 業務主機 存儲 存儲交換機 FC 同城數據中心 光傳輸設備 以太交換機 DWDM DenseWavelengthDivisionMultiplexing 密集型光波復用 VMotion遷移虛擬機 SAN iSCSI或NAS 動態遷移可在X86架構的VMWAREESX上實現 在不中斷服務的情況下 將VM遷移到其他的物理服務器上 可用在災備 資源調整 服務器維護等場合 實現遷移的服務器必須在一個二層網絡內 VM的GW在相同設備上 虛擬機動態遷移需要二層網絡的支持 同城網絡二層擴展需求 OTV虛擬化技術有兩個或以上的數據中心L2互聯需求或者數據中心內有跨L3的L2連接需求 需要盡量避免跨數據中心STP環路 優化跨數據中心擴展局域網的廣播流量 對多地點的網關一致性有配套的解決方案 需要支持跨數據中心虛擬資源的自由調度 需要建立跨數據中心的服務器集群等 OTV技術不受數據中心互聯介質影響 Source IPs OTV OTV Receiver OTV IPA 數據中心1 數據中心2 生產服務器 主數據中心 同城數據中心 A B 0 0 OTV Source IPs IPA Receiver 同城網絡連接示意圖 IPB Internet CN2MPLS核心網 CN2MPLS核心網 Internet 集電港數據中心 卡園數據中心 DMZ路由 廣域網路由 廣域網路由 DMZ路由 OTV服務 核心交換Catalyst6500 核心交換 DWDM通信系統ONS15400 生產應用匯聚交換 生產應用匯聚交換 同城網絡連接實現方案 Nexus7000 Nexus7000 異地網絡連接示意圖 上海數據中心 北京數據中心 155 622MSDH FCIP隧道 Source IPs IPA VLAN1 OTV Receiver IPB VLAN1 OTV 數據中心雙活 多活的實現示意圖 廣域網 Active Active應用服務器層 Active Standby數據庫層orActive ActiveForDifferentApplication Active ActiveWeb層 廣域網 運營商A 運營商B INTERNET 盤陣 數據庫 應用 Web 網絡核心 匯聚 接入 Active StandbyWeb層 異步數據復制 Active Standby應用服務器層 Active Standby數據庫層 上海卡園 上海集電港 北京稻香湖 INTERNET 訪問 Active Active用戶訪問層 Active Active用戶訪問層 同步數據復制 155 622MSDH DMZ區 核心網 廣域網 LAN區 安全管理區 DMZ區 核心網 廣域網 LAN區 安全管理區 Internet 站點選擇服務路由優化 站點選擇服務路由優化 防火墻入侵檢測 防火墻入侵檢測 DWDM 統一的安全管理 安全事件的關聯 CN2MPLS核心網 集電港數據中心 卡園數據中心 雙活中心安全服務部署 事件收集分析和關聯 事件收集分析和關聯 站點選擇服務防火墻入侵防御 站點選擇服務防火墻入侵防御 雙活中心網絡路徑管理 DMZ區 核心網 廣域網 網絡匯聚區 DMZ區 核心網 廣域網 Internet 站點選擇服務防火墻入侵防御 站點選擇服務路由優化 站點選擇服務路由優化 防火墻負載均衡 防火墻入侵檢測 DWDM CN2MPLS核心網 集電港數據中心 卡園數據中心 網絡匯聚區 服務器區 服務器區 站點選擇服務防火墻入侵防御 防火墻Active Standby 二層網關路由控制站點選擇負載均衡防火墻 網絡路徑管理 匯報內容 相關技術總結 實現難點 應用系統分級 核心系統采用讀寫分離 非核心系統虛擬化 存儲不虛擬化 核心系統 UNIX應用技術方案 非核心系統 X86平臺應用 綜合方案一 成本分析主要依據是與原有的兩地三中心方案做對比 分析需要增加的成本 核心系統 UNIX應用需增加的成本 非核心系統 X86平臺應用需增加的成本 綜合方案一成本分析 核心系統采用ExtendedRAC 非核心系統虛擬化 存儲虛擬化 核心系統 UNIX應用技術方案 非核心系統 X86平臺應用 綜合方案二 核心系統 UNIX應用需增加的成本 非核心系統 X86平臺應用需增加的成本 綜合方案二成本分析 核心系統采用讀寫分離 非核心系統虛擬化 非核心存儲虛擬化 核心系統 UNIX應用技術方案 非核心系統 X86平臺應用 綜合方案三 核心系統 UNIX應用需增加的成本 非核心系統 X86平臺應用需增加的成本 綜合方案三成本分析 匯報內容 技術測試方案 基于雙活規劃設計 模擬卡園和集電港基礎架構環境 驗證關鍵技術要點 并評估整體方案的可行性 包括 1 整體架構的可行性 2 實現跨機房的虛擬資源靈活調度 統一管理 提供基礎架構云服務 3 實現對用戶透明的應用服務負載均衡 4 異常運行狀態下 實現對用戶透明的快速應用服務切換 包括接入層 應用層 數據庫層 存儲層 網絡層等 5 對各類相關技術進行功能性測試 基于測試結果 進一步明確未來卡園和集電港雙活實現目標 通過測試 發現規劃設計中存在的問題與不足 并對設計規劃進行相應的調整 通過測試 識別雙活中心實施和管理中可能存在的技術風險 作為后續實施計劃和運維方案設計的參考 在測試過程中 幫助運維管理人員熟悉新引入的解決方案和設備配置方法 測試目標 測試場地 北京朝陽門機房測試時間 2011年10 11月測試人員 中國人壽雙活研究項目組主導 相關廠商參與 包括 思科 HP EMC Vmware Oracle HDS F5 Quest 博科 IBM等 測試部署 模擬卡園 模擬集電港 模擬遠程節點 存儲 MDS MDS GSS GSS DWDM ONS ONS 應用終端 2 ISR2800 Cat3750 N7K N7K ACE TUXEDO應用服務器 存儲 VPlex Web服務器 應用與SQL數據庫服務器 基于虛擬機 Web服務器 應用與SQL數據庫服務器 基于虛擬機 TUXEDO應用服務器 OracleRAC服務器 2 終端服務器 管理服務器 ITOI A