技術交流

容器云

移動互聯網化下的IT架構2022/11/30吳恒@長沙技術交流

容器云

移動互聯網化下的IT架構1技術需求：歷史上IT技術關注基礎設施的通用性和高效性面向科學計算（1960-1971）面向通用計算（1972-1990）面向規模計算（1991-2000）面向規模復用計算（2001-2015）產生操作系統技術解決基礎設施通用性問題利用分時復用技術解決基礎設施高效性問題下一個驅動力？技術需求：歷史上IT技術關注基礎設施的通用性和高效性面向科學2技術需求：移動互聯網化會是IT技術下一個驅動力創新主動化交付移動化峰值極限化響應及時化移動互聯網化特征：創新主動化、交付移動化、峰值極限化、響應及時化反映出開發迭代頻繁，需高效應對移動化應用開發通常每周需更新版本反映出運維支撐復雜，如何及時響應峰值突發要求運維實時，保服務連續性技術需求：移動互聯網化會是IT技術下一個驅動力創新主動化交付3技術需求：當前IT技術難以滿足需求，痛點是自動化效果不好物理/虛擬主機自動化方法存在運行環境和OS耦合的問題導致開發/測試難高效（百次/天），運維支撐難及時（分鐘/秒）難以適應互聯網化需求源代碼開發者測試者基于文檔或腳本OS運行環境應用配置OS運行環境應用配置運維者監測運行環境和OS緊耦合難回滾，比如互聯網應用兩個版本依賴的.Net版本不一樣基于文檔或腳本預先確定部署規模，運行時不調整，監測發現問題技術需求：當前IT技術難以滿足需求，痛點是自動化效果不好物理4技術需求：迫切需要新技術和新方法解決自動化效果問題新技術：迫切需要運行環境和OS解耦，支持啟動即服務鏡像新方法：持續集成（百次/天反饋），可視化編排（分鐘/秒生效）源代碼開發者測試者OS應用配置運行環境運維者監測交付新型鏡像啟動即服務運維人員只需啟停，可視化規模編排應對秒級支撐，通過監測預報和發現問題持續集成OS應用配置運行環境可視化編排運行環境和OS解耦易回滾技術需求：迫切需要新技術和新方法解決自動化效果問題新技術：迫5技術需求：容器就是滿足互聯網應用需求的新技術容器采用沙箱解耦OS和應用環境（SUSE，CentOS7，CentOS6）只有啟動停止操作，運行時修改容器內容不生效硬件虛擬機WindowsLinux應用應用硬件OS（Linux）容器應用應用容器核心思想：模擬OS環境關鍵技術：如何支持多種OS典型操作：開機/關機/安裝/卸載核心思想：復用OS，模擬沙箱環境關鍵技術：如何支持啟動即服務鏡像典型操作：啟動/停止技術需求：容器就是滿足互聯網應用需求的新技術容器采用沙箱解耦6技術需求：容器支持啟動即服務鏡像配置OS環境ID，全局唯一安裝什么軟件軟件該如何啟動容器采用“配置-模板”模型，基于配置文件拷貝實現模板復用，利用配置文件變更組裝出新模板，便捷高效，啟動即服務技術需求：容器支持啟動即服務鏡像配置OS環境ID，全局唯一安7應用模式：集群管理+持續集成+可視編排是容器平臺核心基于容器技術，實現：容器集群：滿足規模化管理，租戶個性化要求持續集成：滿足創新主動化、交付移動化需求可視編排：滿足峰值極限化、響應及時化要求物理服務器物理服務器…容器集群管理（不同部門隔離和共享資源需求）持續集成開發階段可視編排運維階段離線分析和實時處理應用模式：集群管理+持續集成+可視編排是容器平臺核心基于容器8應用模式：面向互聯網應用的容器平臺完整功能棧資源供給層資源調度層服務封裝層服務協作層應用訪問層Amazon/AliyunVMWare/OpenStack物理機容器容器網絡容器鏡像庫容器集群調度存儲服務關系型數據庫緩存服務分庫分表+讀寫分離計算服務離線統計實時處理服務注冊數據分發消息分發Web集群Web集群Web集群Web集群持續集成自動部署可視編排應用部署層系統維護層日志收集定時調度系統監控維護規則系統配置系統報表分布式事務應用模式：面向互聯網應用的容器平臺完整功能棧資源資源服務服務9應用模式：面向互聯網應用的容器平臺研發流程總體思想：先解決有，再解決廣度（橫軸）和深度（縱軸）問題具體流程：容器評估，集群管理，應用管理（持續集成/可視編排），面向移動互聯網的容器云服務平臺集群管理：資源隔離和共享容器評估：可靠性和性能應用管理：持續集成和編排深度廣度云服務平臺：替代IOE云服務平臺：支持數據處理Wearehere應用模式：面向互聯網應用的容器平臺研發流程總體思想：先解決有10項目背景：互聯網金融正成為國家經濟發展的重要驅動力互聯網金融是基于互聯網實現的新型金融業務模式有利于小微企業發展和擴大就業，提升金融服務質量和效率，促進中國經濟可持續發展2015年7月，十部門發布《關于促進互聯網金融健康發展的指導意見》2015年11月，互聯網金融首次納入《中共中央關于制定國民經濟和社會發展第十三個五年規劃的建議》2016年，以互聯網金融為核心的互聯網經濟將占比中國GDP的6.9%，到2025年，這一比重會提高到22%。項目背景：互聯網金融正成為國家經濟發展的重要驅動力互聯網金融11項目背景：互聯網金融給中國民生銀行帶來機遇和挑戰中國民生銀行是最早涉足互聯網金融的傳統金融機構之一直銷銀行產品處于業界領先水平，具有快速增長的基礎，但也面臨持續發展的挑戰針對互聯網金融創新，中國民生銀行面臨用戶規模(百萬用戶向千萬用戶發展)和靈活管理的挑戰(以周為單位進行應用版本更新)2015年統計數據顯示，19家直銷銀行上線，中國民生銀行處于領先水平，具有快速增長的基礎。VS項目背景：互聯網金融給中國民生銀行帶來機遇和挑戰中國民生銀行12項目背景：機遇和挑戰促使中國民生銀行需要“內外兼修”互聯網金融創新需要解決用戶規模和靈活管理問題本項目主要關注靈活管理問題“外”：采用模型驅動的新架構，替代基于“文檔或腳本”的開發和運維交互模式，應對靈活管理的挑戰“內”：互聯網金融用分布式架構替代IOE架構，解決用戶規模的挑戰項目背景：機遇和挑戰促使中國民生銀行需要“內外兼修”互聯網金13項目總體需求：支持應用的部署、運行和維護總體需求：圍繞互聯網創新應用基礎設施：模型驅動，支持應用快速迭代，適用大規模場景應用管控：協調應用和其所使用的分布式核心系統，可統一管控一體化監管：對應用/分布式核心系統進行監測、預警和報警項目總體需求：支持應用的部署、運行和維護總體需求：圍繞互聯網14項目典型場景：容器管理、DevOps、多租戶典型場景：容器管理(灰)、DevOps(藍)、多租戶支撐(黃)容器管理：可視化容器管理、基礎運行環境可監控DevOps：應用部署、運行、監控和維護，基礎設施的高可靠多租戶：支持權限管控和資源隔離，適應擴展性和多租戶需求項目典型場景：容器管理、DevOps、多租戶典型場景：容器管15項目功能需求-三個平臺協作滿足三個典型場景功能需求：三平臺核心關注點，及協作滿足三個典型場景基礎設施：模型驅動應用交付,具備可靠性和擴展性應用管控：應用部署/運行/維護,具備容器管理、DevOps和多租戶一體化監管：應用可靠保證，具備事前預警和事后報警項目功能需求-三個平臺協作滿足三個典型場景功能需求：三平臺核16技術方案-以服務網關和消息總線為核心以服務網關和消息總線為核心，各平臺（除白色外）交互關系服務網關：用于物理資源/監控資源/軟件服務的注冊、發現和查詢消息總線：根據應用需求，從服務網關發現/查詢可用資源后調用技術方案-以服務網關和消息總線為核心以服務網關和消息總線為核17技術方案-基礎設施核心是容器管理，以及可靠性和擴展性基于Docker，圍繞容器管理提供可靠性和擴展性保障可靠性：采用冗余、補償和雙活機制保證基礎環境的可靠性擴展性：采用分層思想，應用管控平臺只需與Master進行交互技術方案-基礎設施核心是容器管理，以及可靠性和擴展性基于Do18技術方案-一體化監管核心是監測優化、預警和報警基于Zabbix，核心是監測優化、預警和報警監測腳本：圍繞實際監測需求定制(ActiveMQ,Zookeeper,Redis..)數據優化：Agent端合并和壓縮數據，降低一體化監管框架開銷規則設定：確定監管對象，采用離線測試方法進行規則參數配置技術方案-一體化監管核心是監測優化、預警和報警基于Zabbi19技術方案-應用管控核心是應用管控和多租戶應用管控：支持應用開發、測試、集成、發布、運行和維護多租戶：(1)客戶-租戶-用戶三層，要求租戶資源隔離，用戶共享租戶資源；(2)定制用戶可訪問的視圖樣式技術方案-應用管控核心是應用管控和多租戶應用管控：支持應用開20部署架構-邏輯視圖本項目可實施在物理機/虛擬機上支持應用的開發、測試、集成、發布、運行和維護部署架構-邏輯視圖本項目可實施在物理機/虛擬機上21部署架構-物理視圖初始規模約100臺采用網絡冗余策略部署架構-物理視圖初始規模約100臺22應用效果：面向互聯網應用的容器平臺核心指標容器評估穩定性：修復數10個缺陷，提交社區性能：與物理機相當（IBM報告和內測結果）集群管理性能和資源管控滿足需求性能：與Swarm相當，是k8s性能10倍（DockerOne和內測數據）管控：具備Mesos多租戶能力，彌補其多租戶無法共享物理資源不足

具備k8s應用管理能力，彌補其無法支持多種發布策略不足開發測試效率達到20次迭代/天理財互聯網應用峰值性能提高1個數量級應用效果：面向互聯網應用的容器平臺核心指標容器評估23謝謝wuheng09@謝謝24應用效果：面向互聯網應用的容器平臺核心指標物理機操作系統物理機應用效果：面向互聯網應用的容器平臺核心指標物理機操作系統物理25技術交流

容器云

移動互聯網化下的IT架構2022/11/30吳恒@長沙技術交流

容器云

移動互聯網化下的IT架構26技術需求：歷史上IT技術關注基礎設施的通用性和高效性面向科學計算（1960-1971）面向通用計算（1972-1990）面向規模計算（1991-2000）面向規模復用計算（2001-2015）產生操作系統技術解決基礎設施通用性問題利用分時復用技術解決基礎設施高效性問題下一個驅動力？技術需求：歷史上IT技術關注基礎設施的通用性和高效性面向科學27技術需求：移動互聯網化會是IT技術下一個驅動力創新主動化交付移動化峰值極限化響應及時化移動互聯網化特征：創新主動化、交付移動化、峰值極限化、響應及時化反映出開發迭代頻繁，需高效應對移動化應用開發通常每周需更新版本反映出運維支撐復雜，如何及時響應峰值突發要求運維實時，保服務連續性技術需求：移動互聯網化會是IT技術下一個驅動力創新主動化交付28技術需求：當前IT技術難以滿足需求，痛點是自動化效果不好物理/虛擬主機自動化方法存在運行環境和OS耦合的問題導致開發/測試難高效（百次/天），運維支撐難及時（分鐘/秒）難以適應互聯網化需求源代碼開發者測試者基于文檔或腳本OS運行環境應用配置OS運行環境應用配置運維者監測運行環境和OS緊耦合難回滾，比如互聯網應用兩個版本依賴的.Net版本不一樣基于文檔或腳本預先確定部署規模，運行時不調整，監測發現問題技術需求：當前IT技術難以滿足需求，痛點是自動化效果不好物理29技術需求：迫切需要新技術和新方法解決自動化效果問題新技術：迫切需要運行環境和OS解耦，支持啟動即服務鏡像新方法：持續集成（百次/天反饋），可視化編排（分鐘/秒生效）源代碼開發者測試者OS應用配置運行環境運維者監測交付新型鏡像啟動即服務運維人員只需啟停，可視化規模編排應對秒級支撐，通過監測預報和發現問題持續集成OS應用配置運行環境可視化編排運行環境和OS解耦易回滾技術需求：迫切需要新技術和新方法解決自動化效果問題新技術：迫30技術需求：容器就是滿足互聯網應用需求的新技術容器采用沙箱解耦OS和應用環境（SUSE，CentOS7，CentOS6）只有啟動停止操作，運行時修改容器內容不生效硬件虛擬機WindowsLinux應用應用硬件OS（Linux）容器應用應用容器核心思想：模擬OS環境關鍵技術：如何支持多種OS典型操作：開機/關機/安裝/卸載核心思想：復用OS，模擬沙箱環境關鍵技術：如何支持啟動即服務鏡像典型操作：啟動/停止技術需求：容器就是滿足互聯網應用需求的新技術容器采用沙箱解耦31技術需求：容器支持啟動即服務鏡像配置OS環境ID，全局唯一安裝什么軟件軟件該如何啟動容器采用“配置-模板”模型，基于配置文件拷貝實現模板復用，利用配置文件變更組裝出新模板，便捷高效，啟動即服務技術需求：容器支持啟動即服務鏡像配置OS環境ID，全局唯一安32應用模式：集群管理+持續集成+可視編排是容器平臺核心基于容器技術，實現：容器集群：滿足規模化管理，租戶個性化要求持續集成：滿足創新主動化、交付移動化需求可視編排：滿足峰值極限化、響應及時化要求物理服務器物理服務器…容器集群管理（不同部門隔離和共享資源需求）持續集成開發階段可視編排運維階段離線分析和實時處理應用模式：集群管理+持續集成+可視編排是容器平臺核心基于容器33應用模式：面向互聯網應用的容器平臺完整功能棧資源供給層資源調度層服務封裝層服務協作層應用訪問層Amazon/AliyunVMWare/OpenStack物理機容器容器網絡容器鏡像庫容器集群調度存儲服務關系型數據庫緩存服務分庫分表+讀寫分離計算服務離線統計實時處理服務注冊數據分發消息分發Web集群Web集群Web集群Web集群持續集成自動部署可視編排應用部署層系統維護層日志收集定時調度系統監控維護規則系統配置系統報表分布式事務應用模式：面向互聯網應用的容器平臺完整功能棧資源資源服務服務34應用模式：面向互聯網應用的容器平臺研發流程總體思想：先解決有，再解決廣度（橫軸）和深度（縱軸）問題具體流程：容器評估，集群管理，應用管理（持續集成/可視編排），面向移動互聯網的容器云服務平臺集群管理：資源隔離和共享容器評估：可靠性和性能應用管理：持續集成和編排深度廣度云服務平臺：替代IOE云服務平臺：支持數據處理Wearehere應用模式：面向互聯網應用的容器平臺研發流程總體思想：先解決有35項目背景：互聯網金融正成為國家經濟發展的重要驅動力互聯網金融是基于互聯網實現的新型金融業務模式有利于小微企業發展和擴大就業，提升金融服務質量和效率，促進中國經濟可持續發展2015年7月，十部門發布《關于促進互聯網金融健康發展的指導意見》2015年11月，互聯網金融首次納入《中共中央關于制定國民經濟和社會發展第十三個五年規劃的建議》2016年，以互聯網金融為核心的互聯網經濟將占比中國GDP的6.9%，到2025年，這一比重會提高到22%。項目背景：互聯網金融正成為國家經濟發展的重要驅動力互聯網金融36項目背景：互聯網金融給中國民生銀行帶來機遇和挑戰中國民生銀行是最早涉足互聯網金融的傳統金融機構之一直銷銀行產品處于業界領先水平，具有快速增長的基礎，但也面臨持續發展的挑戰針對互聯網金融創新，中國民生銀行面臨用戶規模(百萬用戶向千萬用戶發展)和靈活管理的挑戰(以周為單位進行應用版本更新)2015年統計數據顯示，19家直銷銀行上線，中國民生銀行處于領先水平，具有快速增長的基礎。VS項目背景：互聯網金融給中國民生銀行帶來機遇和挑戰中國民生銀行37項目背景：機遇和挑戰促使中國民生銀行需要“內外兼修”互聯網金融創新需要解決用戶規模和靈活管理問題本項目主要關注靈活管理問題“外”：采用模型驅動的新架構，替代基于“文檔或腳本”的開發和運維交互模式，應對靈活管理的挑戰“內”：互聯網金融用分布式架構替代IOE架構，解決用戶規模的挑戰項目背景：機遇和挑戰促使中國民生銀行需要“內外兼修”互聯網金38項目總體需求：支持應用的部署、運行和維護總體需求：圍繞互聯網創新應用基礎設施：模型驅動，支持應用快速迭代，適用大規模場景應用管控：協調應用和其所使用的分布式核心系統，可統一管控一體化監管：對應用/分布式核心系統進行監測、預警和報警項目總體需求：支持應用的部署、運行和維護總體需求：圍繞互聯網39項目典型場景：容器管理、DevOps、多租戶典型場景：容器管理(灰)、DevOps(藍)、多租戶支撐(黃)容器管理：可視化容器管理、基礎運行環境可監控DevOps：應用部署、運行、監控和維護，基礎設施的高可靠多租戶：支持權限管控和資源隔離，適應擴展性和多租戶需求項目典型場景：容器管理、DevOps、多租戶典型場景：容器管40項目功能需求-三個平臺協作滿足三個典型場景功能需求：三平臺核心關注點，及協作滿足三個典型場景基礎設施：模型驅動應用交付,具備可靠性和擴展性應用管控：應用部署/運行/維護,具備容器管理、DevOps和多租戶一體化監管：應用可靠保證，具備事前預警和事后報警項目功能需求-三個平臺協作滿足三個典型場景功能需求：三平臺核41技術方案-以服務網關和消息總線為核心以服務網關和消息總線為核心，各平臺（除白色外）交互關系服務網關：用于物理資源/監控資源/軟件服務的注冊、發現和查詢消息總線：根據應用需求，從服務網關發現/查詢可用資源后調用技術方案-以服務網關和消息總線為核心以服務網關和消息總線為核42技術方案-基礎設施核心是容器管理，以及可靠性和擴展性基于Docker，圍繞容器管理提供可靠性和擴展性保障可靠性：采用冗余、補償和雙活機制保證基礎環境的可靠性擴展性：采用分