1、容器技術與微服務架構在跨境電商領域的集成實踐大綱一、跨境電商業務特征及技術特點二、微服務架構及面臨的困境三、基于Docker的私有容器云平臺設計四、Docker實踐中遇到的問題及解決方案五、總結容器技術與微服務架構在跨境電商領域的集成實踐陳天影一、跨境電商的業務特征及技術特點海外市場拓展海外市場拓展服務服務跨境支付跨境支付DHpay綜合物流服務綜合物流服務DHlink互聯網金融服務互聯網金融服務DHfinet社交商務社交商務Socialshops其他其他增值服務增值服務跨境電商的業務特征8個個多語言平臺國際合作伙伴物流&支付約120萬家萬家國內供應商；1000萬萬買家遍布全球230個個

2、國家和地區4000萬萬在線產品業務多品類多覆蓋廣流量大跨境電商的技術特點可擴展高并發海外部署多機房可管理可監控二、微服務架構及面臨的困境微服務框架多語言監控治理微服務架構要解決的問題：服務通信、路由尋址、服務監控、服務治理、多語言業務代碼服務消費者Client Agent服務提供者業務代碼Server Agent服務提供者業務代碼Server Agent異構語言業務代碼服務消費者通信和路由服務注冊中心-zookeeper集群apsaras服務治理實時數據監控歷史信息統計報警服務依賴關系分析服務流量控制調用鏈路追蹤性能瓶頸分析SLA分析暫停恢復下線服務監控異構集群語言Proxy HttpKafk

3、aStorm解耦（模塊化），易擴展效率（開發、測試、部署）高可用（多實例）彈性伸縮，靈活應對峰值流量（分布式、獨立運行）多機房部署服務拆分之后（靜態依賴關系）優勢：優勢：困境 微服務的獨立性使得系統具備彈性伸縮的能力，但仍需人為介入 開發效率提高、交付速度有所提升，新業務上線仍受限于資源申請流程 微服務架構導致模塊數量快速增長，服務粒度與資源粒度的矛盾 一臺服務器部署多個微服務，產生資源競爭 運行環境差異性引發錯誤 部署海外機房周期太長（每個應用一一分配資源、配置、部署） 降低物力資源成本的需求 Docker標準化：集裝箱式的交付方式，快速部署，并避免運行環境差異化輕量：資源占用小、啟動速度快

4、，在一個服務器上可以部署很多容器便捷：直接部署應用、無需申請資源隔離：一定的資源隔離性靈活：可以快速回滾和更新變更開源：生態系統發展迅速成本：搭建成本低、學習成本低三、基于Docker的私有容器云平臺設計設計原則兼容已有軟件架構混合部署，歷史資產無縫遷移減少對已有業務開發流程的影響整體架構服務集群InfrastructureAWS*云物理機虛擬機apsaras統一監控服務監控Docker 主機Docker服務Docker 主機Docker服務apsaras容器統一配置中心(Etcd)Docker Registry(Harbor)虛機服務Service物理機服務Service容器監控(shell

5、 +influxdb)(zk+日志分析)主機監控zabbix監控代理Swarm AgentDocker Daemon監控代理Swarm AgentDocker Daemon容器管理平臺自定義調度策略Swarm開發運維流程變化 DEV：代碼提交、構建、申請機器資源、發版發版 OPS：集群、主機維護（一鍵初始化），鏡像維護鏡像維護，線上監控DhDockerControllerJenkinsGitRegistryCluster1CommitBuild管理平臺PullDocker pullMonitorDEVOPS鏡像 維護主機 維護發布DockerDaemonContainerContainerDo

6、ckerDaemonContainerContainerCluster2DockerDaemonContainerContainerDockerDaemonContainerContainerElastic computingdocker runMonitor四、Docker實踐中遇到的問題及解決方案遇到的問題監控排障鏡像浮動IP混合部署混合網段容器狀態不一致Problem1- 鏡像的制作和維護VS 優點： 避免mount，應用和鏡像一體 缺點： 頻繁構建 鏡像數量猛增 改造工作量大 不同環境配置文件不同 優點： 鏡像不用重新構建 缺點： 所有宿主機維護應用副本 違背了Docker集裝箱原則B

7、aseImageAPP/BINBaseImage+ APP/BIN 開發時，鏡像和應用分離， OPS維護 Dockerfile， DEV維護代碼 部署時，鏡像和應用合體 多環境不同配置， 分布式配置管理中心+配置文件中心Container APP/BINContainer APP/BINDocker DaemonRegistryConf RepositoryDeployOPSSolution1-基礎鏡像+應用下載Build RepositoryDEVContainer APP/BINDEVDockerfileProblem2-混合部署的網段互通網絡連通要求： 同一宿主機內的容器互通 不同宿主機

8、之間的容器互通 容器與其他虛機、物理機互通-混合部混合部署的必要條件署的必要條件Legacy資產Vmware集群物理機其他DockerDaemonContainerContainerContainerContainerDockerDaemonDocker集群Docker的網絡方案bridge模式：與外界通訊用端口映射，NAT增加通訊復雜性container模式：單機的多個容器之間共享網絡host模式：共享主機網絡，端口無法重用，容易沖突自定義 Bridge network is useful in cases where you want to run a relatively smallne

9、twork on a single host. Overlay network multi-host connection， need swarm or a key store. MACVLAN network multi-host connection Customized network pluginSolution2-橋接網絡打通容器與局域網網絡Docker集群DockerDaemonContainerEth0ContainerEth0Br0Eth0DockerDaemonContainerEth0ContainerEth0Br0Eth0物理交換機Vmware集群物理機其他Legacy資

10、產 docker network create -driver=bridge -o =br0-gateway=4 -aux-address DefaultGatewayIPv4=54-subnet=/24 dockernet docker run -d -net=dockernet tomcat:7.0 Docker Deamon -iptables=false -ip-forward=false 優點：優點：性能較好；可以在一臺物理機上部署多個不同網段的容器 限制：限制：Docker 1.11

11、版本的MacVlan仍然是experimental; 在1.12版本已標注為： MacVlan driver is out of experimental #23524MacVlanProblem3-混合網段的容器部署Problem： 網段過大導致廣播風暴，混合網段如何權衡資源調度和IP分配-label subnet=/24DockerDaemonContainerContainerSolution3-自定義IP資源調度策略DhDockerControllerSwarm+自定義調度策略-label=？Cluster-label subnet=/24D

12、ockerDaemonContainerContainer-label subnet=/24DockerDaemonContainerContainerProblem4-浮動ipProblem： 浮動ip 重啟一下docker daemon/容器，ip就變了 Ip混亂，不利于定位問題Solution4-使用固定ip使用固定ip docker run d -ip=3 -net=dockernet tomcat引入IPAM模塊，負責IP池的創建和維護，IP資源的占用和釋放Problem5-排障持久化日志 將日志mount到主機，主機上運行輕量級Agen

13、t進行日志采集，集中分析實時查看：檢查日志，調整配置，重啟應用，查看資源使用率 裝一個SSH Server vs Docker Exec別把容器當虛機使！Solution5-Docker Web ShellDocker Web Shell實現從Web瀏覽器以類似SSH的方式登錄并操作Docker容器DhDockerControllerWeb BrowserWeb SocketDocker ExecContainer Web瀏覽器瀏覽器負責界面呈現。運行JS腳本，通過Web Socket與Docker Controller建立通信鏈路。 DhDocker Controller是Docker容器應

14、用的控制中心，作為橋梁，負責消息的轉發。通過Docker HTTP API與Docker Daemon建立通信鏈路，利用Exec Start返回的數據流承載Docker Controller和Docker Daemon之間的交互數據。 Docker Daemon提供HTTP API接口給外部系統調用以訪問容器內部。 這里用到的API包括：Exec Create、Exec Start、Exec ResizeDockerDaemonContainerDocker Web ShellProblem6-監控方案選擇docker stats， docker原生 memory計算爭議 性能較差cAdvis

15、or，Google開發，容器和主機級別監控 一定的學習成本 與已有監控報警系統集成有難度Solution6-自研Shell實現容器級別數據收集應用級別數據統計主機級別-容器總數及狀態（性能由zabbix監控）ShellonDocker Host數據采集InfluxDB匯總分析報警系統策略和報警ShellonDocker Host數據采集ShellonDocker Host數據采集DBProblem7-容器狀態的同步 異常退出 命令行創建ClusterDockerDaemonContainerContainerContainerDhDockerControllerDocker事件機制delete

16、duntaggedtaggeduntagimportpulldocker deletedocker importdocker pulldeletetagpushdocker tagdocker push鏡像事件容器事件Solution7-監聽容器事件import (osdockerApi main() docker, err := dockerApi.NewClient(*dockerHost)if err != nil /Add logging hereos.Exit(0)events := make(chan *dockerApi.APIEvents)docker.AddEventListene