1、數據中心操作系統(DCOS)技術方案技術創新，變革未來第一部分數據中心操作系統的理解第三部分數據中心操作系統集成方案第四部分數據中心操作系統運維方案第二部分數據中心操作系統技術方案當前技術架構發展存在的問題應用的快速部署開通受到極大制約：大部分應用系統在開發、測試、準發布和生產部署都有各自的環境，部署環境不一致，增加了測試的復雜度，導致需求的上線環節多、時間長，無法滿足業務快速上線的要求只能實現虛機級彈性伸縮，效果極其有限：系統彈性能力不足，數據架構不具備平行擴展能力來應對突發的業務高峰，忙閑時資源難以有效動態調整，無法做到彈性擴展集群1VM集群2集群3VMVMVMVMVM云化的四個階段簡化高

2、效靈活動態復用對數據中心內部整體目標架構沒有統一的規劃設計標準化的硬件體系業務基礎架構建設以月為單位通過核心云構件實現進程級資源共享業務基礎架構建設以小時為單位實現數據中心級彈性伸縮傳統孤島標準化IaaS資源池化PaaS資源池化應用云化及DCOS化虛擬化服務化智能化孤島X86化通過服務化實現共享的平臺架構業務基礎架構建設以日為單位實現集群級彈性伸縮通過虛擬化實現共享的基礎架構業務基礎架構建設以周為單位實現虛擬機級彈性伸縮（IT領先的銀行）（領先互聯網公司）（浙江公司）數據中心需要一個操作系統數據中心操作系統（DataCenter Operating System，簡稱DCOS）是為整個數據中心

3、提供分布式調度與協調功能，實現數據中心級彈性伸縮能力的軟件堆棧（software stack），類似于傳統的單機操作系統，但不是單機操作系統隨著數據中心應用或計算框架以及用戶的多樣化，數據中心越來越像一臺主機，需要一個”操作系統”統一協調各類資源Linux OSDCOSResource ManagementLinux KernelMesos、YarnProcess ManagementLinux KernelDocker、RKTJob Schedulinginit.d, cronMarathon, ChronosInter-Process CommunicationPipe, SocketAc

4、tiveMQ、RabbitMQFile Systemext4HDFS, Ceph數據中心操作系統的特征DCOS特征彈性伸縮敏捷開發根據數據中心的負載和容量情況自動增加和刪除節點，支持細粒度（CPU、內存、硬盤等）資源調度，多個計算框架或應用程序可共享資源和數據，提升資源利用率快速部署通過抽象，隱藏數據中心硬件的復雜性，降低應用的開發難度，負載均衡傳統的部署模式為安裝(包管理工具或者源碼包編譯)-配置-運行，DCOS支持將數據中心應用和它的依賴進行封裝，實際部署時只需復制-運行數據中心操作系統終極目標是提供一個通用的標準化運維系統高效率可靠安全地管理數據中心，同時簡化應用程序的開發、部署難度，協

5、調各類資源，確保各類資源隨著應用的需求動態調度根據某種負載策略把請求分發到集群中的每一個節點上，讓整個集群來處理應用的請求數據中心操作系統PAAS技術架構演進PaaS 3.0PaaS 2.0PaaS 1.0Google App Engine、SAE等早期的PaaS概念，提供軟件開發平臺和運行環境Cloud Foundry、OpenShift等允許用戶運行自己的PaaS，將平臺進行標準化、服務化。以分布式集群資源調度（Mesos、Yarn）為基礎，結合容器（Docker）技術構建支持多種計算框架，具備敏捷開發、快速部署和彈性伸縮特性PaaS 3.0的核心是DCOSDCOS中的集群資源調度，業界主

6、要有Apache Mesos和Apache Hadoop YARN 兩種技術方案，有著各自的生態環境數據中心操作系統發展歷程 Google做為容器集群管理技術的創造者，其第一代集群管理系統被稱為Borg，Borg設計細節因零零星星出現在各種文章中而知名，但一直未公開（比如發一篇White Paper），Omega是Google第二代集群管理系統，主要是由劍橋大學和加州大學伯克利分校的兩個實習生在Google實習時完成的。 DCOS是Mesosphere在2014年提出一個全新集群管理概念，其核心資源調度組件為Mesos，而有意思的是Mesos的聯合創始人Benjamin Hindman正是其中

7、之一， Benjamin Hindman參考Omega的技術架構設計開發了Mesos，Mesos是目前DCOS中應用最廣泛的資源管理系統。BorgOmegaDCOS 數據中心操作系統應用歷程商業閉源的數據中心操作系統：典型代表Google的Borg和Omaga，提供大規模集群管理能力，但只對內部使用，而且與業務流程耦合度較高，不具備推廣性開源的數據中心操作系統：Mesosphere DCOS，以Mesos為核心，支持多領域的分布式集群調度框架，包括Docker容器集群調度框架Marathon、分布式 Cron（周期性執行任務）集群調度框架Chronos和大數據的主流平臺Hadoop和Spark

8、的集群調度框架，實現系統的資源彈性調度，同時也支持分布式的文件系統HDFS、Ceph。集團公司要求目的：進一步提升中國移動云計算技術自研水平，提高產品標準化程度，提升資源利用率，掌控核心技術，擬開展采用以開源技術為核心的互聯網化技術體系，搭建數據中心操作系統（DataCenter Operating System，以下簡稱DCOS）驗證網，對新一代云計算技術體系的產品選擇，技術方案，平臺集成和運維保障進行全面驗證浙江公司：負責采用以開源技術為核心的互聯網化技術體系，搭建DCOS驗證網，對新一代云計算技術體系的解決方案、產品選擇、集成交付和運維保障進行全面驗證擬采用的技術暫定為：Mesos, M

9、arathon, Zookeeper, Etcd、Haproxy，Docker等蘇州研發中心：提供大云Mesos、Marathon、Docker三項產品作為驗證基礎，同時對DCOS驗證網中使用到的其他技術進行技術攻關以及支持集團技術部關于進行數據中心操作系統（DCOS）技術研究試點的通知第一部分數據中心操作系統的理解第三部分數據中心操作系統集成方案第二部分數據中心操作系統技術方案第四部分數據中心操作系統運維方案第五部分項目進度計劃MESOSYarn說明調用級別二級調度（Dominant Resource Fairness（DRF）二級調度（FIFO,Capacity Scheduler，Fai

10、r Scheduler）生態活躍活躍活躍2015年,Mesos大會將在西雅圖召開，預計千人參加適用場景通用性高，混合場景大數據生態場景應用案例Twitter、Apple、Airbnb、Yelp、ebay、VerizonHadoop生態圈應用Twitter使用Mesos管理10000以上，超過30,0000個虛擬節點Mesos由加州大學伯克利分校AMPLab開發，后在Twitter廣泛使用Mesos Master負責將資源分配給各個框架（如Hadoop框架），而各個框架的Scheduler進一步將資源分配給各個Mesos Slave節點并通知Mesos Slave執行相關Task任務Mesos

11、Slave接到通知后根據各個框架的Executor最終執行相關Task任務關鍵技術選型-資源分配綜上所述，MESOS更適合CRM、BOSS混合場景，YARN適合大數據場景關鍵技術選型-服務注冊及引流Mesos通過Executor啟動Docker容器進行彈性擴縮容，在Docker啟動容器時通過在Docker run的啟動腳本中添加“Curl etcd set”命令通知Etcd服務。Etcd服務知道某一個容器啟動，并將其信息注冊到Etcd鍵值庫中。Etcd通知Confd服務相關的服務變化，Confd就會根據變化的情況更新Haproxy的cfg配置文件并執行重新加載命令，使相關變化生效，同樣Etcd

12、也會定時檢查容器的運行狀態，當容器停止時也會觸發Haproxy更新cfg配置文件并重新加載，達到動態引流。HAProxy提供高可用性、負載均衡的解決方案，Etcd是一個高可用的鍵值存儲系統，主要用于共享配置和服務發現，提供了數據TTL失效、數據改變監視、多值、目錄監聽、分布式鎖原子操作等功能，可以方便的跟蹤并管理集群節點的狀態。 Etcd與HAProxy配合能夠實現數據中心應用的動態引流關鍵技術選型-任務調度Mesos集群可以混合運行來自Marathon的不同類型的任務Marathon基于Mesos的任務調度為動態調度，即每個任務在執行之前是不知道將在哪一臺服務器上執行和綁定哪一個端口9臺服務

13、器（灰色）組成的Mesos集群上混合運行各種Marathon調度的任務，其中一臺服務器壞掉以后，這臺服務器上的任務就受影響，Marathon可把任務遷移到其他服務器上，實現容錯Marathon是基于Mesos來做任務調度，Mesos僅負責分布式集群資源分配，不負責任務調度。關鍵技術選型-應用封裝和輕量級虛擬化serverHost OSserverDocker EngineBin/libsappBin/libsappHypervisorGuest OSBin/libsGuest OSBin/libsappapp容器虛擬機Docker為開源的應用容器引擎，在標準的LXC之上融合AUFS分層鏡像管理

14、機制，拋棄傳統VM試圖模擬完整機器的思路，而是以應用為單元進行“集裝封箱”，是輕量級、操作系統級虛擬化技術Docker Engine可以自動化地部署應用到可移植的的容器中，這些容器獨立于硬件、語言、框架、打包系統。一個標準的Docker容器包含一個軟件組件及其所有的依賴 ，包括二進制文件，庫，配置文件，腳本等， 實現持續集成與部署，快速迭代應用程序PaaS平臺作為云平臺的核心組成部分，為整個云平臺提供了服務標準化和自動彈性擴展能力，Docker及相關生態圈系統天然具備服務發現和資源調度能力，為構建具備彈性擴展能力的PaaS平臺提供有效的解決方案 Docker容器可以封裝任何有效負載，幾乎可以在

15、任何服務器之間進行一致性運行。開發者構建的應用只需一次構建即可多平臺運行。運營人員只需配置他們的服務，即可運行所有應用浙江公司DCOS技術架構結合行業主流技術方案，通過關鍵技術選型，確定浙江公司DCOS技術架構，即以容器為基礎封裝各類無狀態應用和運行環境，以Mesos為核心實現容器資源的分布式調度與協調nodenodenodenodeMESOSMARATHONEtcdEtcdEtcdzookeeper物理機或虛擬機資源分配與任務調度(DCOS kernel)服務引流應用層(Docker封裝)APP（container）APP（container）HAproxyHAproxyHAproxy第一部

16、分數據中心操作系統的理解第三部分數據中心操作系統集成方案第二部分數據中心操作系統技術方案第四部分數據中心操作系統運維方案第五部分項目進度計劃試點應用系統的選擇面向互聯網業務訪問量集中業務更新快電渠業務活動系統業務活動突發流量大，并且短廳、手廳多渠道流量并發，業務量容易過載，導致各系統無法受理業務為應對市場變化，活動內容更新快，后臺支撐能力需同步快速上線當前WEB層及APP層采用分布式技術實現，DB層未實現分布式架構，暫不考慮動態調度 和小店面向朋友圈的信用+口碑營銷，針對某一暢銷業務及大量好友，容易出現流量突發的情況采用TOMCAT開源架構，架構簡單遷移難度相對較低 選取符合DCOS的特征分布

17、式無狀態應用系統，驗證DCOS在實際生產環境中動態提供和管理工作負載和基礎設施的可行性業務波峰大DMZ篩選原則：應用系統具備顯著的互聯網業務特征，具備典型彈性擴縮容場景需求試點應用系統技術架構分析（以電渠業務活動系統為例）19* CDN負載均衡器Web服務器Web服務器Web服務器Web服務器負載均衡器App服務器App服務器App服務器App服務器緩存服務器緩存服務器數據庫電渠業務活動系統具備典型的三層架構特征，WEB層及APP層基本采用分布式技術實現，具備進行DCOS平臺應用的前提條件，DB層本次暫不予考慮。用戶通過分布式CDN訪問電渠系 統，接入層已實現分布式架構。 DB層采用小型機+集

18、中存儲的傳統架構，未實現分布式處理架構，暫不考慮動態調度 WEB層基于支撐中心資源池部署，具備彈性伸縮和動態調度基礎。 APP層基于支撐中心資源池部署，通過負載實現分布式處理架構，具備彈性伸縮前提條件。接入層Web層 APP層 DB層試點應用系統容器化改造過程Docker是基于Linux kernel實現的虛擬化，目前只支持Linux Base宿主機操作系統，并且對內核版本要求較嚴格采用Docker容器技術，將運行環境封裝到Docker鏡像中，并依據該鏡像生成Container，每個Container中運行一個實例，通過Docker Registry做鏡像管理1、選擇宿主操作系統通過Docke

19、r官網下載Docker引擎，安裝方式可以采用操作系統yum工具進行自動安裝，也可以下載Binary版本文件進行手動安裝2、下載DOCKER引擎容器基礎鏡像是一個精簡版的操作系統，里面不包含內核組件，只包含一些基礎的執行文件和lib依賴包，能夠保證容器內具備一個基本的系統環境3、拉取容器基礎鏡像在容器基礎鏡像中安裝第三方通用軟件，如WebLogic中間件，并進行參數配置4、安裝并配置通用軟件依據運行環境生成鏡像，并基于該鏡像生成多個容器5、生成應用鏡像通過“docker push image_name”命令將其上傳到Docker Registry中，Docker Registry提供鏡像存儲服務

20、，能夠根據集成需求，快速的將鏡像下載到指定主機中6、上傳鏡像編寫創建容器和啟停容器的腳本，便于日常管理維護7、編寫容器啟停腳本應用運維人員將應用包發布到系統中，通過容器啟動腳本啟動容器，使其對外提供服務8、發布應用投入生產集成部署DCOS物理架構MarathonMESOS-masterMESOS-slaveZookeeperETCD、CONFDHaproxyLoadbalanceStatechangesStatechangesreloadreloadreloadtaskMESOS master、MARATHON 、ZOOKEEPER 共采用3臺X86虛擬機分布式部署（單臺6vCPU/20GB內存/80GB硬盤）HAp