云運維的整體理念與實踐

什么是運維？非運維人員眼中的運維工作非運維人眼中的運維運維人員眼中的運維工作運維人眼中的運維運維價值化運維不是某種職能運維也不是某種角色運維是通過一系列的規范化、工具平臺化、數據驅跨部門合作等手段，從而確保用戶價值的持續獲得。運維價值化如今，我們的工作和生活都離不開數字化，無論是內聯網、互聯網還是物聯網，都通過云計算、大數據、智能終端為我們提供各種服務。在數字化社會中，我們既提供內容，又消費內容，信息以前所未有的速度傳播，應用不斷地滲透到每個角落，每個人都無法離開。運維管理-作為數字化背后的支撐力量，普通民眾可能不太清楚，但近年來運維的作用不斷凸顯，受到業內諸多人員的關注，正式高效、可靠、敏捷的運維，支撐數字化有條不紊的運轉，讓企業單位贏得數字化時代的成功。隨著“互聯網+”戰略的深入，運維正在進入到下一個時代，將面臨更加寬泛的領域、更加靈活的場景，根據廣通軟件研究院的分析，未來的運維管理將進一步融合互聯網思維，側重敏捷化管理，在數據中心、云上應用、物聯網三個領域進行發展，并最終實現一體化、智能化的敏捷運維。云運維的背景挑戰更少的設備維護需求更快的部署速度更大的承載能力更好的故障處理能力運維工作面臨的挑戰運維提升的階段開發，運維的三大鴻溝DevOpsDevOps的核心，就是Dev用D的能力延伸到Ops，而Ops則把O的能力傳遞到Dev，兩者相結合結合突出重視軟件開發人員和運維人員的溝通合作，通過自動化流程來使得軟件構建、測試、發布更加快捷、頻繁和可靠。大大減少數據中心在運維方面人力的投入節省運維費用支出實現業務的快速自動部署減少數據中心故障中斷時間即使在數據中心規模不斷擴大的情況下，使用敏捷運維的工具就可以完成自動化部署，不再需要增加運維人員，只不過在運維工具監控之中增加一些點而已提升數據中心的運營能力數據中心擴容在手指間就可以輕松完成，運維人員不再需要關心基礎架構的實現，只需要在敏捷軟件上做業務部署即可，底層資源調配，網絡配置等均通過軟件實現自動下發，自動互聯互通;甚至可以做到全年無中斷，敏捷軟件能夠在毫秒級的時間內發現異常，并自動執行切換動作，將業務轉移到備用系統中，確保業務不受影響，敏捷軟件還可以對故障進行自愈，嘗試對故障進行隔離，為人員搶修故障設備贏得時間DevOps的優勢Puppet公布的2016年DevOps調查報告中，根據全球4600位各IT公司的技術工作者的提交數據統計，得出高效公司可以完成平均每年1460次部署。與低效組織相比，高效組織的部署頻繁200倍，產品投入使用速度快2555倍，服務恢復速度快24倍。在工作內容的時間分配上，低效者要多花22%的時間用在為規劃好或者重復工作上，而高效者卻可以多花29%的時間用在新的工作上。敏捷運維的概念來自于兩個截然不同的技術陣營：一方面是敏捷開發者發現，雖然產品被很快設計出來，但部署卻比較花費時間，手動部署和配置也會引入很多人為錯誤。此時，敏捷開發團隊希望可以自動完成所有重復性的任務，當然也包括部署在內。另一方面來自于一些互聯網公司，這些公司業務增長飛快，有時會在兩個星期內就要增加上千臺服務器，單純人工的方式完成，耗費了大量人力，運維成本太高，這時他們想到了敏捷設計，希望將敏捷設計應用到運維當中，實現敏捷運維。敏捷運維與傳統的人工運維管理完全不同，敏捷運維完全自律，按照設定好的程序去執行，確保所有一切內容都在控制之內，敏捷運維引入了自動化的東西，拋棄了手動操作。敏捷運維的概念DevOps的各種工具代碼管理（SCM）：GitHub、GitLab、BitBucket、SubVersion構建工具：Ant、Gradle、maven自動部署：Capistrano、CodeDeploy持續集成（CI）：Bamboo、Hudson、Jenkins配置管理：Ansible、Chef、Puppet、SaltStack、ScriptRockGuardRail容器：Docker、LXC、第三方廠商如AWS編排：Kubernetes、Core、ApacheMesos、DC/OS服務注冊與發現：Zookeeper、etcd、Consul腳本語言：python、ruby、shell日志管理：ELK、Logentries系統監控：Datadog、Graphite、Icinga、Nagios性能監控：AppDynamics、NewRelic、Splunk壓力測試：JMeter、BlazeMeter、loader.io報警：PagerDuty、pingdom、廠商自帶如AWSSNSHTTP加速器：Varnish消息總線：ActiveMQ、SQS應用服務器：Tomcat、JBoss、IISWeb服務器：Apache、Nginx數據庫：MySQL、PostgreSQL等關系型數據庫；cassandra、mongoDB、redis等NoSQL數據庫項目管理（PM）：Jira、Asana、Taiga、Trello、Basecamp、PivotalTracker敏捷運維試圖將人們從復雜、繁重的工作中解決出來，通過軟件自動化管理，滿足數據中心的擴容要求，于是出現了很多敏捷運維的工具。很多人以為只要使用這些工具就是敏捷運維了，實際不是這樣的。就像我們擁有了電腦，會使用電腦，但不一定會用電腦完成各種編程，輸出很多的功能軟件。電腦只是一個工具，我們需要通過給電腦一些指令，才能按照我們的意圖完成。在敏捷運維中，軟件工具就是這樣的角色，必須要我們給予它各種處理業務的能力，它才能自動完成，只要我們設計好了未來數據中心故障、擴容、業務變更遇到的場景，賦予工具自動操作的權利，那么工具就會按照我們設計的程序去自動執行。為工具制定各種各樣的自動執行腳本，是敏捷運維的關鍵，這些腳本關系到敏捷運維的可用性。尤其是在突發事件的處理上，大規模業務擴容上的表現。敏捷運維的定義短的反饋周期敏捷原則簡單勇氣透明承擔責任溝通反應對技術優勢持續關注敏捷原則：完全自動化的系統構建（并非只是啟動服務器，而是重新構建一切）通過版本控制系統進行配置管理對監控和統計數據的廣泛訪問自愿的“壞了就換”機制優先使用從系統中自動抽取文檔針對硬件隨需而變的態度添加或者替換服務器并不是大事件敏捷運維聽起來很美好。只要嵌入你的代碼，確保它在服務器上構建，然后更新一個方法，就可以按照你的思路去完成自動運維這個說起來容易，實際做起來很難。現有的軟件定義數據中心仍處于發展的初級階段，還沒有這樣一種軟件，可以對整個數據中心設備很好地以控制軟件實現，因為數據中心里設備千差萬別，相同設備軟件版本不同，實現也會有差異，這樣從軟件上很難統一管理。即便可以管理，那么什么時候執行什么樣的指令，敏捷軟件工具自己不會去考慮，依然是由你來完成，這樣就需要將所有可能出現的場景，業務的走向部署都需要考慮到，并通過軟件腳本實現，設計得越充分，敏捷軟件工具功能就越強大，當然如果依然出現了未知情況，敏捷運維也會失效。但是DevOps面臨的問題運維團隊

大數據BC-HadoopBC-HugetableBC-RDB…………..IT支撐咪咕統一信息平臺網絡性能管理能力開放平臺…………..云計算BC-ECBC-EBSBC-Onest…………..蘇研的主要產品分三類，分別有大數據，云計算，IT支撐。產品種類繁多，規模大，項目數量多，運維團隊面臨巨大挑戰DevOps能力融合的4大核心實踐OpsDev實踐2：將開發嵌入到IT運維中（應用端到端的管理）實踐3：向開發中加入生產反饋（可視化監控和運維）實踐1：將開發延伸至生產中（持續集成和交付）實踐4：將It運維嵌入至開發（運維分析）實踐1：持續集成和交付持續編譯持續代碼檢查持續測試持續部署持續報告持續集成體系建設1制定基本構建流程2加強代碼自動驗證環節3加強單元測試環節4加強自動化測試環節5加強自動部署環節實踐1：持續集成和交付持續集成的重要要素：1.統一的代碼庫。2.CI服務器3.自動化測試和構建的腳本4.Slaves解決方案：Jenkins+Git實踐1：持續部署的運維目標1、運維角色完全撤出部署事務，變成審核者。2、平臺必須由研發+測試+運維共同建設、運維最好主導。3、運維角色轉變的第一步。實踐1：持續部署的業務目標實踐1：快速部署-Docker技術容器并不包含一個單獨的操作系統，而是基于已有的基礎設施中操作系統提供的功能來運行的。將應用程序及所有程序的依賴環境打包到一個容器中，容器可以運行在任何一種Linux服務器上。這大大地提高了程序運行的靈活性和可移植性。虛擬機是操作系統級別的資源隔離，容器本質上是進程級的資源隔離容器技術實現發展最快和最有代表的是開源Docker技術。Docker是PaaS提供商dotCloud（后改名為DockerInc）

開源的一個基于LXC的高級容器引擎，源代碼托管在Github上,遵從Apache2.0協議開源。Docker核心在于實現應用與運行環境整體打包以及打包格式統一VirtualMachineDocker實踐1：持續部署-基于容器技術服務器操作系統應用IT基礎架構發展階段1：裸機時代基礎架構利用率低每臺服務器上運行一個應用程序：避免一個應用程序中的漏洞影響同一服務器上其他應用程序典型的x86

服務器部署平均達到的利用率僅為總容量的10%

到15%（美國國際數據集團(International

Data

Corporation,

IDC)

報告）物理基礎架構成本日益升高為支持不斷增長的物理基礎架構而需要的運營、維護成本穩步攀升。大多數計算基礎架構都必須時刻保持運行，因此耗電量、制冷和設施成本不隨利用率水平而變化。管理成本不斷攀升服務器數量太多難以管理，新服務器和應用的部署時間長，硬件維護需要數天/周的變更管理準備和數小時的維護窗口。

故障切換和災備困難：兼容性差。系統和應用遷移到新的硬件需要和舊系統兼容的硬件系統。服務器操作系統應用操作系統虛擬機操作系統應用虛擬機操作系統應用虛擬機云平臺服務器操作系統IT基礎架構發展階段2：虛擬化時代以虛擬化技術為基礎，以虛擬機為單位，將資源提供給用戶。提高資源利用率將一臺高性能的服務器虛擬成多個虛擬機，在物理上虛擬機共享宿主服務器的硬件資源，而邏輯上各自獨立，可在各虛擬出的服務器上運行不同的應用，各司其職，互不干擾。降低管理、運維成本簡化服務器的部署、管理和維護工作，降低管理費用通過從物理基礎架構抽象應用使數據中心資源管理和調度更敏捷，是對傳統數據中心資源管理模式的變革核心技術計算虛擬化、SDN、OpenStack管理代表公司亞馬遜aws、VMware、微軟azure、阿里云、華為等服務器應用操作系統應用應用服務器操作系統資源統一管理、調度IT基礎架構發展階段3：以應用為中心時代以分布式應用為核心場景，主打應用生命周期管理。保證應用程序和服務易發布、易擴展，始終能獲得所需要的資源。問題虛擬機構成的集群仍然難以運維，對于每個虛擬機的維護也并非容易，用戶遇到的問題和直接維護物理機集群基本相似用戶需求應用能夠獲取資源，快速啟動，服務可以無限擴展（不在乎怎樣運行及運行在哪），服務失敗時能被自動檢測并修復，應用易于遷移。數據中心操作系統：Datacenter

Operating

System（DCOS）目標整合數據中心資源，進行虛擬池化，開放諸如CPU、內存和I/O這些基本資源而不是虛擬機。就像操作系統將PC的處理器和RAM放入資源池，使其可以為不同的進程協調分配和釋放資源核心技術容器集群資源管理、容器代表公司：Google、Mesosphere、Facebook、Twitter等。yelp使用mesosphere大大提高了數據中心的性能；yelp每天運行大約1700萬獨立測試，啟動100萬個容器。分布式“系統”Mesos的結構（1）Master、Slave、Zookeeper、FrameworkMaster通過zookeeper實現選舉機制，一個N個節點的zookeeper集群可以在ceil（N/2）個節點失效情況下正常工作。Zookeeper分為競爭者和觀察者模式：master既是競爭者也是觀察者，slave都是觀察者，尋找當前主master并與之通信。Master負責給各個不同的框架分配資源并管理任務的生命周期Slave節點負責利用已有資源執行框架下發任務Framework分布式應用程序（比如marathon），包括組件：框架調度器和執行器。Mesos是Apache下的開源分布式資源管理框架，它被稱為是分布式系統的內核，能夠簡化在一堆共享服務器池中運行任務的復雜性。

核心實現DRF算法：用戶無法通過夸大自己的需求；只能拒絕或接受Mesos提供的資源（Offer）。Mesos的結構（2）框架調度器在mesosmaster上進行注冊。Mesosmaster從slave節點獲取資源offer，調用分配模塊決定將這些資源分給哪個框架?？蚣苷{度器從Master接受資源offer。當接受到資源offer后，框架調度器會檢查offer是否合適。如果合適，接受該offer并向master返回一個需要在slave上運行的的執行器列表。Slave節點分配所請求的資源并運行任務執行器，任務執行器在slave節點上運行框架下的任務?？蚣苷{度器接收任務運行成功或失敗的通知?；贛esos的資源分配MarathonMesos集群可以混合運行來自Marathon的不同類型的任務Marathon基于Mesos的任務調度為動態調度，即每個任務在執行之前是不知道將在哪一臺服務器上執行和綁定哪一個端口9臺服務器（灰色）組成的Mesos集群上混合運行各種Marathon調度的任務，其中一臺服務器壞掉以后，這臺服務器上的任務就受影響，Marathon可把任務遷移到其他服務器上，實現容錯Marathon是基于Mesos來做任務調度，Mesos僅負責分布式集群資源分配，不負責任務調度。使用Mesos來管理Docker實踐1：持續部署-蘇研DCOS系統

BC-EC（openstack）自動化部署工具-FuelOpenStack安裝非常困難,困難主要來自于:開源項目，系統本身開發時間短，不夠穩定,bug多。配置自由，靈活度高，很難將所有的配置項都試全。Fuel是Mirantis公司開發的一個開源的OpenStack套件，具有以下優點:安裝簡便:全部通過圖形界面操作。配置靈活:支持Redhat和CentOS,支持Ceph開源存儲軟件。穩定可靠:已經在多家公司商用。Mirantisfuel從下載,可以下載iso文件。實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-FuelFuel并不是一個大的整體，它由幾個獨立的組件組成。部分是Fuel特有的，部分是第三方服務UI

一個用JaveScript寫的頁面應用，主要還是用bootstrap框架Nailgun

提供REST

API

以及部署數據管理。

Astute

Nailgun任務的執行者。Cobbler

提供快速網絡安裝系統Mcollective

一個構建服務器編排和并行工作執行系統的框架OSTF

Openstacktestingframework,提供健康檢查實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-FuelFuel并不是一個大的整體，它由幾個獨立的組件組成。部分組件是Fuel特有的，部分是第三方服務UINailgunAstuteCobblerMcollectiveOSTF一個用JaveScript寫的頁面應用，主要還是用bootstrap框架。核心服務，提供REST

API

以及部署數據管理。核心服務，Nailgun任務的執行者。提供快速網絡安裝系統。一個構建服務器編排和并行工作執行系統的框架。Openstacktestingframework,提供健康檢查。實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署

BC-EC（openstack）自動化部署工具-Fuel實踐1：Fuel自動部署實踐1：持續部署-H-Control系統實踐2：實現用戶操作的可視化實踐2：蘇研-OP系統運用自動化運維作業工具，將日常重復性的運維作業內容固化，實現自動化備份、自動化分析報表等功能，提高運維效率，使運維人員有時間開展系統優化提升工作。固化日常運維工作將備份、分析報表等重復性、機械性的日常運維作業固化；自動化運維作業工具使用自動化運維作業工具，將固化的運維工作改為由系統自動處理;系統優化提升運維人員將節省下來的時間，用于系統優化提升工作；1.如何落實運維流程？2.如何提高運維技能？數據備份分析報表數據恢復自動化運維作業功能模塊實踐2：實現運維的自動化與可視化工具一：Ansible基于Python研發。糅合了眾多老牌運維工具的優點實現了批量操作系統配置、批量程序的部署、批量運行命令等功能。僅需在管理工作站上安裝ansible程序配置被管控主機的IP信息，被管控的主機無客戶端。批量維護工具介紹(1)、連接插件connectionplugins：負責和被監控端實現通信；(2)、hostinventory：指定操作的主機，是一個配置文件里面定義監控的主機；(3)、各種模塊核心模塊、command模塊、自定義模塊；(4)、借助于插件完成記錄日志郵件等功能；(5)、playbook：劇本執行多個任務時，非必需可以讓節點一次性運行多個任務。實踐2：實現運維的自動化與可視化工具二：SaltstackSalt，一種全新的基礎設施管理方式，部署輕松，在幾分鐘內可運行起來，擴展性好，很容易管理上萬臺服務器，速度夠快，服務器之間秒級通訊。Salt底層采用動態的連接總線,使其可以用于編配,遠程執行,配置管理等等。Salt的拓撲使用簡單的server/client模式批量維護工具介紹實踐2：實現運維的自動化與可視化實踐2：蘇研-HControl產品實踐3：構建立體化的監控體系進程業務巡檢1）基礎設施：包括IDC網絡設備及X86服務器，這些設備的監控都是基于廠家的實現2）基礎服務標準化：是指CPU、Mem、Disk及系統openfile等通用服務的監控；3）服務進程：各組件服務進程；4）基于業務提煉的監控項：組件基本進程的監控并不能滿足監控需求；5）重要UI的監控6）業務巡檢實踐3：構建立體化的監控體系停機費用成本=部署頻率*版本迭代失敗概率*平均修復時間*斷電的金錢損失實踐3：云計算監控Cloud

Master實踐3：云計算監控Cloud

Master通過Ganglia采集物理機的性能指標通過Ceilometer采集虛擬機的性能指標實踐3：云計算監控Cloud

Master實踐3：大數據監控H-Control實踐3：大數據監控H-Control云時代日志的特點系統規模大單個資源池服務器規模100+以上業務模塊多單個控制節點服務進程超過20個日志量大100臺服務器規模資源池，每天日志量達到3000w條日志數據之間相互關聯SLA要求比較高云平臺承載的業務越來越多，對平臺穩定性要求越來高如何在災難性事件發生時，能夠做好相應的準備如何在第一時間捕獲到錯誤動態如何針對不同的業務邏輯建立保障措施如何利用關聯性挖掘有價值的信息實踐4：日志的集中化管理IT系統信息服務器網絡設備存儲設備操作系統應用軟件用戶行為用戶行為業務信息從ITOperationManagement(ITOM)到ITOperationAnalytics(ITOA)大數據技術應用于IT運維，通過數據分析提升IT運維效率

??可用性監控

??應用性能監控

??故障根源分析

??安全審計Gartner估計，到2017年15%的大企業會積極使用ITOA；而在2014年這一數字只有5%實踐4：IT運維分析日志管理系統的進化日志1.0數據庫日志2.0Hadoop或者NoSQL日志3.0實時搜索引擎實踐4：日志的集中化管理日志沒有集中處理登錄服務器，使用腳本或者命令查看日志被刪除磁盤滿了刪日志黑客刪除日志，抹除入侵痕跡日志只做事后追查沒有實時監控、分析使用數據庫存儲日志無法適應TB級海量日志數據庫的schema無法適應各種各樣的日志格式無法提供全文檢索Hadoop批處理，不夠及時查詢慢數據離線挖掘，無法做在線分析Storm/SparkHadoop/Storm/Spark都只是一個開發框架，不是為日志管理設計的，需要大量開發NoSQL不支持全文檢索對日志實時檢索、分析日志實時搜索分析引擎快日志從產生到搜索分析出結果只有幾秒延時大每天處理TB級別的日志量靈活可搜索、分析任何日志云環境日志管理的實踐—目標功能實時數據采集存儲+索引查詢/關聯搜索實時告警圖表展示實時動態的采集日志數據，可以動態的監控到整個環境的運行狀態，一旦有緊急情況發生，可以第一時間掌握信息。集中管理來自多個集群的海量日志，對抓取的日志存儲并建立索引，可以快速的在海量信息中找到感興趣的部分。運用簡單的搜索語法在集中管理的海量日志中查找所需信息，根據關鍵詞一鍵查找多個集群中關聯的信息。根據實時采集的日志數據，分析日志信息的特征制定告警，對系統出現的錯誤做到第一時間的掌控，同時根據特定業務特征，實現危險狀態的預警。能對各字段進行統計，值分布，總數，平均數等，提供多樣化的圖表支持，柱狀圖，餅圖，折線圖等。利用自研的BC-Logmanager對非結構化日志的采集、分析為開發/運維人員提供精準分析、多維度圖表展示、實時報警、數據管理、離線處理和數據過濾等功能。實踐4：日志管理軟件Log-Manager云環境日志管理的實踐—數據流程圖數據庫文本文件數據流采集客戶端采集客戶端采集客戶端中間數據存儲實時分析離線分析數據挖掘監控報警分布式索引結果可視化實踐4：日志管理軟件Log-Manager云環境日志管理的實踐—系統結構圖數據庫應用系統文件InputTcp/UdpInputKafkaInputGelfInput檢索搜索引擎元數據數據庫Output監控系統自定義報警分析系統其他集成監控工具dashboard報表報警機制Journal機制訪問控制數據處理實時計算ServerWebInterface可視化搜索配置新增功能增強功能數據推薦數據分析集群管理Flume實踐4：日志管理軟件Log-Manager蘇研IDC研發測試區實踐蘇研自有IDC已投入使用，穩定運行近一年時間。研發測試區100臺物理機運行著BC-EC，支撐著研發部近2000臺研發用虛擬機的運作，三臺控制節點上每天會產出500G左右的日志數據?！刂乒濣c抓取客戶端消息隊列ZookeeperZookeeperZookeeperServer+Web+數據庫搜索引擎搜索引擎搜索引擎抓取客戶端抓取客戶端消息隊列實踐4：日志管理軟件Log-Manager