1、 XXX市人民醫院超融合虛擬化平臺 某人民醫院數據中心建設方案目錄 TOC o 1-4 h z u HYPERLINK l _Toc2420 一、 需求分析 PAGEREF _Toc2420 5 HYPERLINK l _Toc3560 1.1目前數據中心現狀 PAGEREF _Toc3560 5 HYPERLINK l _Toc4257 1.2需求匯總 PAGEREF _Toc4257 6 HYPERLINK l _Toc23015 二、 數據中心建設規劃技術方案 PAGEREF _Toc23015 7 HYPERLINK l _Toc17584 第一階段數據中心建設基礎架構規劃 PAGER

2、EF _Toc17584 8 HYPERLINK l _Toc16312 2.1、建設超融合架構數據中心 PAGEREF _Toc16312 9 HYPERLINK l _Toc12008 2.1.1現有業務系統分類 PAGEREF _Toc12008 10 HYPERLINK l _Toc18729 2.1.2中心機房超融合虛擬化平臺建設 PAGEREF _Toc18729 10 HYPERLINK l _Toc26852 2.1.3超融合虛擬化平臺實施規劃 PAGEREF _Toc26852 13 HYPERLINK l _Toc3179 機柜冗余設計 PAGEREF _Toc3179 1

3、3 HYPERLINK l _Toc28451 NTP時間服務 PAGEREF _Toc28451 13 HYPERLINK l _Toc7878 命名規則 PAGEREF _Toc7878 13 HYPERLINK l _Toc2410 虛擬化主機配置表 PAGEREF _Toc2410 16 HYPERLINK l _Toc6660 物理主機網絡端口規劃 PAGEREF _Toc6660 18 HYPERLINK l _Toc32528 虛擬機創建規劃 PAGEREF _Toc32528 18 HYPERLINK l _Toc12816 模板配置 PAGEREF _Toc12816 18

4、HYPERLINK l _Toc16024 數據副本數量選擇 PAGEREF _Toc16024 19 HYPERLINK l _Toc1172 2.1.4超融合架構介紹 PAGEREF _Toc1172 19 HYPERLINK l _Toc6997 2.1.5虛擬化軟件的選擇 PAGEREF _Toc6997 25 HYPERLINK l _Toc23206 2.1.6虛擬化平臺虛擬機安全 PAGEREF _Toc23206 25 HYPERLINK l _Toc6374 2.1.7 業務系統遷移方法 PAGEREF _Toc6374 29 HYPERLINK l _Toc5315 2.1

5、.8 系統培訓及知識轉移 PAGEREF _Toc5315 31 HYPERLINK l _Toc15301 2.2、業務系統整合 PAGEREF _Toc15301 32 HYPERLINK l _Toc31650 2.2.1中心機房業務系統整合 PAGEREF _Toc31650 32 HYPERLINK l _Toc20302 2.2.2東區機房業務系統整合 PAGEREF _Toc20302 34 HYPERLINK l _Toc17580 2.2.3腦科機房HIS系統整合 PAGEREF _Toc17580 34 HYPERLINK l _Toc21727 2.2.4腦科機房其他系統

6、整合 PAGEREF _Toc21727 34 HYPERLINK l _Toc20244 2.3、虛擬化平臺災備系統建設 PAGEREF _Toc20244 35 HYPERLINK l _Toc11513 2.3.1容災系統基本概念和指標 PAGEREF _Toc11513 35 HYPERLINK l _Toc1774 2.3.2容災建設的工作內容 PAGEREF _Toc1774 36 HYPERLINK l _Toc21143 2.3.3災難備份/恢復方案應該具備的特點 PAGEREF _Toc21143 37 HYPERLINK l _Toc1456 2.3.4現有系統環境分析 P

7、AGEREF _Toc1456 38 HYPERLINK l _Toc535 2.3.5容災系統設計 PAGEREF _Toc535 38 HYPERLINK l _Toc1023 2.4、建設數據中心統一備份平臺 PAGEREF _Toc1023 40 HYPERLINK l _Toc12378 2.4.1利用超融合平臺的優勢進行本地備份 PAGEREF _Toc12378 40 HYPERLINK l _Toc3779 2.4.2使用備份一體機進行統一冷備份 PAGEREF _Toc3779 41 HYPERLINK l _Toc7183 2.5、超融合系統的技術優勢 PAGEREF _T

8、oc7183 47 HYPERLINK l _Toc16836 2.5.1橫向擴展優勢 PAGEREF _Toc16836 49 HYPERLINK l _Toc21068 2.5.2性能優勢 PAGEREF _Toc21068 50 HYPERLINK l _Toc7276 2.5.3可靠性 PAGEREF _Toc7276 51 HYPERLINK l _Toc2264 2.5.4易于部署 PAGEREF _Toc2264 51 HYPERLINK l _Toc26975 2.5.5集中管理 PAGEREF _Toc26975 52 HYPERLINK l _Toc980 2.5.6自動故

9、障恢復 PAGEREF _Toc980 54 HYPERLINK l _Toc14344 2.6、建設數據中心統一云管理平臺 PAGEREF _Toc14344 54 HYPERLINK l _Toc10662 2.8、項目預算清單 PAGEREF _Toc10662 57首先非常感謝XXX人民醫院對的信任。也希望憑借自身多年在各個行業的云平臺建設以及容災項目實施中的項目管理、基礎架構咨詢、技術實現的經驗，協助XXX人民醫院建設高效可靠的IT基礎架構系統，成功地完成新建數據中心的咨詢和實施，降低XXX人民醫院業務系統的運營風險。需求分析在“互聯網+”時代，傳統行業模式被極大顛覆，極致、高效的客

10、戶體驗成為各行業關注的焦點；堅持以人為本，全面提升醫療信息化水平，增強醫院綜合就醫能力，建立以患者為中心的醫院診療服務系統和管理系統，成為開展智慧醫療和智慧醫院建設的重大挑戰！隨著XXX市人民醫院業務的增長，對于IT信息系統的要求不僅僅是滿足業務系統的正常要求。而且在數據的安全性，數據的分層管理、備份、遠程災備等方面也提出更高的要求。1.1目前數據中心現狀XXX人民醫院目前共有三個機房，分別是中心機房、東區機房和腦科機房。其中中心機房規模最大，共有45臺服務器設備，東區機房共有7臺設備，腦科機房共有11臺設備。中心機房已經建立了比較完整的數據中心基礎架構支撐平臺，HIS核心數據庫部署在中心機房

11、，采用東軟的解決方案，數據庫運行環境是Oracle 10g，運行在安騰架構的Rx9800上，中心機房其他服務器設備以HP 388和580，以及Lenovo RD 630為主。PACS系統一套6節點的Isilon存儲和3節點容災存儲，專門存放非結構化的影像數據。東區機房是中心機房的災備機房，包括2臺HP 388G7、2臺HP 580G7、1臺HP rx2600和2臺Lenovo RD 630，其中rx2600是核心HIS數據庫的備機。腦科機房是較為獨立的系統，擁有獨立的HIS系統，采用東華的解決方案，以HP DL388G7和DL580G7為主。三個機房中設備啟用時間在2007-2013年左右，大

12、部分已經不在質保期，并且除關鍵業務外，其余業務系統無本地高可用和容災保護。同時各個業務系統相對獨立，各自具備單獨的服務器、存儲、網絡資源，部分服務器和存儲系統已經不在保修范圍或停產，原有平臺豎井式架構搭建，隨著時間的累計，架構越來越復雜，且存在資源浪費的現象，運維和管理的難度也逐漸增大。1.2需求匯總針對此次數據中心建設，我們仔細分析了醫院三個機房現有業務系統的IT架構，結合新建院區數據中心建設，概括匯總需求如下：大部分業務系統設備啟用時間在2007-2013年左右，大部分已經不在質保期，且很多設備已經快達到設備壽命，軟件版本過低，存在版本更新的需求，系統運維依賴第三方廠商，系統運維存在隱患，

13、因此存在系統更新換代的需求。數據中心各業務系統相互獨立，當系統規模大時，一旦出現業務系統需要更新的情況，每個業務系統均需要進行更新操作，中心機房現有40多個業務系統，將會產生大量的操作，給運維人員帶來巨大的壓力，增加系統風險，因此存在系統加快業務更新響應速度的需求。 由于在系統層面現有數據采用豎井式架構，在存儲層面，采用統一存儲架構，系統橫向擴展性已經快接近瓶頸，隨著新業務的上線，系統復雜度大幅增加。即使繼續采用豎井式架構也將面臨如何整合數據的難題，因此存在降低系統復雜度的需求。各業務系統獨立的設計導致在設計容災系統時需要對各業務系統分別考慮，如果采用軟件層的解決方案，會造成系統復雜度提升，如

14、果采用存儲層的解決方案，會大幅提升系統建設成本，因此存在全系統保護的需求。現有中心機房和腦科機房的HIS系統存在整合需求。醫院新的數據中心將在一年后開始建設，存在統一規劃分步分批建設的需求。目前絕大部分系統都采用傳統豎井式架構，亟需更加靈活、擴展能力強的架構。能夠滿足核心業務系統數據本地高可用，無論發生計劃內或計劃外異常情況，業務不中斷，最大化確保業務持續運行，同時保證數據安全。本地分級存儲：實現數據分級管理，使存儲資源得到最有效的利用，不同級別不同成本的資源為不同價值和要求的數據服務，提高資源的利用率。構建統一、合理的、高可擴展的基礎架構。目前核心HIS數據庫尚無數據備份，因此系統存在本地數

15、據備份需求。 在本地高可用建設的基礎上，建設跨機房的容災系統，實現同城應用級別災備；能夠實現“從無到有、從有到優、統籌規劃、分步實施”，不僅僅考慮防止物理災難風險，同時要能夠防止邏輯災難風險； 災備系統盡可能采取簡單、成熟、高效的技術實現手段； 最大化程度利舊原有數據中心服務器、存儲等資產，保護已有投資。數據中心建設規劃技術方案綜合以上現狀分析，結合數據中心建設方法論及最佳實踐，建議采用分步分批的建設方式，使用擴展能力強，功能豐富的超融合基礎架構方案，來滿足醫院業務系統高可靠性、高可用性、業務連續性、數據安全、數據備份、數據及應用容災需求。建議XXX人民醫院的數據中心建設采用三步走的設計建設思

16、路，數據中心第一期建設超融合架構數據中心，進行業務系統的整合，并對核心業務的應用系統也進行整合，可選同時搭建災備系統平臺。第二期建設多種類型的虛擬化平臺并通過統一的云管理平臺進行管理，并建設多站點之間的災備系統。第三期建設醫院大數據平臺，并在云平臺上搭建SDN軟件定義網絡解決方案。第一階段數據中心建設基礎架構規劃本次數據中心建設基礎架構規劃如下：圖1：基礎架構規劃拓撲1）建設超融合基礎架構平臺，在中心機房建設一套超融合集群，并對現有系統進行評估，將除HIS、PACS等核心業務系統外的其他系統都遷移至超融合平臺，打破原有豎井式架構的束縛，并將原來運行這些業務系統的設備進行淘汰，解決現有機房設備達

17、到使用壽命而存在的潛在隱患，降低整體能耗成本。2）進行業務系統集中整合，目前XXX人民醫院核心HIS數據庫仍然運行在安騰架構的rx9800小型機環境中，并使用Oracle 10g的RAC方案，由于Oracle和Redhat早已停止了對安騰架構的支持，現有的核心HIS數據庫面臨極大的隱患，同時不同機房中的HIS系統采用不同的軟件解決方案，因此建議新數據中心的建設規劃中，將HIS系統進行整合遷移測試，此部分工作量比較大，可以分階段實施。3）搭建災備系統，在腦科機房搭建超融合災備平臺，與中心機房超融合平臺共同構建互備的虛擬化災備系統，兩個機房超融合平臺上運行的系統數據以主備方式進行讀寫，當一個機房存

18、儲設備發生故障時，數據存儲動態切換到災備機房，確保核心數據安全性和業務連續性。4）建設統一的數據備份平臺，目前中心機房的核心HIS數據庫尚沒有數據備份，在進行HIS系統整合后，建立統一的核心業務系統數據備份平臺，使核心業務系統不僅有本地高可用保護，還有數據備份保護能夠在故障時實現快速的數據恢復。以下分別闡述各部分的技術方案。2.1、建設超融合架構數據中心設計原則在方案設計中我們將遵循以下總體原則：以業務需求為導向技術架構最終是為業務服務的，因此技術架構的設計一定要以業務的需求為導向，充分考慮非功能需求，例如系統的重要程度、安全要求、業務連續性等。提高資源利用率現已經部署了大量的服務器，資源使用

19、率低是較突出的一個問題，因此在項目中，提高資源利用率成為一個重要的任務。動態擴展性在IT發展趨勢中，動態基礎架構已經成為IT基礎架構的發展方向。使IT基礎架構成為一個動態、靈活、具有彈性的IT基礎架構，同時在IT實時地運營過程可進行靈活的資源動態調整。資源擴展要體現在計算資源和存儲資源的同時擴展。高可用性應用系統的高可用性是保障服務等級的重要因素，在架構設計中應該以軟件定義為主，借助軟件的分布式架構滿足高可用性要求，實現系統架構和平臺架構的無單點故障、無單點瓶頸問題，保障新一代的業務系統健壯性。安全性在系統設計中，安全性是一個非常重要的問題。在架構中需要考慮到虛擬化架構內外部的安全，包括數據安

20、全等問題，以保證整個系統長期安全穩定的運行。2.1.1現有業務系統分類建議數據中心所有服務器分區分域部署，并在用戶網絡和數據中心網絡中間實施合理的安全防護，例如部署硬件的防火墻并設置相應的安全策略。針對現有醫院系統進行梳理，可以將醫院系統分為六大類，分別是核心業務系統應用、核心HIS數據庫、醫療信息系統、行政后勤系統、安全運維系統和PACS系統，其中PACS系統由于新購Isilon，將保持原有架構以避免投資浪費。除核心HIS數據庫外，其他四大類系統都將遷移至超融合平臺，以最大程度提高系統的使用率。目前中心機房現有系統共45個，除核心HIS數據庫和PACS外，其他業務系統共有37個左右，為提高系

21、統可用性，設計4-5個業務系統運行在一臺超融合節點上，因此如果所有非核心業務系統遷移，建議配置8個超融合節點滿足需求。同時東區機房的業務系統也遷移至中心機房超融合平臺上，由于東區機房系統體量較小，因此不需額外添加超融合節點。從存儲容量上看，除核心HIS數據庫和PACS系統外，其余系統數據量約為14TB，因此可選擇8個HX5510超融合節點，96TB裸容量，整個集群可用容量為48TB(RF2),每增加一個節點相應增加計算資源和存儲資源，不同類型的節點可以并存在同一集群。系統遷移至超融合平臺后的數據中心耗電量大幅下降，超融合集群每年的耗電量約為3萬度，每年將節省20多萬電費。2.1.2中心機房超融

22、合虛擬化平臺建設超融合架構在數據中心中承擔著計算資源池和分布式存儲資源池的作用，極大地簡化了數據中心的基礎架構，而且通過軟件定義的計算資源虛擬化和分布式存儲架構實現無單點故障、無單點瓶頸、彈性擴展、性能線性增長等能力；在虛擬化層可以自由選擇Hypervisor的品牌，包括VMware vSphere、MicroSoft Hyper-v和KVM；而且通過簡單、方便的管理界面，實現對數據中心基礎架構層的計算、存儲、虛擬化等資源進行統一的監控、管理和運維。超融合基礎架構形成的計算資源池和存儲資源池直接可以被云計算平臺進行調配，服務于OpenStack、Cloud Foundry、Docker、Had

23、oop等IAAS、PAAS平臺，對上層的業務系統等進行支撐。同時，分布式存儲架構簡化容災方式，實現同城數據雙活和異地容災。現有的超融合基礎架構可以延伸到公有云，可以輕松將私有云業務遷到公有云服務。新的中心機房拓撲圖如下所示：圖3：超融合基礎架構圖基于超融合技術搭建虛擬化集群，用于承載核心業務系統和支撐系統。方案超融合節點配置如下：Lenovo HX 5510超融合系統，軟硬件一體出廠預裝，三年原廠服務，每節點配置2顆 E5 2630 V4處理器，256 GB DDR4內存，可擴展到768GB，配置1塊64GB SSD作為虛擬化層安裝部署空間，2塊480GB SSD硬盤作為讀寫緩存及熱點數據存儲

24、空間，6塊2TB熱插拔硬盤，8個節點可用容量48TB（兩份副本存儲），12Gb SAS RAID卡，2塊雙端口萬兆光口，冗余電源；支持數據本地化、熱點數據自動分層、在線重刪、壓縮、快照、克隆、支持多種虛擬化平臺。通過軟件方式自動將本計算存儲一體化服務器及其它計算存儲一體化服務器中的所有節點的本地磁盤空間整合成一個整體存儲空間提供給虛擬化軟件使用（實現傳統架構中集中存儲的功能），單節點故障時不會影響整個存儲空間的使用且數據不會發生錯誤或丟失。軟件自動將經常訪問的數據放在SSD磁盤上，而將不常用的數據放在SATA磁盤上，無需手工干預；節點優先使用本地SSD磁盤進行IO吞吐，多數據副本:可以實現數據

25、保留2份甚至3份，充分保護數據，當發生硬件失效時不會影響數據正常訪問；不使用Raid技術：不使用傳統的Raid技術保護數據，避免由于磁盤故障導致整個Raid組性能降級，從而影響業務正常運行。提供內存、SSD、SATA不同性能層面的重復數據刪除功能，并且使用幾k到十幾k的粒度保證重復數據刪除的效率和效果。具備跨地域的遠程數據容災能力。支持同步、異步等多種容災方式，在線集群伸縮，一鍵升級。超融合系統對網絡設備的要求：每個節點提供2個或4個萬兆以太網光纖接口，每節點同時標配4個千兆以太網接口，后端萬兆和千兆網絡冗余配置，建議千兆網絡用于管理網絡，網絡采用兩層架構，下圖為推薦的網絡拓撲圖：2.1.3超

26、融合虛擬化平臺實施規劃機柜冗余設計推薦將8個超融合節點分別部署到4個機柜中，每個機柜部署兩個節點，最大化做到故障域的隔離。每個機柜雙路供電，實現真正的供電冗余。NTP時間服務對于虛擬化平臺，時鐘同步是容易被忽略的一個問題，嚴重的可能會影響業務系統操作系統及數據層面的一致性，因此建議在此次項目中配置時鐘服務器，一般有兩種做法，第一種是在超融合系統或集群之外部署一套基于Redhat linux的NTP服務器，作為整個集群的時間源，第二種是部署單獨的NTP網絡服務器設備。命名規則創建數據中心，并在數據中心中創建文件夾，在文件夾中創建群集，將ESXi主機加入到群集中，在群集中根據應用需求創建各種應用池

27、，該應用的虛擬機運行在這個池中。數據中心命名規劃項目命名規則實例命名數據中心lcrm+ “-”+“內容”lcrm-DataCenter文件夾qdrbs +“-”+“內容”lcrm-“ ”集群“內容”+“-”+“數字”HCI Cluster 1ESXiESXi+“數字”虛擬機“資源池名稱”+“-”+“虛擬機名稱”OA - xxxvCenter中的數據中心架構的規劃數據中心架構以下可以劃分多個文件夾，文件夾可以包括多個群集，每個群集可以包括多臺虛擬化主機，根據應用的實際需求，來劃分資源池，每個資源池可以包括多個虛擬機。數據中心群集ESXi主機虛擬機備注Lcrm-DataCenterHCI-clus

28、ter1vCenterServeerVMware vCenter 可以將所有 VMware ESX 主機及其虛擬機組織到群集和資源池中，從而大大簡化了資源管理工作。群集是虛擬基礎架構管理中的一個新概念，它不僅具有多個主機服務器的強大功能，還可以方便地管理單個實體。由多臺獨立主機聚合形成的群集將資源集中在一起，具有內在的高可用性，可顯著降低管理工作的復雜性。現在，虛擬機部署可從單個 VMware ESX 主機擴大到群集范圍，這樣虛擬機便可使用群集中的所有資源。vCenter 可以為虛擬機選擇最適合的主機，并可以在情況發生變化時在群集內部移動虛擬機。根據VMware vSphere技術白皮書的建議

29、，由于本虛擬化服務器平臺vCenter Server監控的主機的個數是三臺，所以配置vCenter Server的規格如下。vCenter/SQL服務器規格虛擬機名稱vCPU內存硬盤/存儲網卡vCenter Server4vCPU8GC：50G/（OS）1塊千兆網卡（VMnetwork1）VC-SQL4vCPU8GC：50G/（OS）D：100G/（數據庫）1塊千兆網卡（VMnetwork1）vCenter Server的安裝部署，需要安裝部署在windows Server 2008 R2的操作系統上，并且安裝部署VMware vCenter Server5.1和SQL Server 2008

30、 R2版本。vCenter/SQL服務器安裝虛擬機名稱服務器IP地址操作系統軟件主機名用戶名口令VC-SQLx.x.x.xwin 2008 R2 企業版Win SQL Server 2008 R2VC-SQLadministratorPsswordvCenter Serverx.x.x.xwin 2008 R2 企業版VMware vCenter Server5.1vCenteradministratorPssword用戶角色權限管理（可選）通過對管理員的角色分類，讓不同角色的管理員只賦予他們管理自己職責內環境的權限。建議將虛擬平臺的管理員分為以下幾個等級：類別權限人員管理員為所有 vCent

31、er Server 用戶和 vSphere 環境中的所有虛擬對象添加、移除和設置訪問權限和特權用作青島報業傳媒集團虛擬服務器系統總管理員虛擬機超級用戶允許用戶與虛擬機進行交互、更改虛擬機硬件和執行快照操作的一組特權。授予的特權包括：已調度任務特權組的所有特權。全局項目、數據存儲和虛擬機特權組的選定特權。沒有文件夾、數據中心、網絡、主機、資源、警報、會話、性能和權限特權組的特權。虛擬機用戶允許用戶與虛擬機的控制臺進行交互、插入媒體和執行電源操作的一組特權。不要授予允許更改虛擬機的虛擬硬件的特權。授予的特權包括：已調度任務特權組的所有特權。全局項目和虛擬機特權組的選定特權。沒有文件夾、數據中心、數

32、據存儲、網絡、主機、資源、警報、會話、性能和權限特權組的特權資源池管理員允許用戶創建子資源池、修改子資源池的配置但無法修改在其上授予了角色的池或群集的資源配置的一組特權。還允許用戶將權限授予子資源池并將虛擬機分配給父或子資源池。授予的特權包括：文件夾、虛擬機、警報和已調度任務特權組的所有特權。資源和權限特權組的選定特權。沒有數據中心、網絡、主機、會話或性能特權組的特權。必須在虛擬機和數據存儲上授予其他特權以允許置備新虛擬機數據存儲用戶允許用戶消耗數據存儲上的空間的一組特權，數據存儲上授予了此角色。要執行空間消耗操作（如創建虛擬磁盤或執行快照），用戶還必須為這些操作授予適當的虛擬機特權網絡用戶如

33、果同時也在虛擬機或主機上授予了分配的適當權限，則將允許用戶將虛擬機或主機分配給網絡的一組特權ESXi主機命名規范esxi+“數字”.“域名”，如；ESXi主機的本地數據存儲命名規范：esxi+“數字”+local，如esxi01local；ESXi主機用戶名口令：每臺虛擬主機，在安裝vSphere的過程中都需要創建密碼，用戶名是root初始口令為：Pssword.虛擬化主機配置表以下是每臺虛擬化主機的配置信息，包括主機的名稱，根用戶名為root，口令Pssword，主機的服務編號，物理機所屬的群集，本地磁盤的命名，物理服務器在機柜的位置；假設每臺主機有4個千兆網口，4個萬兆網口，八塊網卡命名為

34、vmnic0 vmnic1 vmnic2 vmnic3 vmnic4 vmnic5 vmnic6 vmnic7，并在這,八塊網卡組成的標準虛擬交換機上創建PortGroup：Management Network、VMnetwork、VMotion。項目內容網段主機網卡備注主機名稱 密碼：Pssword服務器位置機柜1自下而上HX01服務編號：所屬集群Server本地數據存儲ESXi-01-LocalvSwithc0Management Networkx.x.x.xvmnic0vmnic1對應交換機端口為Access模式vMotionx.x.x.xPrivate-Lanx.x.0 x.x.x.x

35、vSwithc1Private-Lanx.x.1x.x.x.xvmnic2vmnic3對應交換機端口為Trunk模式Private-Lanx.x.4x.x.x.xPrivate-Lanx.x.6x.x.x.xPrivate-Lanx.x.12x.x.x.xPrivate-Lan10.10.21x.x.x.xPrivate-Lan10.10.24x.x.x.xvSwithc2Public-Lan-x.x.x.xx.x.x.xvmnic4vmnic5vSwithc3Public-Lan-x.x.x.xx.x.x.xvmnic6vmnic7物理主機網絡端口規劃物理主機的網絡端口實施情況如下：主機名管

36、理網絡Vmotion網絡業務網絡IP地址網絡端口IP地址網絡端口網絡端口虛擬機創建規劃虛擬機創建根據業務需求，合理分配資源：CPU數量滿足需求的前提下越少越好內存可以根據需求自動調整，建議設定預留值磁盤選擇Thin模式，集群可以掛載共享裸設備，但會影響快照功能網絡盡量選擇萬兆交換機接口每臺虛擬機都要安裝VMware tools。由于虛擬機數量多，為提供運維的效率，建議醫院對所有虛擬機進行統一管理，包括虛擬機名稱，CPU、內存資源，磁盤容量，網絡標簽等信息，建議如下：業務名VM名稱主機名稱CPU內存磁盤網絡說明XX業務Ip地址-系統-業務名稱LCRM-HX-012*24GBx GBVlan x模

37、板配置根據業務系統所使用的操作系統版本，在虛擬化平臺中配置幾個常規典型模板配置，包括Windows、Linux等，實現虛擬機的快速部署。模板編號模板名稱操作系統密碼應用程序數據副本數量選擇根據預先定義好的業務系統的關鍵級別，可以基于超融合系統continer級別實現可選兩副本或三副本的數據安全保護。2.1.4超融合架構介紹超融合基礎架構（Hyper-Converged Infrastructure，或簡稱“HCI”）是指在同一套單元設備中不僅僅具備計算、網絡、存儲和服務器虛擬化等資源和技術，而且還包括備份軟件、快照技術、重復數據刪除、在線數據壓縮等元素，而多套單元設備可以通過網絡聚合起來，實現

38、模塊化的無縫橫向擴展（scale-out），形成統一的資源池。HCI是實現“軟件定義數據中心”的終極技術途徑。HCI類似Google、Facebook等互聯網數據中心的大規模基礎架構模式，可以為數據中心帶來最優的效率、靈活性、規模、成本和數據保護。使用計算存儲超融合的一體化平臺，替代了傳統的服務器加集中存儲的架構，使得整個架構更清晰簡單。圖4：數據中心4.0新一代數據中心建設包含眾多信息化應用的實施，與此相對應，機房服務器和存儲設備也必將大量使用，并且隨著后期應用擴充和服務擴容，服務器和存儲設備的投入必然越來越龐大。一方面，管理硬件基礎設施的壓力和成本會不斷增大；另一方面，由于應用的多樣性，服

39、務器和存儲難于有效整合，服務器的資源使用都遠低于其實際的處理能力，計算能力和存儲容量難以充分利用。實施虛擬化/云計算數據中心，可以有效整合服務器及存儲資源，形成計算資源池，根據新一代數據中心各項應用的實際需要動態分配計算資源，最大效率的利用現有服務器及存儲設備，并對數據中心硬件設備進行有效管理和監控。超融合架構在數據中心中承擔著計算資源池和分布式存儲資源池的作用，極大地簡化了數據中心的基礎架構，而且通過軟件定義的計算資源虛擬化和分布式存儲架構實現無單點故障、無單點瓶頸、彈性擴展、性能線性增長等能力；在虛擬化層可以自由選擇Hypervisor的品牌，包括VMware vSphere、MicroS

40、oft Hyper-v和KVM；而且通過簡單、方便的管理界面，實現對數據中心基礎架構層的計算、存儲、虛擬化等資源進行統一的監控、管理和運維。超融合基礎架構形成的計算資源池和存儲資源池直接可以被云計算平臺進行調配，服務于OpenStack、Cloud Foundry、Docker、Hadoop等IAAS、PAAS平臺。同時，分布式存儲架構簡化容災方式，實現同城數據雙活和異地容災。現有的超融合基礎架構可以延伸到公有云，可以輕松將私有云業務遷到公有云服務。圖5：超融合市場領導者計算資源層面：超融合系統的計算資源池是通過x86服務器虛擬化來實現的，可以支持VMware vSphere和Nutanix

41、Acropolis平臺提供的KVM等Hypervisor，如圖6。在虛擬化Hypervisor層形成計算資源池，為業務系統的虛擬機提供不同的服務質量和能力，包括了高可用(High Availability)、容錯(Fault Tolerant)、在線遷移(Live Migration/vMotion)、資源動態負載均衡(Distributed Resource Scheduler)等虛擬化的特性。同時可以支持業務虛擬機在不同的Hypervisor之前進行遷移，也就是V2V的能力，例如從vSphere遷移到KVM等。圖6：超融合架構計算資源池（x86服務器虛擬化）存儲資源層面：超融合系統提供的分

42、布式文件系統（NDFS）可以將一組集群內的節點組成一個統一的分布式存儲平臺。NDFS對于x86虛擬化平臺軟件而言就是一個集中的共享式存儲，與任何其他集中式存儲陣列一樣工作，且提供更為簡單便捷的存儲管理，無需像傳統集中存儲那樣再配置LUN、卷、或者Raid組。圖7：分布式存儲架構和功能超融合分布式存儲架構不僅同樣提供傳統存儲的能力外，還提供更多的能力。針對于虛擬化方面提供快照、克隆等機制，數據層實現本地優先訪問、存儲分層等性能機制，對數據進行壓縮和去重提高存儲可用容量，借助兩份以上冗余數據提供存儲的可靠性，增加或減少節點數據分布會自動平臺，當節點宕機或磁盤損壞后具備數據自恢復能力等。超融合系統H

43、X系列每個節點提供兩種磁盤，標準配置為2塊SSD，單盤容量分200GB、400GB；6塊SATA的HDD，容量為1TB、2TB 、4TB、6TB的HDD)。圖8 分布式存儲系統邏輯架構NDFS被設計成為非常動態的平臺，可以適用于不同工作負載的應用，并且允許混合節點類型：例如將計算密集型節點和存儲密集型節點混合在一個集群中。對于集群內部磁盤容量大小不同的，確保數據一致的分布非常重要。NDFS有自帶的稱為磁盤平衡的技術，用來確保數據一致的分布在集群內部各節點上。磁盤平衡功能與各節點的本地磁盤利用率和內置的NDFS ILM（數據生命周期管理）一同工作。它的目標是使得所有節點的磁盤利用率大致相等。另外

44、，超融合節點通過ILM（信息生命周期管理）實現SSD和HDD的數據熱分層。簡單而言，磁盤的熱分層時實現在集群內所有節點的SSD和HDD上，并且由ILM負責觸發數據在熱分層之間的遷移。本地節點的SSD在熱分層中是最高優先級的，負責所有本地虛擬機IO的讀寫操作。并且還可以使用集群內所有其他節點的SSD，因為SSD層總是能提供最好的讀寫性能，并且在混合存儲環境中尤為重要。在超融合的虛擬化環境中，所有IO操作都將由本地節點上的Controler VM(CVM)接管，以提供極高的性能。據以往經驗及用戶習慣分析，一般運行服務器虛擬化的虛擬機對IO性能要求在200-300 IOPS左右，而單個節點可提供25

45、000上的IOPS，3節點集群可提供將近75,000的IOPS。可以非常輕易的滿足醫院業務的需求。在計算虛擬化資源池中的每臺虛擬化Hypervisor節點上會運行多臺虛擬機，多臺虛擬機之間共享網絡，為了方便管理建議采用虛擬交換機來配置和管理網絡，虛擬交換機可在數據中心級別提供集中和聚合的虛擬網絡，從而簡化并增強虛擬機網絡。在虛擬交換機的網絡劃分上，仍然可以采用VLAN的方式劃分不同的子網，實現不同子網段的安全和隔離。在網絡隔離上，也可以采用網絡虛擬化VXLAN技術。VXLAN網絡協議，即VLAN協議的擴展版本。VXLAN網絡可以跨越物理邊界，從而跨不連續的數據中心和集群來優化計算資源利用率。V

46、XLAN采用邏輯網絡與物理拓撲相互分離，使用IP的技術，所以無需重新配置底層物理網絡設備即可擴展VXLAN網絡。正因如此，也就無需再花費大量時間來規劃如何調配VLAN及管理VLAN數量劇增問題。在每個Nutanix物理節點上有多種網絡需求，包括管內部通訊網絡、管理網絡、生產網絡等，因此每個Nutanix節點建議配置2塊網卡，網絡設計建議如下：類型設計備注Nutanix物理節點之間的內部通訊網絡10Gb以太網雙鏈路冗余每個節點通過兩條萬兆鏈路分別連接兩臺萬兆交換機，保證網絡設備和鏈路的冗余度。建議用戶使用萬兆網絡互聯物理節點，當發生密集的寫IO時，萬兆網絡能保證提供足夠帶寬滿足節點之間的IO同步

47、流量。客戶端與服務器虛擬機之間的通訊網絡，虛擬化服務器對外服務網絡1Gb/10Gb以太網，雙鏈路冗余每個節點通過兩條千/萬兆鏈路分別連接兩臺千/萬兆交換機，保證網絡設備和鏈路的冗余度。用戶訪問虛擬服務器對外提供服務時，通過千/萬兆鏈路可以實現與后端存儲流量隔離。硬件管理網絡(IPMI)1Gb以太網每個節點都有獨立的千兆鏈路，用于連接專門的管理網絡，實現管理網絡與業務網絡、存儲網絡分離。可以最大限度保證管理的靈活性和安全性。2.1.5虛擬化軟件的選擇虛擬化Hypervisor層的類型選擇，基于生產環境和災備環境劃分，生產環境建議采用Vmware vsphere商業化平臺軟件并購買原廠支持服務，非

48、生產環境容災環境，建議采用平臺標配的免費的AHV虛擬化軟件，具備高可用(High Availability)、在線遷移(Live Migration/vMotion)等常用虛擬化層特性。Vmware vsphere虛擬化軟件版本對比，目前vsphere保留了標準版、企業增強版和企業增強版帶Operations Management（監控、容量規劃），主要區別在于分布式虛擬交換機支持、DRS動態資源調度、Qos、跨Vcenter管理平臺和長距離虛擬機遷移，建議預算充足考慮企業增強版帶Operations Management（監控、容量規劃）版本。以下為版本間區別：2.1.6虛擬化平臺虛擬機安全

49、虛擬化在資源利用率、高可用性、高擴展性上有著諸多優勢，實現虛擬化后，直觀的來看，是將多臺服務器集中到了一臺主機內，這一臺主機同時運行了多個操作系統，提供不同的應用和服務；系統管理員根據需要可以非常方便的添加新的應用服務器；根據傳統的安全設計模型，需要在每個操作系統中安裝防毒軟件，在網絡層部署入防火墻、侵檢測或入侵防御系統，但是在這種在傳統方式下合理的設計，在虛擬環境下會面臨一些新的問題：未激活的虛擬機，物理機下關閉計算機后CPU停止運行，網絡關閉，理論上不會有數據的交互，操作系統也就不存在被感染的可能；但是在虛擬環境下，CPU，網絡，底層的ESX都在工作中，關閉的操作系統類似于物理環境下的一個

50、應用程序，盡管這個“應用程序”沒有運行，但仍然有被病毒感染的可能；資源的沖突，防毒軟件在啟用預設掃描后，當到了指定時間，會同時進行文件掃描的動作，這個時候防毒軟件對CPU和內存的占用急劇增加，當系統資源被耗盡的時候就會導致服務器down機；管理復雜度，由于虛擬化的便利性，系統管理員可以非常方便的根據模板生成新的系統，這些新系統要打補丁，進行病毒代碼的更新，也會增加安全管理的復雜度；虛擬化環境的動態特性面臨入侵檢測/防御系統（IDS/IPS）的新挑戰。基于網絡的IDS/IPS，也無法監測到同一臺ESX服務器上的虛擬機之間的通訊；由于虛擬機能夠迅速地恢復到之前的狀態，利用VMware VMotio

51、n易于在物理服務器之間移動，所以難以獲得并維持整體一致的安全性。所以虛擬化已經使“網絡邊界去除”的挑戰更加明顯，虛擬化對于安全的需求也更加迫切。VMware VShield Endpoint 程序使我們能夠部署專用安全虛擬機以及經特別授權訪問管理程序的API。這使得創建獨特的安全控制虛擬機成為可能，如在Gartner的報告中所述，安全虛擬機技術在虛擬化的世界中從根本上改變安全和管理的概念。這種安全虛擬機是一種在虛擬環境中實現安全控制的新型方法。安全虛擬機利用API來訪問關于每一虛擬機的特權狀態信息，包括其內存、狀態和網絡通信流量等。因為在不更改虛擬網絡配置的情況下，服務器內部的全部網絡通信流量

52、是可見的。 包括防病毒、防火墻、IDS/IPS 和系統完整性監控等在內的安全功能均可以應用于安全虛擬機中。Deep Security產品由三部分組成，管理控制平臺（以下簡稱DSM）；安全虛擬機（以下簡稱DSVA）；安全代理程序（以下簡稱DSA）。趨勢科技Deep Security安全防護系統管理控制中心（DSM），是管理員用來配置及管理安全策略的集中式管理組件，所有的DSVA及DSA都會注冊到DSM，接受統一的管理。 趨勢科技Deep Security安全防護系統安全虛擬機(DSVA)是針對 VMware vSphere 環境構建的安全虛擬計算機，可提供防惡意軟件、IDS/IPS、防火墻、We

53、b 應用程序防護和應用程序控制防護，數據完整性監控等安全功能。 趨勢科技Deep Security安全防護系統安全代理程序(DSA)是安全客戶端，直接部署在操作系統中，可提供 IDS/IPS、防火墻、Web 應用程序防護、應用程序控制、完整性監控和日志審查防護等安全功能。 Deep Security通過vshield endpoint提供的實時掃描、預設掃描、清除修復等數據接口，對虛擬機中的數據進行病毒代碼的掃描和判斷，并結合防火墻、IDS策略實時對進出虛擬機的數據進行安全過濾；在管理上需要vshield manager和vcenter的支持。趨勢科技Deep Security系統提供了對數據

54、中心（范圍遍及虛擬桌面到物理、虛擬或云服務器）的高級保護，包括： 防惡意軟件 防火墻入侵檢測和阻止 (IDS/IPS) Web 應用程序防護 應用程序控制 完整性監控 日志審計VMware 虛擬機的惡意軟件防護 防惡意軟件模塊可提供趨勢科技防惡意軟件防護，包括實時掃描、預設掃描及手動掃描功能，處理措施包含清除、刪除、拒絕訪問或隔離惡意軟件。檢測到惡意軟件時，可以生成警報日志。 入侵檢測和阻止 (IDS/IPS)、Web 應用程序防護和應用程序控制 DPI 規則通過保護漏洞不受已知和未知攻擊來提供入侵檢測和阻止 (IDS/IPS) 防護。此類防護也稱為虛擬補丁，實現方式是每個規則定義預期的應用程

55、序數據并根據其內容阻止惡意數據。 此外，DPI 規則通過一組 Web 應用程序防護規則來保護 Web 應用程序中的漏洞（如跨站點腳本 (XSS) 和 SQL 注入）。 通過檢測已知的應用程序流量（在企業環境中可能需要限制），DPI 規則還可以用于向計算機提供應用程序控制。 持續的趨勢科技Deep Security系統規則更新會自動提供最新的全面防護，以抵御已知和未知攻擊。 防火墻規則 完善的雙向狀態防火墻為所有網絡通訊協議（包括 TCP、UDP 和 ICMP）提供全面支持。防火墻規則是完全可配置的，以每個網絡接口為基礎允許或拒絕網絡通信，以及限制對允許的 IP 或 MAC 地址的通信。 完整性

56、監控規則 通過完整性監控防護模塊，趨勢科技Deep Security系統可以掃描和檢測計算機系統文件、目錄、注冊表項和注冊表值以及已安裝軟件和運行的服務中發生的更改。系統會將這些更改作為事件記錄在管理中心中，并且可以對其進行配置，以生成警報。日志審計規則 通過集成 OSSEC，趨勢科技Deep Security系統可以審查由操作系統和應用程序生成的日志事件。日志審計事件保存在管理中心中，可以對其進行配置，以生成警報。此部分只給出建議，實際授權按照處理器數量收費。2.1.7 業務系統遷移方法將現有生產系統利用Vmware Converter工具遷移到vSphere虛擬化平臺上，保證業務的正常運行

57、。現有生產環境中Windows Server 2000，需使用Converter4.0遷移工具進行遷移。此外，生產環境中以2003、2008系統居多，使用Converter5.1遷移工具進行遷移。可以實現在線遷移服務器到虛擬機（P2V），根據用戶數據遷移前后的存儲位置不同，可以采用不同的數據遷移方案來進行數據遷移：具體采用哪一種還需要到實際現場實際考察和確認。以下是對具體情況的分析：源服務器數據存放在本地，計劃遷移到虛擬機上可以實現在線遷移，遷移的需要網絡防火墻開通相關端口，遷移的時間取決于服務器數據量大小和網絡的速度。源服務器數據存放在共享磁盤柜上，計劃遷移到虛擬機上可以實現在線遷移，遷移的

58、需要網絡防火墻開通相關端口。一般情況下，共享存儲上的數據量會非常大，所以這種應用遷移時間會比較長。源服務器數據以Raw方式存放在共享磁盤柜，計劃仍保留在磁盤柜不可以實現在線遷移，需要用戶備份數據。重新搭建環境，把磁盤柜Raw掛載到虛擬機上，然后進行數據恢復。源服務器數據以文件系統方式存放在共享磁盤柜，計劃仍保留在磁盤柜不可以實現在線遷移，需要用戶備份數據。重新搭建環境，把磁盤柜相應的分區掛載到虛擬機上，格式化成相關的文件系統，然后進行數據恢復。根據不同的數據遷移的方案，數據遷移的步驟如下：在線遷移的步驟備份被遷移的服務器數據安裝一臺Convert服務器和客戶端；調整網絡防火墻設置滿足遷移需求；

59、啟動運行Convert應用程序，根據向導開始遷移指定服務器；遷移完成后，測試驗證新生成的虛擬機可用。離線遷移的步驟備份被遷移的服務器數據；根據需求創建虛擬機；配置虛擬機的網絡、主機名稱等；在虛擬機安裝應用程序；恢復應用程序數據；啟動應用程序服務；測試驗證新搭建的虛擬機可用。數據遷移的風險評估數據遷移之前需要用戶做好數據備份。在線遷移過程不會破壞源數據庫服務器的任何數據，即使遷移失敗，源數據庫服務器仍然可以繼續提供服務，故數據遷移沒有風險。遷移前準備：操作系統版本系統盤數量及大小業務信息統計處所網絡環境的帶寬停機窗口時間遷移回退方案：無論是P2V、V2V或者是VMware平臺自帶的vMtion功

60、能，理論上，遷移都不會破壞源端虛擬機，如發生遷移失敗或者遷移過去后業務不可用，可直接啟用源端虛擬機繼續提供業務，待查明原因后，繼續遷移。2.1.8 系統培訓及知識轉移對本項目中的培訓任務給予高度重視，首先選擇具有豐富工作實踐和教學經驗的技術人員擔任教師；其次認真編寫有關培訓教材，充分保證培訓課程的實用性，使客戶的技術人員在最短的時間內獲得最有效的系統知識；另外，合理組織培訓方式，結合不同教學形式，使得培訓效果達到最佳。在培訓工作完成之后，學員將具備以下能力：服務器虛擬化產品的整體結構、設計思路、所用技術具有全面的了解掌握系統中涉及的各種功能模塊件的用途、使用、維護方法掌握系統中涉及的軟件安裝、