虛擬化架構規(guī)劃實戰(zhàn)主要內容1項目背景2需求分析3設計選型4實施方案一、項目背景某客戶作為國內制造型企業(yè)，信息化建設不斷發(fā)展。目前信息化網絡以信息中心為運營維護單位，業(yè)務范圍覆蓋人力資源、市場計費、資產管理、郵件、OA、SQL數據庫、Web服務、系統出單、收付等多套系統，服務器資源龐大。出于經濟效益和管理安全性考慮，針對基礎架構的虛擬化整合已勢在必行。本章以國內某企業(yè)數據中心的建設升級作為案例，詳細給出一個VMware虛擬化架構規(guī)劃實戰(zhàn)方案。二、需求分析某制造型企業(yè)準備在外地開設一個新的分公司，員工數量在150~200之間。由于日常辦公以及業(yè)務需要，該企業(yè)將搭建多種應用服務，例如人力資源、市場計費、資產管理、郵件、OA、SQL數據庫、Web服務、系統出單、收付等系統，這些應用系統主要采用Windows和Linux服務器予以支持。根據上述需求，可以看出，此項目屬于典型的中小企業(yè)IT應用模式。根據成本預算和應用服務采購相應的服務器、網絡設備、配置、調試完成后，經過一段時間的試運行，如果沒有問題即可正式投入使用。三、設計選型1.傳統方案根據企業(yè)的背景以及需求，需要考慮以下幾個方面的問題來決定服務器、存儲、網絡等設備的數量。（1）應用系統的數量。（2）應用系統的資源使用情況。（3）應用系統的安全性和可擴展情況。在需求分析中提到采購服務器，實際上無論是使用傳統方案還是虛擬化方案，都會涉及采購服務器，具體的差異如下。三、設計選型使用傳統方案的話，一般來說一臺物理服務器提供單一服務，即一臺物理服務器一般只運行一個業(yè)務系統。根據需求分析，大約需要10臺左右服務器。三、設計選型2.虛擬化方案虛擬化的方案是根據傳統方案計算而產生的，具體規(guī)劃如下。（1）將應用平臺所需要的物理服務器轉換為虛擬服務器，虛機數量為10臺。（2）使用主流IntelXeonE5的CPU，每臺物理服務器2顆，配置32G內存，運行ESXi6.0系統，按照標準的物理服務器到虛擬服務器換算比率1:8計算，每臺物理服務器可以運行8臺虛擬服務器，因此只需配置2臺物理服務器即可。考慮冗余和擴展性，建議配置3臺物理服務器。三、設計選型通過上述計算，可以清楚地看出在服務器資源利用上比起傳統的架構方案，采用虛擬化方案有絕對的優(yōu)勢，大大降低了初期成本，同時在高級服務提供上也比傳統方案存在優(yōu)勢。下面采用虛擬化方案來規(guī)劃具體實施方案。四、實施方案本案例采用VMware虛擬化方案，整體IT架構如下圖所示。四、實施方案（一）計算資源規(guī)劃虛擬機上運行著為各個用戶和整個業(yè)務線提供支持的應用與服務，其中有很多都是關鍵業(yè)務應用，因此，用戶必須正確設計、調配和管理虛擬機，以確保這些應用與服務能夠高效運行。VMwareESXi主機是數據中心的基本計算構造塊，這些主機資源聚合起來可構建高可用動態(tài)資源池環(huán)境，作為數據中心各應用的整體計算資源。四、實施方案1.指導原則與最佳實踐（1）除非確實需要多個虛擬CPU(vCPU)，否則默認配置一個，使用盡可能少的虛擬CPU。操作系統必須支持對稱多處理(SMP)功能，應用必須是多線程的，才能受益于多個虛擬CPU。虛擬CPU的數量不得超過主機上物理CPU核心（或超線程）的數量。（2）不要規(guī)劃使用主機的所有CPU或內存資源，在設計中保留一些可用資源。要實現虛擬機內存性能最優(yōu)化，關鍵是在物理RAM中保留虛擬機的活動內存，應避免過量分配活動內存。（一）計算資源規(guī)劃四、實施方案1.指導原則與最佳實踐（3）始終將透明頁共享保持啟用狀態(tài)，始終加載VMwareTools并啟用內存釋放。（4）資源池CPU和內存份額設置不能用于配置虛擬機優(yōu)先級。資源池可用于為虛擬機分配專用CPU和內存資源。（5）在工作負載極易變化的環(huán)境中配置vSphereDPM，以降低能耗和散熱成本。（6）部署一個系統磁盤和一個單獨的應用數據磁盤。如果系統磁盤和數據磁盤需要相同的I/O特征（RAID級別、存儲帶寬和延遲），應將它們一起放置在一個數據存儲中。（一）計算資源規(guī)劃四、實施方案1.指導原則與最佳實踐（7）應用要求應作為向虛擬機分配資源的主要指標。使用默認設置部署虛擬機，明確采用其他配置的情況除外。（8）像保護物理機一樣保護虛擬機的安全。確保為虛擬基礎架構中的每個虛擬機啟用了防病毒、反間諜軟件、入侵檢測和防火墻。確保隨時更新所有的安全保護措施。應用合適的最新補丁，要將虛擬機軟件和應用保持在最新狀態(tài)，應使用補丁程序管理工具，或者安裝和配置UpdateManager。（9）為避免管理連接問題，應向每個ESXi主機分配靜態(tài)IP地址和主機名。為便于管理，應為DNS配置每個ESXi主機的主機名和IP地址。（一）計算資源規(guī)劃四、實施方案1.指導原則與最佳實踐（10）確保數據中心有足夠的電源和散熱容量以避免服務中斷。（11）無論選擇了哪個硬件平臺，都應設計一致的平臺配置，特別是在VMware集群中。一致性包括CPU類型、內存容量和內存插槽分配、網卡和主機總線適配器類型，以及PCI插槽分配。（12）使用一個或多個啟用了vSphereHA和DRS的集群，以增加可用性和可擴展性。（13）使用橫向擴展還是縱向擴展集群由集群用途、基礎架構規(guī)模、vSphere限制以及資金和運營成本等因素確定。（一）計算資源規(guī)劃四、實施方案2.ESXi主機選購通過上面的分析，對于該企業(yè)來說，考慮實施負載均衡、故障切換等高級功能，建議配置3臺物理服務器。在本設計案例中，基于中小企業(yè)成本考慮，推薦配置及功能相當于華為FusionServerRH2288HV3的機架服務器。FusionServerRH2288HV3是華為全新一代高性能2U2路機架服務器，憑借高效設計在確保卓越計算性能的同時，支持超大容量本地存儲，輕松應對數據快速增長，提供靈活、強大的資源擴展能力，適用于互聯網、大數據、企業(yè)關鍵應用、云計算、HPC、電信業(yè)務等廣泛應用，如下圖所示。（一）計算資源規(guī)劃四、實施方案CPU配置：對于中小企業(yè)來說，基于成本考慮，配置主流雙路至強E5CPU是強烈推薦的。如果對性能有較高的要求，建議配置4路至強E5CPU或更高的機架式/刀片服務器。內存配置：ESXi主機對內存的配置是基于CPU來的，以主流雙路至強E5CPU來計算，運行8個左右的虛擬服務器，每臺服務器平均配置2GB內存，那么需要的內存數量為20GB，考慮性能及冗余，建議配置32GB以上內存。2.ESXi主機選購（一）計算資源規(guī)劃四、實施方案網卡配置：目前服務器都在主板上集成了2個以上的千兆以太網卡，以華為FusionServerRH2288HV3服務器為例，可選配2個GE接口或4個GE接口或2個10GE接口或2個56GFDRIB接口。對于生產環(huán)境，推薦使用帶TOE功能的千兆以太網卡，這樣會大大減少iSCSI傳輸對于CPU產生的負載。如果成本允許，推薦使用萬兆以太網卡以及萬兆的交換機。2.ESXi主機選購（一）計算資源規(guī)劃四、實施方案目前主流的辦公網絡可以達到千兆，不少數據中心網絡已升級為萬兆。網絡在虛擬化架構中屬于核心之一，ESXi主機所有的流量全部依賴于網絡，網絡設計的不合理會嚴重影響整個虛擬化架構的運行。一臺典型的ESXi主機會配置6個千兆以太網口連接到核心交換機。針對典型配置，本案例做一些調整，推薦配置ESXi主機12個千兆以太網口，具體分配描述如下。3.ESXi主機網絡設計（一）計算資源規(guī)劃四、實施方案VM流量：配置4個千兆以太網口。在ESXi主機上面運行的是各種虛擬服務器，提供的所有服務均依賴于網絡的傳輸，4個千兆以太網口捆綁不但可以為虛擬服務器提供總帶寬4GB的傳輸速率，同時還可提供冗余功能。3.ESXi主機網絡設計（一）計算資源規(guī)劃四、實施方案iSCSI存儲流量：配置4個千兆以太網口。iSCSI存儲流量屬于核心流量，存儲性能會影響到整體運行。對于中小企業(yè)來說，一般不會采用專業(yè)的硬件級iSCSIHBA，而是采用軟件iSCSI方式連接。但需要注意的是，軟件iSCSI連接方式會占用大量的CPU資源。所以，在選擇網卡的時候，一定要選擇帶TOE(TCPOffloadEngine：TCP減負引擎)功能的千兆網卡。TOE技術對于TCP/IP堆棧進行了軟件擴展，使部分TCP/IP功能調用從CPU轉移到了網卡上集成的TOE硬件，它把網絡數據流量的處理工作全部轉到網卡上的集成硬件中進行，CPU只承擔TCP/IP控制信息的處理任務，從而有效降低了CPU負載。3.ESXi主機網絡設計（一）計算資源規(guī)劃四、實施方案vMotion流量：配置2個千兆以太網口。vMotion流量主要在遷移的時候使用，官方推薦至少使用2張千兆網卡，使用一張會出現報警提示。一般來說，如果配置了DRS，ESXi主機負載高的時候會自動進行遷移，或者需要對ESXi主機進行維護也需要遷移，配置2個千兆以太網口能夠滿足日常需求。FT/管理流量：配置2個千兆以太網口。FT高級特性由于只能使用一個vCPU，在實際的部署中使用有限，更多的是運行管理流量，配置2個千兆以太網口能夠滿足管理需求，同時提供冗余功能。3.ESXi主機網絡設計（一）計算資源規(guī)劃四、實施方案正確的存儲設計對組織實現其業(yè)務目標有著積極的影響，可以為性能良好的虛擬數據中心奠定基礎。它可以保護數據免受惡意或者意外破壞的影響，同時防止未經授權的用戶訪問數據。存儲設計必須經過合理優(yōu)化，以滿足應用、服務、管理員和用戶的多樣性需求。存儲資源規(guī)劃的目標是戰(zhàn)略性地協調業(yè)務應用與存儲基礎架構，以降低成本、改善性能、提高可用性、提供安全性，以及增強功能，同時將應用數據分配到相應的存儲層。（二）存儲資源規(guī)劃四、實施方案在規(guī)劃存儲資源時，本案例遵循如下的指導原則與最佳實踐。（1）構建模塊化存儲解決方案，該方案可以隨時間推移不斷擴展，以滿足組織的需求，用戶無需替換現有的存儲基礎架構。在模塊化存儲解決方案中，應同時考慮容量和性能。（2）每個存儲層具有不同的性能、容量和可用性特征，只要不是每個應用都需要昂貴、高性能、高度可用的存儲，設計不同的存儲層將十分經濟高效。（二）存儲資源規(guī)劃1.指導原則與最佳實踐四、實施方案（3）配置存儲多路徑功能，配置主機、交換機和存儲陣列級別的冗余以便提高可用性、可擴展性和性能。（4）允許集群中的所有主機訪問相同的數據存儲。（5）啟用VMwarevSphereStorageAPIs-ArrayIntegration(VAAI)與存儲I/O控制。配置存儲DRS以根據使用和延遲進行平衡。（6）根據SLA、工作負載和成本在vSphere中創(chuàng)建多個存儲配置文件，并將存儲配置文件與相應的提供商虛擬數據中心對應起來。（二）存儲資源規(guī)劃1.指導原則與最佳實踐四、實施方案（7）對于光纖通道、NFS和iSCSI存儲，可對存儲進行相應設計，以降低延遲并提高可用性。對于每秒要處理大量事務的工作負載來說，將工作負載分配到不同位置尤其重要（如數據采集或事務日志記錄系統）。通過減少存儲路徑中的躍點數量來降低延遲。（8）NFS存儲的最大容量取決于陣列供應商。單個NFS數據存儲的容量取決于將訪問數據存儲的每個虛擬機所需的空間，乘以在延遲可接受的情況下可以訪問數據存儲的虛擬機數量。考慮將存儲DRS配置為使其成員數據存儲的使用量保持在80%（默認設置）的均衡水平。（二）存儲資源規(guī)劃1.指導原則與最佳實踐四、實施方案（9）單個VMFS數據存儲的容量取決于將訪問數據存儲的每個虛擬機所需的空間，乘以在延遲可接受的情況下可以訪問數據存儲的虛擬機數量。考慮配置存儲DRS，使數據存儲使用量保持在80%的均衡水平。保留10%到20%的額外容量，用于容納快照、交換文件和日志文件。（10）為促進對iSCSI資源的穩(wěn)定訪問，應該為iSCSI啟動器和目標配置靜態(tài)IP地址。（11）對于基于IP的存儲，應使用單獨的專用網絡或VLAN以隔離存儲流量，避免與其他流量類型爭用資源，從而可以降低延遲并提高性能。（二）存儲資源規(guī)劃1.指導原則與最佳實踐四、實施方案（12）根據可用性要求選擇一個RAID級別，對大多數虛擬機工作負載而言，如果陣列具有足夠的電池供電緩存，RAID級別對性能不會產生影響。（13）對于大多數應用，除非存在對RDM的特定需求，否則請使用VMDK磁盤。（二）存儲資源規(guī)劃1.指導原則與最佳實踐四、實施方案在本設計案例中，推薦配置及功能相當于華為OceanStor5300/5500/5600/5800V3系列iSCSI存儲服務器或威聯通NAS。（二）存儲資源規(guī)劃2.存儲的選擇華為OceanStor5300/5500/5600/5800V3存儲系統是基于融合理念，面向閃存優(yōu)化設計的統一存儲產品，滿足云時代對存儲系統更高性能、更低延時、更加彈性的需求。在全閃存配置時能夠達到<1ms的低時延，并創(chuàng)新性的兼具SAN和NAS一體化、多控、雙活等能力。支持16GbpsFC、56GbpsIB、PCI-E3.0、12GbpsSAS、智能\IO卡。滿足大型數據庫OLTP/OLAP、文件共享、云計算等數據存儲需求。四、實施方案（二）存儲資源規(guī)劃2.存儲的選擇華為OceanStor5300/5500/5600/5800V3如下圖所示。四、實施方案（二）存儲資源規(guī)劃2.存儲的選擇威聯通NAS存儲是一款企業(yè)級網絡存儲，具體配置為：糾錯接口

2個GigabitRJ-45網絡接口，2個USB3.0，3個USB2.0，2個eSATA接口，1個HDMI，1個音源輸出，1個音源輸出，1個擴充接口。糾錯傳輸速度

10/100/1000Mbps。糾錯硬盤盤位

4個。糾錯硬盤容量

4TB。熱插拔支持。糾錯最大存儲容量

16TB。糾錯四、實施方案（二）存儲資源規(guī)劃2.存儲的選擇系統管理

WebGUI用戶管理界面，多國語言支持（英，繁體中文，簡體中文，德，法，意大利，西班牙，日，韓等）；網絡喚醒遠程開機，定時/計劃開關機；提供短信與E-mail通知系統事件，隨時掌握NAS最新狀況；支持SNMP接收NAS的事件記錄及實時監(jiān)控系統信息；圖形化顯示NAS的CPU、內存。網絡傳輸協議

CIFS/SMB，AFP(3.2)，NFS(v3)，FTPS，WebDAV，HTTP，HTTPS，Telnet，SSH，iSCSI，SNMP，SMTP，SMSC。四、實施方案（二）存儲資源規(guī)劃2.存儲的選擇網站瀏覽器支持

MicrosoftInternetExplorer10、MozillaFirefox8+、AppleSafari4+、GoogleChrome。糾錯處理器

IntelCorei3-32203.3GHz雙核心處理器。糾錯產品內存

DRAM內存：2GBDDR3RAM，最大支持16GB、FLASH內存：512MB。糾錯四、實施方案（二）存儲資源規(guī)劃2.存儲的選擇系統支持

MicrosoftWindows2000，XP，Vista（32/64bit），Windows7（32/64bit），WindowsServer2003/2008、AppleMacOSX、LinuxUnix。安全認證

CE，FCC，BSMI，C-Tick，RoHSCompliant。產品電源

AC100-240V，50-60Hz，功率250W。其他性能

RAID支持：SingleDisk、JBOD、RAID0，1，5，6，10，5+HotSpare。四、實施方案（二）存儲資源規(guī)劃2.存儲的選擇威聯通NAS如下圖所示。四、實施方案（二）存儲資源規(guī)劃2.存儲的選擇以上存儲都支持千兆以太網連接，華為OceanStor5300/5500/5600/5800V3系列更是支持萬兆以太網連接。中小企業(yè)可以根據自己目前的業(yè)務規(guī)模，同時考慮以后的可擴展性來進行選擇。四、實施方案（三）網絡資源規(guī)劃網絡資源規(guī)劃的目標是設計一種能降低成本、改善性能、提高可用性、提供安全性，以及增強功能的虛擬網絡基礎架構，該架構能夠更順暢地在應用、存儲、用戶和管理員之間傳遞數據。下面將根據客戶的生產環(huán)境，對網絡資源進行整體規(guī)劃，包括虛擬交換機，網卡綁定等。在規(guī)劃網絡設計時，主要從連接要求、帶寬要求、延遲要求、可用性要求和成本要求等幾個方面進行綜合考量并進行相關的設計。四、實施方案（三）網絡資源規(guī)劃在規(guī)劃網絡資源時，一般會遵循如下的指導原則與最佳實踐:（1）構建模塊化網絡解決方案，該方案可隨時間的推移不斷擴展以滿足組織的需求，使得用戶無需替換現有的網絡基礎架構，進而降低成本。（2）為了減少資源爭用和增強安全性，應該按照流量類型（vSphere管理網絡（HA心跳互聯網絡）、vMotion在線遷移網絡、虛擬機對外提供服務的網絡、FT、IP存儲）對網絡流量進行邏輯分離。1.指導原則與最佳實踐四、實施方案（三）網絡資源規(guī)劃（3）VLAN可減少所需的網絡端口和電纜數量，但需要得到物理網絡基礎架構的支持。（4）首選分布式交換機，并應盡可能少配置虛擬交換機。對于每一個虛擬交換機vSwitch應該配置至少兩個上行鏈路物理網絡端口。（5）可以在不影響虛擬機或在交換機后端運行的網絡服務的前提下，向標準或分布式交換機添加或從中移除網絡適配器。如果移除所有正在運行的硬件，虛擬機仍可互相通信。如果保留一個網絡適配器原封不動，則所有的虛擬機仍然可以與物理網絡相連。1.指導原則與最佳實踐四、實施方案（三）網絡資源規(guī)劃（6）連接到同一vSphere標準交換機或分布式交換機的每個物理網絡適配器還應該連接到同一物理網絡。將所有VMkernel網絡適配器配置為相同MTU。（7）實施網絡組件和路徑冗余，以支持可用性和負載分配。（8）使用具有活動/備用端口配置的網卡綁定，以減少所需端口的數量，同時保持冗余。（9）對于多網口的冗余配置應該遵循配置在不同PCI插槽間的物理網卡口之間。1.指導原則與最佳實踐四、實施方案（三）網絡資源規(guī)劃（10）對于物理交換網絡也應該相應的進行冗余設置，避免單點故障。建議采用千兆以太網交換網絡，避免網絡瓶頸。（11）對吞吐量和并發(fā)網絡帶寬有較高使用要求的情況，可以考慮采用10GbE，不過采用萬兆網絡在適配器和交換機上的投入成本也會相應增加。簡單的方法是通過在虛擬機網絡vSwitch或vPortGroup上通過對多塊1GbE端口捆綁負載均衡實現。1.指導原則與最佳實踐四、實施方案（三）網絡資源規(guī)劃（12）將直通設備與Linux內核2.6.20或更低版本配合使用時，避免使用MSI和MSI-X模式，因為這會明顯影響性能。（13）為了保護大部分敏感的虛擬機，要在虛擬機中部署防火墻，以便在帶有上行鏈路（連接物理網絡）的虛擬網絡和無上行鏈路的純虛擬網絡之間路由。1.指導原則與最佳實踐四、