大學數字化校園云數據中心建設方案精品方案2023年07月目錄1工程背景42建設原那么63方案設計83.1總體拓撲設計83.2總體方案描述83.3核心網絡設計93.4數據中心計算資源池建設10需求分析10傳統效勞器建設模式弊端10效勞器虛擬化建設方向12設計描述13效勞器集群部署方案173.5結構化數據存儲資源池建設20需求背景20需求分析20數據特點分析21統一存儲系統建設22設計描述233.6非結構化大數據云存儲建設23建設目標23系統組成24技術特點24分布式底層存儲平臺26數據共建與共享平臺28一體化自動監控平臺30數據管理統計平臺323.7方案可靠性設計35效勞器可靠性設計35存儲可靠性設計36虛擬化可靠性36管理可靠性373.8方案特點383.9云平臺系統建設40系統架構介紹40云管理平臺解決方案特點42統一管理Portal44統一資源管理45物理資源管理46虛擬資源管理46監控管理47智能調度管理48組織管理50用戶管理51自助效勞發放52自動化運維54統計報表55告警管理55拓撲管理57日志管理57開放API584投資配置及預算594.1一期建設配置預算594.2二期建設配置預算59工程背景目前，高校信息化建設已經駛上了快車道，進入了高速開展時期，新一代數字校園應用平臺正在向我們走來，信息集成和業務集成階段已經來臨，由此將會帶來全新的信息化運作模式和建設思路，和“人本主義〞的新建設理念，以頂層設計為主導，以用戶為核心設計應用系統和數據流程，在統一的標準之下建設應用系統，實現數據的整合和共享，并且采用豐富的技術手段關注業務的連續性承諾，提高校園的效勞級別承諾。在學校的信息化建設中，為廣闊師生提供及時和優質的信息效勞是最終目標。這些都依賴于學校根底數據的積累，和基于這些數據根底之上的應用建設，數據中心建設是高校信息化建設的核心。目前，學校數據中心經過多年信息化工程的建設，已經建成諸多校內信息化應用業務系統，為學校師生日常生活提供著不同的信息化效勞。隨著學校信息化建設的深入，無論是從信息化總體規劃的角度、信息系統建設的角度，還是從信息系統運行維護的角度，越來越多的高校認識到數據集中、IT根底設施集中、運行效勞集中的必要性，數據中心是數字校園的核心的理念也得到了大局部高校的認同。隨著校園數據中心建設的深化進行，校園應用系統數據集中密度越來越高，效勞器存儲數量不斷增長，網絡架構不斷擴展，空間布局、系統布線、電力能耗壓力不斷增加。當前的校園數據中心建設面臨諸多挑戰，系統性能、平安性、可靠性、擴展性等都迫切需要進行整合與優化。目前學校數據中心建設的主要問題是以應用為單位建設系統，主機、存儲等系統構件各異，所使用應用軟件均基于不同平臺開發．管理上各有不同的單點工具；系統擴充上無法統一規劃，系統資源無法共享：增加應用時，需再一次完全規劃系統，勢必造成重復購置，總體擁有本錢較高；各系統獨立．造成數據形成孤島，難以共享；難以實施統一備份，數據抽取和遠程容災等高級應用。這些特點導致數據中心在管理和維護大量效勞器時面臨系統管理復雜、資源利用率低、平安控制與數據備份困難等問題，如何解決上述問題成為本次校園數據中心建設工程中所面臨的重要挑戰。對高校而言，云計算不僅僅是一個技術范疇內的IT工程，更是一個顛覆大家思維習慣、重構學校采購流程、重塑業務部門使用方式的社會工程，需要得到學校主管領導的重視和大力支持，同時也非常需要得到相關業務部門的理解和配合，這需要IT部門投入大量的精力進行充分的溝通和協調。通過本次數據中心根底平臺工程的建設，最終將給南京體育學院信息化開展帶來以下幾個方面的主要好處：通過數據中心根底平臺建設打通數據中心資源孤島，實現資源整合和共享，從而大幅度地提升資源利用率。讓專業的人做專業的事。學校IT部門可以充分發揮技術優勢，負責IT資源的運維和效勞，業務單位那么從繁復的技術細節中解放出來，專注于自己的業務建設和運營。真正實現硬件資源統一規劃、統一采購。業務單位根據自己需求按照標準的流程提出資源使用需求，審批通過后后臺系統自動從資源池中分配資源創立虛擬機并部署軟件系統，大大縮短工程建設周期。實現統一監控、統一平安防護、統一容災備份，從而保障系統及數據更加平安可靠地運行。為了順利實現數據中心根底平臺的建設，首先要從管理上建立一個機制，要有比擬好的管理思路和制度做支持；其次，建好數據中心根底平臺只是第一步，用好數據中心根底平臺更為關鍵，因此要盡可能地通過各種應用讓高校師生體會到數據中心根底平臺的好處。建設原那么結合南京體育學院IT系統的實際應用和開展要求，方案主要遵循以下原那么進行設計：平安可靠性原那么系統支持雙活動控制器，滿足高可靠性需求系統器件選擇要考慮能支持7×24小時連續長時間大壓力下工作；系統具有充分的冗余能力、容錯能力；系統具有專業的技術保障體系以及數據可靠性保證機制；對工作環境要求較低，環境適應能力強；確保系統具有高度的平安性，提供平安的登錄和訪問措施，防止系統被攻擊；異常掉電后不喪失數據，供電恢復后自動重新啟動并自動恢復正常連接；先進性原那么系統必須嚴格遵循國際標準、國家標準和國內通信行業的標準要求；需符合存儲技術以及IT行業的開展趨勢，所選用的產品型號已規模上量；所有的系統處于先進的技術水平，確保較長時間內技術上不落伍；系統的處理能力要到達業內領先，對于本次業務的使用要留有一定的余量，以滿足后續升級的需求；開放性原那么系統必須支持國際上通用的標準網絡存儲協議、國際標準的應用開放協議；與主流效勞器之間保持良好的兼容性；兼容各主流操作系統、卷管理軟件及應用程序；可以與第三方管理平臺集成，提供應客戶定制化的管理維護手段；滿足今后的開展，留有充分的擴充余地；各主流廠家的硬盤均可接入；易維護性原那么系統支持簡體中文，通俗易懂，操作方便、簡單；系統具有充分的權限管理，日志管理、故障管理，并能夠實現故障自動報警；系統設備安裝使用簡單，無需專業人員維護；系統容量可按需要在線擴展，無需停止業務；系統功能擴充需要升級時，支持不中斷業務升級；支持WEB管理方式或集中管理方式；擴展性原那么系統易于擴充；系統選擇標準化的部件，利于靈活替換和容量擴展；系統設計遵守各種標準規定、標準；經濟性原那么綜合考慮集中存儲系統的性能和價格，最經濟最有效地進行建設，性能價格比在同類系統和條件下到達最優。綠色性原那么滿足環保與節能的要求，噪聲低、能耗低、無污染；必須選用無鉛器件；有節能降耗的技術手段；具備環境管理認證，符合環保規定，包材可回收，支持重復利用；方案設計總體拓撲設計總體方案描述學校數據中心承載學校核心業務，方案中數據中心總體架構設計遵循面向業務需求的設計思路實現數據中心IT根底架構模塊與業務模塊松耦合，保證數據中心業務動態擴展和新業務快速上線。本方案采用華為云計算技術，為用戶創立資源統一管理、業務快速上線、資源動態調度及動態擴展的資源平臺。方案使用特定規格產品設計，包括硬件、軟件和應用規格化來提供簡單可靠、易于部署和管理、便于擴展和升級的IT根底架構，為用戶提供更好的投資保護，滿足數據中心新建、升級擴容，以及數據中心的可視化統一管控的需求，可實現被集成的場景。核心網絡設計數據中心網絡是用來承載數據中心內部應用系統的，同時與校園網互聯，最終實現校園網內網及校園網外網用戶的接入訪問，所以建成的數據中心網絡平臺必須要具備高性能、低延時、高質量的數據轉發方面的特性，同時須要具備高可靠接入訪問等方面的特性，從而確保建成的數據中心網絡平臺可以充分滿足數據中心內部應用高性能數據交換、應用系統高性能集群同步、內外網用戶高速接入等方面的需求。數據中心核心網絡交換平臺應考慮采用兩臺主流網絡廠商的新一代的萬兆數據中心以太網核心交換機組成數據中心核心交換平臺，可以支持高可靠性集群虛擬化技術將多臺核心設備在邏輯上組成單一設備，從而在二層鏈路上實現多鏈路負載均衡，有效提升數據中心網絡交換容量和可用性，同時支持一臺設備虛擬成多臺邏輯設備，實現業務的嚴格隔離，支持EVN等跨三層互聯技術，實現跨三層網絡數據中心熱備。建議配置2臺萬兆數據中心以太網交換機，每臺數據中心交換機支持48個GE、48個10GE端口；冗余電源風扇。數據中心計算資源池建設需求分析校園數據中心承載著幾乎全部的校園信息化應用系統，不同的校園信息化系統的部署對硬件效勞器的配置要求也各不相同。如校園“數字化校園系統〞效勞器平臺的建設需要滿足“數字化校園〞系統中“信息門戶〞、“統一身份認證〞、“數據共享庫〞等關鍵平臺的高性能部署需求，同時要滿足“數字化校園〞應用系統〔教務系統、迎新系統、科研系統等〕高密度部署需求。數據中心效勞器平臺的建設除了需要有高性能方面的保障，同時要能確保系統的高穩定性，可以支持多種靈活的系統集群、遷移等方面的技術，還要支持簡單有效的統一配置、管理手段；另外，數據中心效勞器平臺的建設不僅要能滿足當前校園信息化應用系統部署的根本要求，還要充分考慮到學校未來3-5年的開展需求，要求系統具備一定的擴展性，最大限度地保護既有的投資，減少對系統的維護和未來開發的本錢，保證系統在技術上、經濟上的可持續性開展。傳統效勞器建設模式弊端如果采用傳統的校園根底設施效勞器建設方式往往就是通過不斷地投資購置新的硬件效勞器來滿足不斷開展的校園業務系統的部署需求，使得校園根底設施效勞器平臺成為一堆同品牌或者多品牌的硬件效勞器的堆疊，而且每臺效勞器需要單獨地安裝、配置和運維管理，從而帶來效勞器的數據劇增、書效勞器類型雜亂、效勞器管理異常復雜、根底設施能耗成倍增加、硬件設備對機房環境和空間等方面的要求不斷提高，總體投資本錢的成倍增長等缺點。概括起來，傳統模式下的效勞器平臺建設主要有以下幾個方面的缺乏：效勞器I/O性能低下傳統架構的效勞器I/O技術普遍表現為GE、4GbpsFC等技術，已經很難滿足不斷開展的校園信息化業務系統良好低運行需求，特別是在虛擬化應用中，虛擬機的實時遷移等應用對I/O的性能有著較高的要求，采用傳統架構的效勞器I/O技術很難表達出虛擬化應用在高性能集群、靈活的容災備份機制等方面優勢；另外傳統架構的效勞器內存可擴展性方面的限制也很難滿足虛擬化應用對單個物理效勞器內存高可擴方面的要求；網絡根底設施管理復雜傳統架構的效勞器網絡往往包含數據網絡〔LAN〕、存儲網絡〔SAN〕、管理網絡〔MAN〕等幾套不同的網絡傳輸系統，在傳統構架的網絡中進行業務擴容、遷移或增加新的效勞功能越來越困難，每一次變更都將牽涉相互關聯的、不同時期按不同初衷建設的多種物理設施，涉及多個不同領域、不同效勞方向，工作繁瑣、維護困難，而且容易出現漏洞和過失；應用部署復雜、可擴展性差傳統架構的效勞器普遍采用普通的LAN交換機進行互聯和數據交換，每個效勞器需要單獨地進行安裝、配置和管理，而且同一管理單元里效勞器數量也受到很大的限制，即使采用普通的刀片效勞器方式，在一個管理單元里也最多能同時管理10~16片刀片效勞器，很難滿足數字化校園應用以及主機托管業務等方面對效勞器可擴展性方面的需求；效勞器硬件資源利用率低下傳統架構方式對底層資源的投入與在上層業務所收到的效果很難得到同比開展，最普遍的現象就是忙的設備不堪重負，閑的設備資源儲藏過多，二者相互之間又無法借用和共用，這是由于底層IT建設是以功能單元為中心進行的，沒有考慮到底層業務對底層資源調用的優化，這使得對IT的投入往往無法取得同樣的業務應用效果的改善，反而浪費了較多的資源和維護本錢；效勞器運維效勞策略不一致傳統架構最嚴重的問題是這種以孤立的設備功能為中心的設計思路無法真正從整個系統角度制訂統一的效勞策略，比方平安策略、高可用性策略、業務優化策略等等，造成跨平臺策略的不一致性，從而難以將所投入的產品能力形成合力為上層業務提供強大的效勞支撐，因此，按傳統底層根底設施所提供的效勞能力已無法適應當前業務急劇擴展所需的資源要求。效勞器虛擬化建設方向為了防止傳統效勞器采購和運維管理模式的弊端，設計采用Vmware虛擬化部署模式滿足校園數據中心數字化校園等應用系統高密度部署需求。虛擬化部署模式采用在每臺物理機上運行多個虛擬機的方式，同時通過統一的管理中心對多臺效勞器的所有的虛擬機實現統一控制和管理，充分實現效勞器資源的任意劃分和調配，提高效勞器硬件資源的利用率，大大地降低效勞器設備總投資本錢和設備能耗。如何正確應對虛擬化帶來的挑戰，把握機遇適應未來IT技術的開展，是擺在各高校信息化進程中亟需解決的問題，相對于傳統的校園數據中心效勞器平臺建設模式，虛擬化效勞器平臺的建設模式有著明顯優勢：：提高了硬件資源的利用率，通過整合效勞器將共用的根底架構資源聚合到池中，打破原有的“一臺效勞器一個應用程序〞模式：采用傳統的效勞器建設模式，經常會出現有些效勞器負載過重，而有些效勞器比擬清閑，導致了資源的嚴重浪費，而且隨著校園信息化應用的不斷開展，一味地增加硬件效勞器，帶來昂貴的硬件設備采購本錢，和巨大的能耗，而通過虛擬化部署方式，可以在單臺物理效勞器上部署多個虛擬效勞器，不同的虛擬效勞器可以安裝不同的操作系統和應用，充分提高了硬件資源的利用率，大大地減少了硬件設備的采購數量。簡化了效勞器的綜合管理，并且通過縮減物理根底架構和提高效勞器/管理員比率：傳統模式下的效勞器平臺由于數量眾多，而且分布在多個管理域里面，往往會出現不同的效勞器不同的管理界面、不同的效勞器不同的管理方式而且每個效勞器需要單獨地進行管理控制，使得效勞器的運維管理顯得相當復雜，而采用虛擬化的建設模式，可以在一個管理中心對所有的虛擬機進行統一的管理，而且可以對不同的虛擬機設置不同的管理權限分配給不同的管理員〔如：整個數字化校園系統只要在同一個管理界面下對所有的應用效勞器、信息平臺效勞器進行統一集中管理；主機托管業務可以靈活地實現對托管單位進行虛擬機的分配以及虛擬機管理權限的設置，同時可以根據虛擬化內部豐富的平安策略確保每個虛擬機的平安保密性。〕，從而提高了效勞器設備/管理員比率，因此效勞器運維管理人員需求也隨之減少；另外由于虛擬化的應用帶來了效勞器及其它根底設施數量的減少，因此也減少了硬件設備占地空間以及設備的電耗和散熱量，使得數據中心機房更加環保，充分表達綠色數據中心的建設理念。極大地加快了應用部署速度：通過引入虛擬化應用發布格式OVF〔OpenVirtualizationFormat〕，不僅能使學校在信息化不斷建設過程中更方便地發布校園信息化應用，而且可以使系統管理員非常簡單地部署這個應用〔比方：在校園信息化建設過程中需要增加一些數字化校園應用系統，或者要擴大主機托管業務規模，采用虛擬化部署模式大多數情況下只要輕輕一個點擊就可以完成整套部署工作〕。進一步實現了自動化管理：虛擬化部署模式通過使用類似DRS〔DistributedResourceScheduling，分布式資源調度〕，LiveMigration〔動態遷移〕，DPM〔DistributedPowerManagement，分布式電源管理〕和HA〔HighAvailability，高可用性〕等高級虛擬化管理技術，能極大地提高整個數據中心的自動化管理程度。提高了硬件和應用程序的可用性，進而提高業務連續性：傳統模式下的效勞器平臺都是通過額外采購第三方軟件來實現系統的集群、備份以及容災，部署比擬復雜，需要專業的技術人員才能得以實施和運維管理，并且會帶來昂貴的第三方軟件采購費用，而虛擬化部署模式可以通過虛擬化軟件自帶的功能，可以靈活、平安地實現校園數據中心不同應用或者整個虛擬化環境的備份和遷移，而不會出現效勞中斷，消除方案內停機，并可從方案外故障中立即恢復。實現了運營的靈活性：虛擬化部署模式支持動態資源管理、從而加快了效勞器部署并改良了桌面和應用程序部署，因此可響應校園業務系統不斷變化要求，特別有利于類似主機托管等業務開展。設計描述本工程采用華為云平臺對計算、存儲、網絡資源進行虛擬化管理，華為云平臺操作系統由虛擬根底設施套件和云根底效勞套件組成。華為云平臺管理節點主要由：虛擬化根底引擎FusionCompute、云管理FusionManager、統一硬件管理UHM。一套云平臺部署一對FusionManager主備節點，FusionManager通過自動發現功能發現其管轄下的物理設備資源〔包括機框、效勞器、刀片、存儲設備、交互機〕以及他們的組網關系；提供虛擬資源與物理資源管理功能〔統一拓撲、統一告警、統一監控、容量管理、用量計費、性能報表、關聯分析，生命周期〕，并且對外提供統一的管理Portal。FusionManager還包括統一硬件管理UHM〔UnifiedHardwareManagement〕組件，UHM提供對硬件自動發現，硬件自動配置、統一監控〔帶內和帶外〕、硬件統一告警、硬件拓撲、異構硬件支持。FusionManager可以管理多個物理集群，每個物理集群由一對主備VRM管理。FusionCompute提供根底的虛擬化功能，提供效勞器、存儲、網絡的虛擬化功能，并向上對FusionManager提供接口。每套FusionEngine主要由一對主備管理節點VRM組成。一對VRM對應一個物理集群(或者叫站點)。一個物理集群中可以把多臺效勞器劃分成一個邏輯集群〔又叫HA資源池〕，一個計算資源池有相同的調度策略，為了使用熱遷移相關的調度策略要求資源池主機CPU同制。計算資源池不包括網絡資源與存儲資源。一個物理集群中可以包含多個邏輯集群。本期建設虛擬化計算資源池，配置14塊華為TecalCH121半寬刀片效勞器。每塊CH121刀片效勞器配置2顆IntelXeonE5-2640V2處理器，128GBDDR3的RDIMM內存、2塊300GSAS10K運行虛擬化軟件。每塊刀片效勞器節點，配置4*10GE接口。E9000刀片效勞器通過兩臺光纖交換機，連接到兩套存儲上，所有業務數據、虛機數據集中存儲在兩臺存儲陣列中，實現數據的集中存儲，便于后期數據保護策略的實施。采用2套存儲陣列分別連接兩臺光纖交換機，通過異步遠程復制技術，實現兩套存儲間的數據容災備份，實現極端情況下一臺陣列故障時，對系統數據可用性無影響，系統可以快速恢復數據，到達系統快速恢復的目的。為客戶提供高可用IT系統，保障數據平安，系統高可靠。華為E9000效勞器是面向彈性計算、電信計算的高性能企業級高端效勞器，能夠實現計算、存儲、網絡的融合，支撐運營商、企業高端核心應用。在硬件計算平臺的RAS〔Reliability,Availability,andServiceability〕、計算密度、節能減排、背板帶寬、智能管控與效勞、計算與存儲的彈性配置和靈活擴展、網絡低時延和加速方面具有領先的競爭力。E9000效勞器在計算能力、內存容量、支持的交換類型、電源和功耗等方面的性能具有領先業界的優勢：計算節點采用Intel?Xeon?E5系列4核/6核/8核高性能處理器，支持70W/80W/95W/130W/135W等全系列CPU。計算節點支持半寬2S、全寬4S設計。全寬2S資源擴展的計算節點最大支持24個DIMM插槽，支持擴展15個2.5英寸硬盤或擴展4個PCIe標準插槽。全寬的節點最大支持48個DIMM插槽，最大內存容量1536GB。全寬4S計算節點最多可配置8個2.5英寸硬盤或4個2.5英寸硬盤和一個標準PCIex16插槽，Raid扣卡支持512MBCache，可選配BBU電池或者超級電容保護。節點支持基于主流顆粒的1.5倍高，雙倍容量的內存。2.5英寸硬盤支持SASSSD，PCIeSSD，SAS6Gbps，SATA6Gbps多種類型。支持Ethernet、FC、FCoE、InfiniBand交換。采用高效能鉑金AC電源，電源轉換效率高達91%，支持動態節能管理電源休眠整機支持半寬850w，全寬1700W的散熱和供電設計。效勞器集群部署方案WebSphere集群ClusterCluster_serverMember1portal1hostnameapp1InterneUser請求Cluster_serverMember2portal2hostname:app2……WAS應用效勞器集群結構圖單效勞器方式Serverserverxuanke/imphostname:app4serverdpstar/distarhostname:app3集群信息效勞器IP暫無負載均衡方式轉發WAS集群成員app1/app2/app3/app4身份認證集群認證接口效勞認證接口效勞身份認證效勞目錄效勞身份認證效勞目錄效勞身份認證效勞器〔主〕身份認證效勞器〔輔〕〔輔〕LDAP(目錄效勞)數據雙機互為復制InternetUser負載均衡插件(LB)負載均衡插件(LB)認證接口效勞集群信息負載均衡IP暫無IDS成員IP暫無負載均衡端口80集群方式IDS負載均衡插件〔權重輪詢〕其他端口20000：ICE接口效勞，部署在負載均衡插件效勞器上。389：LDAP效勞，由IDS雙機各自對外提供認證效勞。Oracle集群集群集群IP〔VIP〕IP待定RAC心跳線db1IP：*db2IP：*光纖接入光纖接入應用效勞器1應用效勞器2數據集成效勞器數據庫集群結構Raid5磁盤陣列Oracle集群RAC部署結構圖--雙節點方式集群信息成員IP暫無監聽端口1521集群方式每個效勞器至少兩個網絡接口，一個對外提高公共效勞，一個對內提供內部通訊。公共網絡接口上綁定兩個IP，用來實現RAC的功能。兩個網絡接口的名字在兩個節點上保持一樣。心跳線方式兩節點間的內部通訊可以使用網線直連，也可以使用千兆交換機連接。存儲接入兩個節點使用公共存儲，設備名相同，大小符合數據庫應用要求。結構化數據存儲資源池建設需求背景伴隨著信息化建設的深入，學校信息部門的工作重點也逐漸發生著變化，從最初滿足教學科研需要的計算中心，到為全校提供網絡效勞的網絡中心，目前，正在向著豐富網上資源，更好地為教師、學生、以及校內的其他業務部門效勞的數據中心轉變。在校園數據中心建設中，存儲系統的建設和完善貫穿始終，這和當前應用系統建設的重點是相一致的。不管是各種數字資源，還是需要備份保存的業務數據，其中心內容都是對于信息(數據)的管理和使用。在信息社會的今天，存儲系統作為數據的載體，其重要性也越來越大，甚至成為決定系統建設成敗的關鍵因素，所以，校園數據中心要詳細考慮存儲系統的規劃方案和建設思路。

需求分析隨著高校信息化進程的逐步深入，數字化校園應用系統越來越多，環境也變得越來越復雜，這無形中增加了IT人員管理維護系統的難度。同時，隨著應用系統的不斷增加，數據也相應大量增長，這就給原有的信息根底架構提出了更高的要求：平滑的提供更大的存儲空間提供更快的數據響應速度提供更大的數據吞吐能力提供靈活的資源調配能力〔包括效勞器和存儲〕并且，隨著信息系統在高校教學、管理中的重要性越來越高，信息主管部門越來越多的關注在：如何解決應用系統和數據容量迅速增長帶來的問題：利用率降低本錢不斷增加管理越來越復雜等如何滿足關鍵應用系統的業務連續性要求關鍵系統高性能關鍵效勞不停頓關鍵數據不喪失數據特點分析根據對數字化校園信息化系統的分析，可以總結出核心應用系統的特點如下：數據庫：是整個校園管理的核心數據類型：數據庫(SQL,Oracle等〕性能要求：同時訪問人數多，并發性能要求高可用性要求：不能停機數據量：幾百MB到幾百GB文件：為廣闊師生提供最豐富的信息資源數據類型：文件〔文本，圖像，音視頻〕性能要求：同時訪問人數較少，但傳輸數據量大，帶寬要求高可用性要求：教學期間不能停機數據量：很大且增長很快，從幾TB到幾十TB根據性能和可用性的分析，可以得出相應推薦的存儲系統架構如下：應用數據類型性能容量數據保護連續性典型存儲架構FCSANiSCSINAS校園一卡通系統數據庫高中高高優選教務系統數據庫高中高高優選統一身份認證數據庫高低高高優選網絡計費數據庫中中高高優選財務系統數據庫中低高高優選電子郵件文件中高高低推薦可選可選VOD點播文件中高高低推薦可選可選網絡教學文件中高高低推薦可選可選個性化門戶文件中中高低推薦可選可選數字化圖書館管理系統〔采、編、流〕數據庫高低高高推薦可選自建資源系統數據庫/文件中高高中可選可選推薦統一存儲系統建設根據以上需求分析，我們建議本次校園數據中心的建設采用同時支持IPSAN、FCSAN等協議的統一存儲系統，分別滿足數據中心不同業務系統數據存儲需求以及數據災備存儲需求，同時要確保系統的可擴展性。由于數字化校園系統中的對性能要求的是各種數據庫應用系統，文本文件和圖片及音視頻資料文件的重要程度以及對存儲系統的性能要求一般，因此，在規劃數字化校園集中存儲系統時，應充分考慮對各應用系統的分級以及磁盤分級存儲管理，提高了統一存儲設備的性能利用率以及磁盤利用率，同時也為數字信息系統節省了大量的資金投入。根據數字化校園各應用系統對存儲設備性能要求的不同級別，將不同的應用系統采用不同的連接方式：將數字校園的校園一卡通管理系統和教務系統數據庫、其他數字校園應用數據庫系統，以及自建資源數據庫等核心數據庫應用通過8GbpsFC鏈路進行連接，形成FC-SAN，實現高性能、高可用的存儲；針對實時響應速度要求最快的圖書館管理系統、身份認證系統以及數據讀寫量比擬大的虛擬化應用效勞器群，采用8GbpsFC進行鏈接，提供最高的主機訪問速度。針對高校系統中大量存在的文件效勞應用如VOD視頻點播、FTP等應用，采用NAS文件共享的方式提供效勞，通過NFS、CIFS等文件傳輸協議；每個虛擬機的操作系統創立在共享的SAN集中存儲陣列上，通過VMwareVMFS文件系統允許多個ESXServer同時訪問同一存儲，并支持VMwareVMotion?技術、VMwareDRS和VMwareHA等高級功能，以實現虛擬化環境的高可用和動態資源調配；設計描述采用一臺華為OceanStorS5800T存儲系統作為系統主要存儲。本次配置60塊600GB3.5英寸15KrpmSAS企業級硬盤,配置RIAD5；配置16個8GbFC和4個SAS2.0后端磁盤通道。華為OceanStorS5800T存儲產品，最大支持4控集群，本次配置雙控制器，192GB緩存，最大支持1440塊硬盤，最大支持40個主機端口，支持SAS/NLSAS/SATA硬盤,支持8GbFC和10GE、1GE，具有高可靠、高性能等特點。采用一臺華為OceanStorS5600T存儲系統作為系統備份存儲，配置與生產存儲相同容量配置，作為備份存儲做系統數據備份容災。實現高端存儲到容災存儲間的數據遠程復制，提供可視化容災管理軟件，提供容災演練、一鍵切換等功能。非結構化大數據云存儲建設建設目標設計采用分布式云存儲系統滿足校園私有云數據中心教學、科研等非結構化大數據讀寫需求，同時與數據中心應用深度集成，全面提供私有云數據中心云存儲效勞。云存儲資源平臺具有極強的可擴展性，在建設初期能夠以較低的本錢滿足現階段的數據業務需求，并且隨著業務量的增長，能夠快速、高效的進行系統擴展與升級。系統組成MeePo云存儲平臺軟件包括分布式底層存儲平臺、數據共建與共享平臺、數據管理統計平臺、一體化自動監控平臺、客戶端工具等軟件組成。分布式底層存儲平臺提供分布式數據存儲效勞，數據共建與共享平臺與分布式底層存儲平臺提供數據存儲與分享效勞，另外還有數據管理統計平臺、一體化自動監控平臺，均部署在2個存儲效勞器節點上〔復用〕，這些存儲效勞器節點今后可以自由擴展；客戶端工具軟件包括Windows系列客戶端、Linux系列客戶端、MacOS系列客戶端、Android客戶端、iOS客戶端。圖9-1云存儲資源平臺系統組成〔示意圖〕技術特點高度靈活的存儲可擴展性云存儲資源平臺采用了分布式系統架構，能夠適用從TB級別到PB級別的資源存儲管理場景，具備PB級存儲能力，簡化了系統擴容工作，通過增加新的存儲效勞器即可實現系統在線快速擴容。支持在線的容量調整，當增加或撤銷物理存儲節點，系統能夠自動檢測到新參加的存儲節點和被刪除的老舊節點，并自動進行數據負載均衡。支持高并發數據訪問云存儲資源平臺底層采用文件分塊存儲，本身具備良好的負載均衡能力和極強的系統可擴展性，單節點能夠支持1000以上用戶并發訪問，四節點能夠支持4000以上用戶并發訪問，系統沒有用戶注冊數量限制，可根據實際用戶存儲空間配額與系統總體存儲容量進行動態規劃。容災級別的數據存儲可靠性云存儲資源平臺結合使用了磁盤級的RAID數據冗余與文件級的數據副本冗余，具有數據雙重保護功能，能夠在磁盤發生故障、甚至效勞器發生故障時，確保數據不喪失，效勞不中斷，通過調整數據冗余參數配置能夠到達容災級別的數據可靠性。無需下載的本地化在線操作云存儲資源平臺為用戶提供虛擬磁盤訪問工具，與用戶終端的Windows、Linux、MacOS操作系統無縫集成，對網絡存儲空間進行數據讀寫操作。支持客戶端的本地程序直接訪問網絡存儲空間，無需同步到本地，實現對數據資源的在線編輯。面向個人用戶的存儲效勞當前急需解決個人數據在多平臺、跨終端環境中的統一管理和在線使用問題，利用云存儲平臺為個人用戶提供與本地存儲使用方式完全一致的數據存儲效勞。云存儲能支持一線主流平臺〔Windows2000、WindowsXP、Windows7、Windows8、Linux系列發行版本、MacOS、Android、IOS等〕，完全在線的數據訪問方式，現實了異構平臺和異構終端之間的數據同步。面向部門組織的存儲效勞在日常工作過程中，數據共享和團隊數據管理是一項繁瑣而且不易長期維持的任務，云存儲能夠按照部門組織靈活組建共享存儲空間，形成以數據共享和資料管理為目標的社區存儲，同時支持歷史數據回滾、數據訪問控制、用戶權限控制、空間動態擴容等。面向部門組織的存儲效勞能夠與OA平臺集成，現實部門公文的自動歸檔管理，通過開放編程接口可以與其他應用平臺形成數據聯動。更為開放的公共資源效勞云存儲共建共享平臺為大數據存儲管理提供了可擴展、易使用、高效能的根底平臺，云存儲可以將海量公共數據資源由分散管理、獨立維護的資源站點集成整合到統一管理、易于擴展的云平臺上，通過將一些熱點數據資源規整至云存儲共建共享平臺，能夠極大的節約網絡出口帶寬，同時提高了數據訪問性能。基于開放編程接口的公共資源效勞能夠為今后其他應用系統提供可復用的數據資源。24小時無人值守運維監控云存儲在為用戶提供豐富多樣、簡單實用的存儲效勞的同時，還針對系統管理員繁瑣的日常運維工作提供了全面的監控管理功能，對關鍵效勞狀態和系統運行狀態進行實時監控，檢測到異常事件后自動郵件通知，同時可對系統總數據吞吐量和細粒度IO訪問性能進行匯總統計。分布式底層存儲平臺分布式存儲平臺負責將多個分散的存儲效勞器的物理存儲資源，通過計算機網絡組建成一個大規模的、平安、可靠、邏輯統一的存儲資源池，通過掛載到接入效勞器，與使用本地磁盤分區一樣的方式進行根本的數據存取訪問，并可通過接入效勞器上的Web容器提供網絡環境下的數據訪問效勞。軟件模塊組成分布式存儲平臺由部署在各存儲效勞器上的DFS執行模塊、部署在主控效勞器〔主控效勞器與存儲效勞器復用同一臺物理效勞器〕上的DFS主控效勞模塊、部署在接入效勞器的Web效勞封裝模塊、部署在接入效勞器的數據訪問Web效勞模塊組成。圖9-4分布式存儲平臺模塊組成系統根本功能分布式存儲平臺具有數據存儲效勞和系統管理配置功能，提供了統一的Web編程接口和/S數據訪問接口，支持在系統上進行二次開發，同時還提供了基于B/S架構的圖形化訪問界面，方便用戶進行系統管理與維護。分布式存儲管理系統技術規格指標技術指標要求異構集成支持異構存儲資源整合，能夠將不同物理配置和不同軟件環境的效勞器的存儲資源整合為統一的存儲空間；數據訪問提供統一的數據訪問接口，支持基于協議的數據傳輸；平安訪問提供統一的S平安數據訪問接口，支持基于SSL加密數據傳輸；數據加密提供數據存儲加密功能，可離線配置加密模塊，預設支持128位AES數據加密；數據可靠提供數據副本功能，能夠在局部物理節點或物理存儲設備故障的情況下繼續提供數據存儲效勞，并能重新創立數據副本，保持副本數量不小于設定值；垃圾回收系統支持數據延遲刪除和自動垃圾回收副本管理支持數據副本策略配置管理，通過控制副本數量來調整系統讀寫訪問性能和數據可靠性；動態擴展支持存儲節點的動態參加與退出，通過增加新存儲節點能夠進行系統在線擴容；支持對存儲節點進行空間配額配置，確保節點不發生存儲過載數據存儲效勞功能系統支持異構存儲資源整合，能夠將部署了DFS執行模塊的不同物理配置和不同軟件環境的效勞器的存儲資源整合為統一的存儲空間，支持大文件存儲，文件大小可到達PB量級；系統提供了統一的/S數據訪問接口，支持基于/S協議的數據傳輸；系統提供文件分塊的數據存儲功能；系統提供分塊加密存儲功能，能夠支持AES對稱加密算法，并可以擴展加密模塊以支持第三方加密算法；系統提供數據副本功能，能夠在局部物理節點或物理存儲設備故障的情況下繼續提供數據存儲效勞，并能重新創立數據副本，保持副本數量不小于設定值；系統支持數據延遲刪除和自動垃圾回收。系統管理配置功能系統支持數據副本策略配置管理，通過控制副本數量來調整系統讀寫訪問性能和數據可靠性；系統支持存儲節點的動態參加與退出，通過增加新存儲節點能夠進行系統在線擴容；系統支持對存儲節點進行空間配額配置，確保節點不發生存儲過載的問題。數據共建與共享平臺數據共建與共享效勞平臺利用分布式存儲管理系統所提供的統一存儲空間，為個人用戶提供私有存儲空間，為相互聯系的多個用戶提供社區共享存儲空間。軟件模塊組成數據共建與共享效勞平臺由部署在數據管理效勞器〔與分布式存儲平臺復用同一臺效勞器〕上的數據管理模塊、部署在Web效勞器〔與分布式存儲平臺復用同一臺效勞器〕上的Web前端管理模塊、Web后端管理模塊、用戶認證模塊、社區管理模塊和根底信息庫模塊組成，數據共建與共享平臺依賴于分布式存儲平臺系統提供的數據存儲效勞。圖9-5數據共享與效勞平臺模塊組成系統根本功能數據共建與共享效勞平臺具有個人存儲與社區數據訪問控制與數據共享，支持客戶端與本地操作系統無縫整合的磁盤訪問接口，提供了數據社區存儲效勞，使多個用戶之間能夠方便的分享數據，支持社區存儲與個人存儲均通過目錄方式進行組織，系統能夠支持高并發用戶訪問量，單臺效勞節點可支持至少2000用戶并發訪問。數據共建與共享效勞平臺的技術規格見下表。表數據共建與共享效勞平臺技術規格指標技術指標要求數據共建與共享為用戶提供設定配額〔默認為20GB〕的個人網絡存儲空間；提供數據檢索功能，用戶能夠對符合訪問權限的文件名與內容進行關鍵字搜索；提供文件過濾功能，自動過濾與設定格式匹配的文件；為社區提供設定配額〔默認為1TB〕的共享網絡存儲空間，屬于社區的用戶可以使用數據共享效勞；為用戶提供學習、軟件、視頻等公共社區空間，并可提供不少于10T的預裝數據用戶與社區管理提供統一用戶身份認證功能，為客戶端虛擬磁盤的掛載和Web前端和后端的用戶登錄進行認證效勞；用戶身份認證可以與第三方認證效勞進行接口對接，實現跨系統統一認證；提供用戶管理、社區管理、社區成員關系管理接口；個人存儲與社區數據共享功能系統為注冊用戶提供設定配額〔默認為20GB〕的個人網絡存儲空間；系統為注冊社區提供設定配額〔默認為1TB〕的共享網絡存儲空間，屬于社區的用戶可以使用數據共享效勞；系統為所有注冊用戶提供學習、軟件、視頻等公共社區空間，并提供了不少于10T的預裝數據。用戶/社區管理功能系統提供了統一用戶身份認證功能，為客戶端虛擬磁盤的用戶掛載和Web前端和后端的用戶登錄進行認證服，統一用戶身份認證可以與第三方認證效勞進行接口對接，實現跨系統統一認證；提供用戶管理和社區成員管理接口；提供社區空間申請和審批管理接口。一體化自動監控平臺云存儲資源平臺系統環境包含了多臺物理效勞器及軟件效勞模塊，為了保證系統的正常穩定運行，需要具備一套功能完善、使用便捷的監控平臺對云存儲系統的硬件設備狀態、軟件效勞狀態以及用戶行為進行實時監控和監控。軟件模塊組成監控平臺由部署在各個存儲效勞器與計算效勞器〔監控節點〕上的根底數據采集模塊和部署在監控效勞控制節點的采集任務管理控制模塊、監控預警效勞模塊、監控數據日志模塊、監控邏輯規那么執行模塊、監控規那么庫管理模塊、監控數據日志庫模塊組成。自動監控平臺模塊組成系統根本功能監控平臺具有效勞狀態監控、磁盤物理狀態檢測、效勞器物理與邏輯存儲空間監控、系統吞吐量監控、系統性能監控、監控自動預警等功能，常用監控功能通過Web前端進行可視化展示。監控管理平臺功能列表名稱功能描述效勞狀態監控支持對數據存儲與布局效勞狀態，分布式存儲效勞狀態，Web效勞運行狀態的實時監控；支持可配置、可擴展的監控效勞列表管理功能；存儲空間監控支持空間使用率實時查看；支持總存儲容量實時統計；系統吞吐量統計 支持最近30天日均吞吐量統計；支持最近24小時的時均吞吐量統計；自動郵件預警支持狀態異常警告，并能通過郵件進行預警通知；支持周期性自動檢測，能夠設置檢測周期；系統性能監控支持磁盤IO性能統計及實時負載監控；支持節點CPU、內存使用情況監控；能夠查看細粒度系統統計信息；系統監控功能云存儲資源平臺系統各關鍵效勞提供標準狀態查詢接口，采集任務管理模塊提取效勞狀態信息，并由邏輯檢查模塊進行效勞狀態邏輯判斷，完成效勞狀態的監控，并可通過修改或增減邏輯判斷規那么動態擴展系統監控能力。除了效勞狀態信息外，采集任務管理模塊還能夠從部署了監控采集模塊的被監控節點上收集節點系統運行參數信息，實現對節點系統的磁盤IO性能、磁盤介質物理參數、網絡吞吐量、CPU利用率、內存使用情況等節點根底運行參數的統一與監控。自動預警功能監控平臺提供兩種監控模式，用戶主動查看監控信息和系統周期性自動監控。在周期性自動監控時，監控采集任務管理定期從監控節點采集監控信息，通過邏輯檢查模塊進行狀態判斷，并根據預警模塊將監控狀態通過郵件接口或者其他通信接口發送預警通知。數據管理統計平臺數據管理統計平臺以網站效勞的方式將資源云存儲提供應用戶，使用戶可以通過多樣化的訪問方式來使用云存儲效勞。數據管理統計平臺提供了用戶管理、社區管理、文章通知等管理功能。軟件模塊組成數據管理統計平臺由部署在Web節點或遠端的后臺數據庫模塊、部署在門戶節點的用戶管理模塊、社區管理模塊、下載管理模塊、資源管理模塊、文章通知模塊、郵件系統模塊、云存儲訪問控制運行時庫模塊以及Web表示層模塊組成。數據管理統計平臺模塊組成系統根本功能數據管理統計平臺具有文件資源查看、文章通知發布、用戶管理、社區用戶管理等功能，能夠實現滿足普通用戶快速資源瀏覽的需求，當社區用戶關系發生變化時，數據管理統計平臺具備自動郵件通知能力，此外，數據管理統計平臺還能展示系統統計信息功能。基于Web的數據管理統計平臺功能列表名稱功能描述資源瀏覽支持對個人空間數據資源下載操作；支持對社區空間數據資源的在線查看；用戶和社區管理支持社區管理員設置管理社區用戶身份；社區管理員能夠查看同社區的用戶身份信息；社區管理員能夠禁用/啟用社區用戶的訪問權限；支持社區分類瀏覽；具備社區關鍵字檢索功能；提供用戶分組管理功能，可按照用戶組配置用戶存儲配額、使用權限、訪問策略等；提供用戶和社區配額管理，配置用戶個人空間和社區空間的存儲配額；提供基于B/S架構的用戶管理和社區成員管理功能，支持用戶和社區的封鎖、解封、創立、刪除、重置等操作；提供基于B/S架構的社區空間申請和審批管理功能；內容管理具備文章發布和通知公告功能；支持文章瀏覽次數統計；支持社區用戶關系變化時的自動郵件通知；具備面向全部用戶的播送郵件通知功能；信息統計面向開放用戶，提供文件下載功能；具有文件版本管理和下載次數統計功能；支持用戶注冊數量和當前在線用戶數量統計；提供社區數量統計；數據訪問功能數據管理統計平臺具備與客戶端相一致的數據訪問功能，能夠自由下載云存儲空間中的數據資源，能夠通過Web資源查看工具在線查看社區存儲空間中的數據資源。用戶和社區管理功能數據管理統計平臺為用戶提供管理功能，主要包括用戶信息管理、社區管理和社區用戶關系管理。以課程教學社區為例，社區成員由選修課程的學生組成，社區管理員為授課教師及其他教輔人員，社區管理員組織社區存儲空間中的教學資源，社區成員擁有對社區資源的訪問權，Web門戶提供的社區管理功能能夠幫助社區管理員增減社區成員和控制社區成員的訪問權限，實現授課教師對課程教學資源的有效管控。內容管理數據管理統計平臺能夠支持文章通知、資源推薦等效勞，兼備內容管理平臺的一般性功能，此外，還具備郵件自動通知功能，例如當社區關系發生變化時，系統將通過郵件自動向所有社區成員發送事件變化通知郵件，進行提示。方案可靠性設計效勞器可靠性設計效勞器可靠性包括內存、硬盤、電源等多個層面的內容。提供BIOS內存自檢和ECC糾錯技術。支持硬盤熱插拔和RAID功能，提供硬盤在線故障檢測和預警。支持電源1+1冗余和熱插拔。支持對CPU，內存，風扇，電源，硬盤等熱關鍵器件的溫度實時監控，設備故障時會產生告警，可以靈活對支持熱插拔設備進行在線更換，不支持熱插拔設備提前安排好業務后進行下電更換。配合智能的風扇調速和監控，確保系統運行的可靠性。多臺效勞器組成計算資源池，支持虛擬機的熱遷移、HA功能。存儲可靠性設計存儲多路徑每個計算節點與存儲集群之間，至少配置兩個完全冗余的路徑，從而提供存儲的多路徑訪問功能。多條路徑間的故障切換由軟件自動提供，從而防止單點故障帶來的存儲訪問問題。存儲數據的冗余備份采用SAN作為存儲設備，在SAN高可靠性的根底之上，配置熱備盤做冗余備份，保證數據不喪失和故障快速恢復。存儲冷遷移在虛擬機關機情況下，通過管理員手動操作，將虛擬機的卷遷移至其他的存儲單元中，可以在同一個VRM管理下的同一個存儲設備內，不同存儲設備間，塊設備和存儲虛擬化之間進行遷移。存儲熱遷移在虛擬機正常運行時，通過管理員手動操作，將虛擬機的卷遷移至其他存儲單元中，可以在VRM管理下的同一個存儲設備內、不同存儲設備間，塊設備和存儲虛擬化之間進行遷移。存儲動態資源調度(DRS：DynamicResourceScheduler)在存儲熱遷移的根底上，可以進一步提供存儲DRS功能。虛擬化平臺通過相關的數據采集〔數據存儲的空間使用率和IO延時〕,并制定采集的數據制定相應的存儲自動調度方案，以保證業務連續性的情況下根據設置的參數來實現存儲資源的合理調度，使得集群下的存儲資源在使用率和IO性能上到達一定的均衡優化效果。虛擬化可靠性虛擬機熱遷移提供虛擬機的自動遷移和手動遷移方案，當前計算節點出現故障或者計算節點負載過高時，可以把虛擬機遷移到正常的計算節點或者負載相對較低的計算節點上，保證虛擬機的正常運行。虛擬機HA虛擬機高可用性〔HA〕是虛擬機的一個特性，當虛擬機所在的物理效勞器故障〔如宕機、掉電等〕或重啟后，虛擬機可以自動在其他物理效勞器上運行，保證虛擬機能夠快速恢復，它可以保護用戶的業務程序對外提供不間斷的效勞，把因軟件/硬件/人為造成的故障對業務的影響降低到最小程度。快照系統提供虛擬機、卷快照功能，系統正常狀態下，可以觸發一個系統快照，用于在系統出現故障的時候復原系統。快照示意圖管理可靠性計算和存儲集群別離通過采用計算集群和存儲集群相別離的架構，提升系統的可靠性。計算集群完成虛擬機的按需分配以及集群內的熱遷移，存儲集群完成虛擬機的系統卷和用戶卷的按需分配以及跨磁盤的存放。管理節點HA管理軟件均采用1+1備份或負載均衡的方式運行。當一個管理節點的軟件出現故障的時候，系統自動切換到備用節點，保證整個系統不間斷運行。故障檢測支持效勞器、軟件和資源的監控。通過在每個被監控的節點上運行檢測程序，系統可以收集效勞器的核心指標如CPU使用情況、根底網絡流量和內存數據等，檢測到諸如進程異常、管理和存儲鏈路異常，節點異常、系統資源過載等各種故障，使系統具備完善的故障檢測能力。支持故障信息收集和存儲集群節點可用性度量，并且可以在Web瀏覽器中顯示。用戶可查看集群管理和系統的分配負載，確定是否有：負載均衡問題、失控進程或硬件性能下降的趨勢等問題。該功能對合理調整系統資源、提高系統整體性能起到重要作用。歷史記錄允許查看集群每日、每周、或者每年的硬件資源情況。黑匣子管理節點和計算節點引入電信領域“黑匣子〞技術，在系統出現異常時自動存儲內核日志、系統快照、內核診斷信息及臨終遺言，并保存至非易失性存儲設備〔計算節點〕或自動傳送至網絡效勞器〔例如日志效勞器〕，以便系統故障后，導出分析定位。數據一致性審計系統提供數據一致性審計功能，定時審計VM及其卷文件的相關數據和狀態的一致性。當發現有異常的時候，會自動記錄下來，以便維護人員做相應的判斷和恢復措施，從而保證了系統內部各種相互關聯的數據的一致性。方案特點本方案根據南京體育學院IT系統建設工程需求，進行分析、設計，有如下技術特點：構建統一云平臺，打造環保局未來核心業務平臺云計算的動態根底架構，通過FusionSphere虛擬化技術，將企業數據中心的效勞器、存儲、網絡等資源進行池化，使數據中心的IT資源能夠靈活擴展、動態調度，提高資源使用效率。通過統一的管理平臺，分權分域運維，提高運維效率。資源管理平臺通過動態資源調度、負載均衡、分布式電源管理等技術使IT設備與根底設施聯動，按需調度，降低能耗。高性能采用融合架構刀片效勞器E9000提供根底計算業務，配置IntelXeonE5-2630V2處理器。配置4路機架效勞器TecalRH2485作為數據庫效勞器，組成高性能HA雙機。后端采用華為OceanStorS5800T中高端統一存儲，提供高性能存儲效勞。高擴展性系統基于通過云計算技術，提供統一虛擬化資源管理，可以靈活擴展。E9000刀片效勞器最大支持16個刀片，兼容Intel下三代CPU。OceanStorS5800T統一存儲支持最大40個主機端口、1440塊硬盤擴展能力。保障系統具有靈活、方便的擴展性能。高可靠性系統所有關鍵部件都是冗余配置的，不會出現單點故障；物理鏈路均采用冗余設計、負載均衡設計。E9000刀片效勞器采用無源背板、全冗余設計；存儲采用全冗余架構，雙控制器之間采用了集群技術，可以工作在Active-Active模式，實現故障切換也可進行負載分擔。高平安性方案中考慮數據容災，通過存儲陣列間遠程復制技術，將關鍵業務數據在容災存儲中保存，保障關鍵數據平安可靠；本方案涉及的T系列存儲、E9000刀片效勞器均為華為公司自主研發產品、具備自主知識產權，保障數據平安。高兼容性本方案采用全系列華為產品，從網絡到效勞器、存儲、虛擬化軟件等產品，均為華為公司自主研發的產品，保證系統具備良好的兼容性。云平臺系統建設系統架構介紹華為云管理平臺(FusionManager)聚焦于數據中心虛擬化資源管理、自動化發放、一體化的快捷自動運維管理，并對外提供開放的管理接口。華為云管理系統將整個數據中心云化，并對系統中用戶可見的資源抽取出來納入統一的資源池管理，為用戶提供一體化的資源管理，自動資源發放。為用戶提供了方便的獲取資源的途徑。用戶可以通過在效勞目錄自動化的獲取資源并在資源上部署用戶需要的應用。華為云管理平臺系統架構如下列圖：方框內是FusionManager云管理平臺的功能模塊。“虛擬化管理〞可以采用華為的虛擬化管理軟件FusionCompute，也可以采用其他廠家的，如VMware的VCenter+Vsphere等。云管理軟件從軟件層面拉通統一各資源管理。FusionManager云管理平臺負責全系統硬件和軟件資源的操作維護管理，用戶業務的自動化運維。主要模塊包括：公共效勞：包括效勞總線和開發框架。其中效勞總線是一個虛擬的總線，對外提供通訊能力。系統采用點對點通過RPC通訊的，效勞總線提供了通訊尋址的功能〔NameService〕，通訊的具體封裝在開發框架。開發框架除了封裝通訊之外，還提供了公共的開發框架，包括：多語言的資源封裝、通用的第三方開源組件的發布，PT數據庫以及JRE等開發環境的發布自動運維：是效勞自動化的核心功能，主要是通過自動化引擎實現效勞在虛擬機上的自動化部署，包括：根底設施的部署、效勞的自動部署和效勞的監控。自動化發放：那么將AME的能力以效勞目錄的形式對外展現，提供對租戶的互動界面，實現系統功能對租戶的包裝。權限管理：系統提供全系統基于角色的權限控制功能，包括用戶管理、角色管理、角色授權、登陸認證、鑒權等功能，實現全系統的平安功能。同時權限管理對外提供單點登錄〔SSO〕功能，可以接入外部AD等認證效勞。權限管理是全系統平安數據的集中點，也是整個解決方案與其它平安系統對接的唯一出口。北向接口：對外屏蔽了各種資源的來源。通過北向接口，外部系統可以獲取到云計算各種資源，比方集群信息，虛擬機信息，虛擬網絡信息，告警數據，拓撲數據等。統一Portal和移動接入：是全系統UI界面的唯一出口。它提供整個系統的UI框架，包括運行時的環境和界面的框架風格和布局。各效勞自己的UI局部在安裝的時候插入統一Portal，實現整個系統的界面集成，支持基于IOS的iPad終端接入。統一硬件設備管理模塊：實現對所有硬件資源進行統一管理，包括設備發現、自動配置和故障監控等。云硬件平臺包括效勞器、存儲設備和交換機，防火墻等硬件設備。集成資源管理：集成了各物理資源和各虛擬資源的管理。集成資源數據庫〔IDB〕是針對集成資源管理的資源數據庫。存儲全系統關心的資源數據，并對外提供資源數據的增刪改查接口。自動調度：作為系統集中的調度中心，維護系統的調度策略，保證資源的合理分配，并支持自動調整虛擬機部署，實現資源最大化利用或實現節能目標等。關聯分析和報表：從用戶的視角以資源為對象提供報表功能。統計報表不是簡單的將底層系統的監控指標透傳，而是以資源為中心，將資源相關的指標呈現給用戶。其功能主要分為三塊：性能報表、SLA統計和容量管理。關聯分析是規劃中的智能分析功能，通過大數據分析實現預測和系統自動調優。云管理平臺解決方案特點華為FusionManager云管理平臺解決方案介紹FusionManager云管理平臺，對資源進行整合管理，物理設備更換和升級、虛擬化平臺的切換，對用戶不感知，提升運維效率。通過組織管理，使多部門的云資源使用相互獨立，互不感知。FusionManager云管理的主要特點包括：統一資源管理：統一資源池，屏蔽不同硬件和虛擬化的差異，資源的更換升級對用戶零感知虛擬化和裸機管理統一管理平臺，支持業界主流的虛擬化產品和操作系統，可以兼容客戶現有IT資源設備自動發現，資源快速發放，縮短業務上線時間基于資源池的統一編排和調度VDC快捷分配：軟件定義數據中心網絡隔離，通過組織管理，不同部門可以獨立使用云資源平安分區，分權分域應用智能管理：效勞目錄，應用快速部署靈活的模板機制，支持用戶自定義模板資源彈性伸縮，提高設備利用率可視化管理靈活的異構能力：南向插件機制，快速接入新的硬件和虛擬化被集成能力：北向API可以靈活的被客戶管理效勞軟件集成，使用云管理的告警監控功能支持和S協議。客戶在使用北向接口之前，必須使用接入用戶名和密碼進行認證。對密碼采用了RSA2048非對稱加密。開發API支持通過AD接口登錄開放性：提供豐富的二次開發接口，通過應用定制，其他外圍系統可通過二次開發包方便的調用平臺云計算資源，與平臺軟硬件設備實時交互，實現豐富的系統集成功能，如與高性能計算業務、程序設計系統等Saas應用的便捷融合平安性：網絡設計上采用數據、重要文件等信息對外界是隔離的；云計算中心采用的效勞設備、輔助設備等，在系統的設計上，采用權限管理、訪問控制等技術，保證信息平安。訪問、密碼(含數據庫密碼)等采用平安加密傳輸協議，減少產品受到攻擊和破解。支持自定義角色管理，對系統管理員、業務管理員和業務員可以配置不同的角色權限，實現訪問隔離。統一管理PortalFusionManager云管理系統，集成云平臺的管理、運維功能，提供客戶統一的操作界面，使客戶不必在不同Portal之間切換。用戶可以進行的主要功能操作包括：效勞目錄：應用模板管理，自動部署，效勞模板制作，效勞發放資源管理：集群管理，裸機管理，物理/邏輯資源樹虛擬化，組織管理，資源監控和維護，報表，拓撲故障管理：告警，郵件訂閱系統管理：任務管理、時間管理、多語言設置、license管理、備份管理、用戶管理統一Portal圖統一資源管理FusionManager云管理平臺，通過對各種物理資源、虛擬化資源數據統一建模，將資源以用戶可見的資源池形式提供應上層應用。統一資源管理模型圖統一資源管理，支持發現其管轄范圍內的物理設備〔包括機框、效勞器、存儲設備、交換機〕以及它們的組網關系。支持將這些物理設備進行池化管理，提供應應用管理模塊使用。對于虛擬化一體機場景支持自動發現物理設備，根底設施虛擬化場景需要手工導入物理設備，對效勞器、存儲設備和交換機進行集中管理，對物理資源進行池化管理，給上層的業務發放屏蔽物理設備的差異。虛擬化資源管理可以統一管理不同系統提供的不同的虛擬資源，包括虛擬機資源、虛擬網絡資源、虛擬存儲資源的管理等。通過資源池管理，提高根底設施資源的利用率和靈活性，提供統一的虛擬化資源管理能力，對上層應用發放屏蔽差異；實現虛擬資源集中管理提升管理效率，降低運維本錢。采用南向插件機制，使FusionManager可以快速、便捷、可定制的實現不同硬件和虛擬化系統的對接。物理資源管理對于華為自研的物理設備可自動發現； 第三方廠家設備支持單條設備接入或批量設備接入。效勞器的配置信息包括：效勞器的配置信息：名稱，位置，管理IP地址，BIOS，CPU主頻、個數，內存大小，硬盤容量，網卡個數，網口個數。交換機的配置信息包括：位置，交換機管理IP地址，型號，類型，狀態存儲設備的配置信息包括：存儲設備位置，產品型號，狀態，管理IP地址，磁盤數量效勞器設備的維護能力：上電，下電，平安重啟，平安下電，強制下電，進入維護模式，退出維護模式，一鍵式上電、下電所有效勞器；資源集群管理。集群的創立、刪除、擴容、減容，對集群進行性能監控，配置集群的資源調度策略，調度策略可以設置為手動和自動，實現虛擬機根據系統負荷在不同效勞器上遷移。物理設備資源管理虛擬資源管理虛擬化資源管理支持對計算虛擬化、網絡虛擬化、存儲虛擬化的管理。虛擬機生命周期管理：業務管理員通過應用對虛擬機進行創立、銷毀操作，對虛擬機的日常維護包括：啟動、重啟、遷移、關閉、修復、快照、虛擬機資源調整和監控；虛擬化網絡管理：對子網、WLAN和端口組的管理；子網管理：為創立資源集群時準備網絡資源，在組網模式為二層組網且使用外部DHCP效勞器為虛擬機分配IP地址時，不需要添加子網。支持在系統發現的虛擬交換機上創立和管理虛擬子網，每個子網中虛擬機實現二層隔離;子網管理包括：查詢子網、創立子網、刪除子網。WLAN管理：當組網模式采用二層、三層時均可根據用戶需要配置VLAN池，在組網模式為三層組網時添加的VLAN池只用于隔離二層網絡內的網絡互通。可以從VLAN池中添加或者刪除一個VLAN。端口組管理：為應用發放準備網絡資源。可以查看端口組、增加端口組、修改端口組和刪除端口組。端口組的屬性包括限速設置、上限帶寬、優先級和DHCP隔離。虛擬化存儲管理：可以管理IPSAN、FusionStorage、FCSAN、NAS的存儲資源，向存儲資源池中增加、刪除數據存儲，對已經存在的數據存儲可以進行擴容。虛擬化資源管理監控管理系統具有拓撲和監控功能，維護管理員可以監控自己權限內的資源信息，掌握資源使用情況和設備健康狀況。支持監控物理資源、虛擬資源、桌面資源等。監控主要針對云平臺、計算集群、計算效勞器、虛擬機、網絡、存儲等進行監控。支持管理員自定義監控統計項。支持多維度分類監控，方便用戶管理使用：按監控對象所屬的邏輯節點，按虛擬機的業務類型。具體監控項如下所示。監控對象監控項資源集群可以按周、月、年、自定義時間段查詢資源集群性能監控，監控指標有：平均CPU趨勢比照，平均內存趨勢比照，平均網絡流量趨勢比照〔網絡流出〕，平均網絡流量趨勢比照〔網絡流出〕，告警統計效勞器CPU占用率，內存占用率，網絡流出、流入，磁盤I/O寫入、讀出，可以按周、月、年及自定義時段查詢性能監控結果效勞器狀態及其網口、電源、風扇告警統計虛擬機CPU占用率，內存占用率，網絡流速，磁盤I/O，可以按周、月、年及自定義時段查詢性能監控結果交換機交換機狀態、端口流量。端口連接狀態，收發包速率，收發包丟包率、收發包錯誤率存儲設備總容量，可用容量，剩余流量，掛載數據、告警統計智能調度管理資源統一調度，支持設置集群資源的調度策略，根據管理員設置的調度策略。根據應用場景，可以分為三種策略類型：組內自動伸縮策略、組間資源回收策略和時間方案策略。組內自動伸縮策略針對單獨的應用而言，應用根據應用的當前負載動態的調整應用實際使用的資源，當一個應用資源負載較高時，自動添加虛擬機并且安裝應用軟件；當應用的資源負載很低時，自動釋放相應的資源。組間資源回收策略當系統資源缺乏的情況下，系統可以根據組間設置的資源復用策略，優先使優先級高的應用使用資源，使優先級低的應用釋放資源，以供優先級高的應用使用。時間方案策略時間方案策略允許用戶對于不同的應用實現資源的分時復用。用戶可以設置方案策略，使得不同的應用分時段的使用系統資源，比方說白天讓辦公用戶的虛擬機使用系統資源，到了晚間可以讓一些公共的虛擬機占用資源。節能降耗智能節能調度策略上圖是的調整策略，可以實現節能降耗，實現輕載合并下電，重載別離上電。系統負荷不大時，各VM占用CPU較低，局部VM關機了，可以將某些效勞器上的虛擬機自動遷移到其他節點，對這個效勞器進行休眠或下電，實施系統節能策略。系統重載時，再讓局部物理機上電，并遷移VM到新物理機，保證用戶感受。系統需分析并選擇適宜的物理機上下電，減小遷移的VM數目。為了快速響應，系統保證小局部物理機處理休眠態。方案調度策略組間伸縮策略組織管理FusionManager系統通過角色、域和組織對用戶進行管理，使用戶在不同的組織下進行獨立的操作和維護，實現用戶在自己虛擬數據中心下獨立操控，完成業務配置和效勞目錄發放。虛擬數據中心〔vDC〕從邏輯上對集群的計算、存儲、網絡資源按用戶或組織進行資源的邏輯配額分配，與具體硬件無關，用戶不用關心具體的集群或效勞器資源。FusionManager云管理平臺組織用戶角色關系管理員admin創立管理各角色系統管理員，系統管理員可以指派不同角色/域到不同的組織，也可以授權業務管理員進行操作，實現不同業務管理員的組織管理用戶組織管理角色：用于操作權限管理，確定用戶能做那些操作。域：用于分域管理，確定管理員能操作那個域內的資源。僅對管理員有效。組織：可以理解為業務管理員的域。本質也是確定業務管理員可以操作那個組織內的資源。域和組織的區別：域是面對系統管理員的，組織是面對業務管理員的域與集群關聯，組織與虛擬資源關聯。系統管理員和域是多對多的關系，業務管理員和組織是多對一的關系。云資源管理虛擬數據中心〔vDC〕，從邏輯上管理集群的計算、存儲、網絡資源，屏蔽物理硬件差異。組織通過角色實現對vDC的管理細分。對vDC可以進行查詢、創立、修改和刪除操作。在vDC中可以進行資源配額操作，創立和管理虛擬機，創立應用，發放效勞。系統管理員可以將虛擬數據中心劃分給具體的組織，實現資源配置，組織內部的管理員可以根據具體角色對vDC進行功能細分。一個vDC只能屬于一個組織，一個組織可以有多個vDC。用戶管理根本角色的訪問控制支持為管理員在不同域和組織上分配不同的角色，從而實現管理員接入系統時的權限控制，可以為不同的管理員分配不同管理范圍和業務訪問權限，方便管理員的業務分工。每個管理員的權限由授權定義，管理員的權限、域嚴格受控，提高了系統的業務平安性。用戶管理支持增加，修改和查詢用戶的管理，可以根據業務需要隨時增加管理員。支持密碼修改和重置功能，及密碼復雜度的檢查，可以提高用戶賬號的平安性支持用戶的，Email和描述的修改。為支持用戶管理，系統還提供了角色管理，組織管理，分域管理，密碼策略管理，第三方認證配置的能力。角色管理系統提供了角色的增、刪、改、查的功能業務管理員類：只能定義效勞目錄，組織資源，應用管理等權限系統管理員類：可以定義系統管理、資源管理、故障管理類的權限，可以對資源進行相關操作。用戶單點登陸用戶在protal登錄之后，登錄子系統不需要再次輸入用戶和密碼，可以直接訪問業務。用戶在任何一個系統登出之后，自動從其他部件登出支持分權分域系統支持分域，通過分域實現資源集群的分組管理。用戶授權時，按域授權，從而實現分域級的權限控制資源分域，通過分域控制，可以完成在不同集群上為用戶分配配置，修改和查詢的能力分域授權，對用戶授權時可以在不同的域上授予不同角色，從而實現按域的訪問控制。用戶登錄之后，只在有權限的域上進行操作。自助效勞發放業務管理員在得到系統管理員授權后，可以自助進行效勞發放和管理。業務管理員可以自定義效勞模板，靈活部署效勞，并且可以共享模板。FusionManager云管理平臺提供用戶自助門戶訪問效勞模板目錄，根據效勞模板創立應用，以及管理發放的應用的功能。基于模板的效勞目錄發放步驟圖基于可視化的模板設計工具，可以快速實現效勞模板的制作：模板制作虛擬機模板：管理員可以制作不同的虛擬機模板，自定義操作系統、規格、虛擬機上的軟件。效勞模板：管理員通過效勞模板來發布應用，可以使用效勞模板設計工具，通過簡單的拖拽方式快速地設計出滿足企業需求的應用模板。效勞申請提供用戶自助門戶訪問效勞模板目錄，一鍵式快速創立應用以及查看應用的部署報告和創立進度。用戶通過自助門戶訪問效勞模板目錄，根據應用需求選擇相應的效勞模板，配置應用網絡以及選擇應用的管理員，快速部署應用。在應用部署過程中，用戶可以查看應用部署報告和實時進度。應用管理提供用戶管理發放的應用的功能，包括管理應用的生命周期、查看應用的監控日志以及通過應用拓撲實時查看和管理應用內部虛擬機、網絡等管理應用生命周期提供管理員對應用進行啟用、掛起、修改和刪除的功能。應用監控日志提供管理員監管應用運行情況和變更操作的功能，便于管理員及時發現和定位應用故障。應用拓撲管理提供管理員可視化地查看應用內部的組網結構，管理應用虛擬機。自動化運維自動化運維是云管理平臺提供的主要功能，管理員可以實現物理設備的自動發現、操作系統和應用軟件自動部署、應用無干預部署，提高管理平臺的部署效率。自動化運維，通過不同的調度策略，同時實現智能調度管理，提升設備利用率和彈性伸縮。自動化運維提供功能包括：物理設備自動發現對華為的效勞器，可以自動發現硬件，無需手動配置；對第三方設備，通過配置導入實現資源的監控和理解。自定義軟件和虛擬機模板自定義應用模板應用自動部署智能調度管理統計報表對系統相關監控指標按照一定規那么進行組織呈現，以便維護人員可以看到相關資源情況。對系統相關監控指標按照一定規那么進行組織呈現，以便維護