




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
第1章XXXXXXX云計算平臺具體設計方案
1.云計算平臺設計目標
云計算平臺采取了含有動態架構云計算操作系統(VMwarevsphere產品),
確保信息化優異性、安全性、開放性、兼容性、共享性、用升級及擴充性,可確
保系統實施和以后服務效率和彈性。除以上提到基礎特色之外云計算平臺還含有
以下優點:
1)簡化管理:
云計算平臺物理設施復雜度降低,能夠最低程度降低物理資源直接調度,使
維護管理難度和成本大大降低。
2)高效復用:
使得物理資源能夠按需調度,物理資源得以最大程度重用,降低建設成本,
提升使用效率。即能夠實現總硬件資源占用量降低了,而每個業務得到服務反而
更有充足資源確保了。
3)綠色環境保護:
節能降耗,最大程度節省電力消耗。
4)數據保護
實現高等級數據務份及恢復機制,針對高級應用則采取更高等級數據保護機
制。
2.云計算平臺邏輯拓撲圖
3.拓撲及云計算平臺設備組成
XXXXXXX云計算平臺(參考:云計算平臺邏輯拓撲圖)選擇皆為行業內領軍
企業產品,這些產品一同組成云計算平臺不是簡單產品堆砌,而是經大量案例證
實為切實可靠處理方案。
其中最關鍵計算平臺、存放平臺、云計算操作系統分別為思科產品、EMC
產品、VMware產品,這三家企業共同組成了一個從技術、開發、服務等很多領
域綜合聯盟(VCE聯盟,方案后面會有較具體介紹),使其兼容性及總體性能達
成了最優。
本方案中不管是應用交付領域、數據保護領域、網絡安全及用戶個人數據防
護方面全部設計到了最優。
現在XXXXXXX云t?算平臺關鍵包含設備有:
1)思科統一交換網絡——CiscoNexus5500;
2)思科統一計算平臺---CiscoUCS;
3)EMC統一集中存放系統——EMCVNX(SAN+NAS);
4)VMware服務器虛擬化---VMwarevSphere;
5)VMware桌面虛擬化——VMwareVIEW;
4.VCE聯盟在數據中心意義
思科、EMC攜手VMware結成虛擬計算環境(VirtualComputingEnvironment)
聯盟.,這是三大IT業界領袖企業首次共同協作。該聯盟成立,意在經過普適數
據中心虛擬化和向私有云架構轉型,不停提升IT基礎架構靈活性,降低IT、能
源和空間成本,從而讓用戶能夠快速地提升業務靈敏性。
思科、EMC和VMware一直開展著親密合作,三方有著共同愿景,即企業IT
基礎架構未來是私有云計算。私有云是一個虛擬IT基礎架構,專為一個機構安
全地控制和獨立運行。它能夠由該機構或第三方管理,它能夠在該機構所在地點
之內或之外,或兼而有之。私有云計算既提供了目前數據中心可控性和安全性,
又提供了業務創新所要求靈敏性,而且大幅降低成本。
〃虛擬計算環境聯盟〃為多種規模組織機構提供了數據中心轉型加速之路,
從而幫助她們極大地提升數據中心效率,同時大幅降低資本開支和運行費用。這
么,組織機構就不用再為到底是選擇最好技術,還是選擇端到端供給商可靠性而
勞神C
伴伴隨VblockTM基礎架構包公布,〃虛擬計算環境聯盟〃將為用戶將提供愈
加好方法,去從根本上簡化和優化私有云相關IT戰略。Vblock基礎架構包是一
個完全集成、經過測試和驗證、整裝待發和蓄勢成長基礎架構包,它融合了思科、
EMC和VMware提供業內最強虛擬化、網絡、計算、存放、安全和管理技術,而
且含有端到端供給商可靠性。
在XXXXXXX云計算平臺項目中我們則綜合利用了VMware、Cisco、EMC這三
大IT巨頭及新興網絡弋表F5及BlueCoat企業產品,經過科學布署周密計劃必
能將XXXXXXX云計算平臺建設成一個高可靠、高擴展性、易于管理且含有良好兼
容性優質云計算平臺。
5.計算系統設計(思科UCS)
5.1服務器發展趨勢
在數據大集中趨勢下,數據中心服務器規模越來越龐大。伴隨服務器規模成
倍增加,硬件成本也水漲船高,同時管理眾多服務器維護成本也伴隨增加。為了
降低數據中心硬件成本和管理難度,對大量服務器進行整合成了肯定趨勢。經過
整合,能夠將多個業務集成在同一臺服務器上,直接降低服務器數量,有效降低
服務器硬件成本和管理難度。
服務器整合帶來了巨大經濟效益,同時也帶來了一個難題:多個業務集成在
一臺服務器上,安全怎樣確保?而且不一樣業務對服務器資源也有不一樣需求,
怎樣確保各個業務資源正常運作?為了處理這些問題,虛擬化應運而生。虛擬化
指用多個物理實體創建一個邏輯實體,或用一個物理實體創建多個邏輯實體。實
體能夠是計算、存放、網絡或應用資源。虛擬化實質就是“隔離”一將不一樣業
務隔離開來,相互不能互訪,從而確保業務安全需求;將不一樣業務資源隔離開
來,從而確保業務對于服務器資源要求。
數據中心資源整合和虛擬化正在不停發展,這需要高度可擴展永續安全數據
中心網絡基礎。網絡不僅能讓用戶安全訪問多種數據中心服務,還能依據需要實
現共享數據中心組件布署、互聯和匯聚,包含多種應用、服務器、設備和存放C
合適計劃數據中心網絡不僅能保護應用和數據完整性,提升應用可用性和性能,
還能增強對不停改變市場情況、業務關鍵程度和技術優異性反應能力。
服務器虛擬化為世界各地數據中心帶來了眾多優勢,但同時它也向數據中心
提出了挑戰。假如有統一I/O配置和足夠帶寬,在每臺物理服務器上支持大量VM,
則資源池管理會較為輕易。資源池將能愈加快速地應對快速改變業務情況和工作
負載,新服務器資源添加能在幾分鐘內完成,然后設置并投入使用。而無需經過
數小時甚或數天繁瑣、耗時且易于犯錯人工配置,來準備服務器及其接口、固件
和設置。經過平衡CPU處理能力和經濟高效內存配置使虛擬機密度提升時,就
能夠更輕松地實現服務器虛擬化經濟優勢。最終,在統一了網絡接入層,并以相
同方法對待虛擬機鏈路和物理服務器鏈路時,能夠更高效、更安全地管理虛擬環
境,并取得更出色QoS。
思科統一計算系統經過下一代數據中心平臺處理了上述挑戰。此平臺將計
算、網絡、存放訪問和虛擬化統一到一個綜合系統中,進行集中管理,并使用
VMwareESX服務器等虛擬化軟件進行協調。該系統在一個萬兆以太網統一陣列
中集成了企業級服務器,提供了虛擬機和虛擬化軟件所需I/O帶寬和功效。思科
擴展內存技術為高度虛擬化所需要大內存提供了一個極為經濟配置方法。最終,
思科統計算系統將網絡訪問層集成為個能輕松管理實體,在此實體中,能像
物理鏈路一樣配置、管理和移動虛擬機鏈路。思科統一計算系統繼承了思科長久
以來優異創新傳統,在架構、技術、合作關系和服務方面全部進行了出色創新。
5.2刀片服務器選型—思科UCS
5.2.1刀片服務器特點
刀片服務器是一個HAHDfHighAvailabilityHighDensity,高可用高密度)低成
本服務器平臺,是專門為特殊應用行業和高密度計算機環境設計,其關鍵結構為
一大型主體機箱,內部可插上很多“刀片”,其中每一塊刀片實際上就是一塊系
統母板,類似于一個個獨立服務器,它們能夠經過當地硬盤開啟自己操作系統。
刀片式服務器含有四大特點,首先是布署簡單、易于維護,全部線全部連在
機柜上,布線只有原來1/10或1/20。
其次是維護成本低,服務器出現問題時候,刀片能夠立即更換并立即啟用,
而塔式和機架式則不可能做到這一點。
第三是節省占用空間成本和能源消耗成本,機架式服務器本身要帶電源、光
驅、軟驅等一系列基砒設施,不僅占用了寶貴空間更增添了能源消耗成本。而一
個機柜中全部刀片全部能共用一套基礎設施,除了空間利用率更高之外,集中供
電效率也遠比單機要高很多。
5.2.2思科UCS優勢概述
在此方案中我們提議選擇思科統一計算系統(UCS)°UCS是一個理想虛擬化理
想平臺,因為它降低了I/O、CPU和內存等虛擬化〃痛點〃(painpoint)問題。
思科UCS是為虛擬化“度身定做”。即使UCS從本質上來說,能夠認為它
就是一組刀片系統。不過UCS出色之處就是它為虛擬化做了很多優化,所以很
顯著UCS會比一般刀片系統愈加好地為虛擬機目標服務。那么首先,談一下虛
擬化技術有那些目標呢?
5.2.2.1虛擬化目標
關鍵能從三方面表現虛擬化目標:
1)服務器整合(ServerConsolidation),因為之前一般X86服務器利用
率基礎在10%以內,所以經過虛擬化技術,能平均實現1:8整合比率,也
就是說,現在一臺虛擬主機能承受之前8臺物理服務器工作量,這不僅能降
低在服務器方面開支,而且還能降低在能源和管理方面所需投入成本。
2)簡化系統管理(SimplifySystemManagement),首先,經過降低物
理機數量,能成倍地降低管理節點數量。其次,因為虛擬機移動性,使得經
過vMotion和DRS等技術能自動優化系統資源。
3)加速應用布署(AccelerateApplicationDeployment),因為虛擬機鏡
像移動性,使得經過使用虛擬器件(VirtualAppliance)等手段能加速布署。
接下來,將經過走這三方面進行展開來表現UCS在那些方面做了優化。
5.2.2.2服務器整合
提升服務器整合最好方法就是增加服務器各方面資源,而UCS在這方面,
做不僅不遜色,而且在CPU,內存利網絡架構全部有創新:
1)在CPU方面:UCS第一款刀片服務器B系列就支持Nahalem架構Intel
CPU,因為其不僅在速度遠勝上代,而且因為其HyperThread(HT)技術,
使得CPU邏輯關犍數量增加了一倍,即使這種提升對一般應用而言應該提
升不大,不過對虛擬化而言,它卻是一個強心劑,因為vCPU數量倍增了,
也就能夠支撐更多虛擬機,尤其是最近,思科還推出基于最新
32nmWestmare技術C系列服務器。
2)在內存方面:對虛擬化而言,內存比CPU更缺,因為每個虛擬機其
實在運行時候,不一定損耗很多CPU周期,不過它會固定消耗很多內存資
源,而且內存和其它資源相比極難overcommit(超標預訂)。既然內存對
虛擬化是如此關鍵,所以UCS為此推出它ExtendedMemory(內存擴展)技
術,經過這種技術能讓一臺薄薄刀片服務器內裝載高達384GB內存,從而
加載更多虛擬機,同時內存也能跑在1066MHz高速下。
3)UCS整套網絡架構:其包含能支持128個虛擬接口Palo網卡和能提
供多達幾十Gps網絡帶寬UCS6100FabricInterconnect(互聯陣列),經過
這些設施在網絡方面能夠很好地應對大量虛狙機情況。
綜合上述這些方面,UCS所提供整合率將遠超業界最一般1:8比率,假如
根據一臺虛擬機消耗2GB內存,CPU平均利用率在10%左右情況,估量一臺UCS
刀片機能支持多達160臺以上虛擬機。
5.2.2.3簡化系統管理
在簡化系統管理方面,UCS除了之前已經提到經過服務器整合帶來好處之
外,還有其它方面優點。
1)經過引入VN-Link技術改良了之前極難管理VirtualNetworking,比如
使用CiscoNexus1000v或NetworkInterfaceVirtulization技術來替換之前常
見但比較麻煩VirtualSwitch來管理網絡。
2)使用FabricExtender替換傳統刀片交換機,這意味在網絡架構中將降
低在Blade機箱這層,從而使整個網絡架構得到簡化。
3)經過引入UnifiedFabric技術來整合數據通信和存放通信,經過這種
做法能極大地降低網卡和網線使用。
4)使用統一UCSManager來管理全部硬件,而且能很簡便和快速地配
置和布署新服務器。
5.2.2.4加速應有布署
在這方面,UCS并沒有做過多優化,因為這方面關鍵經過其上vSphere來控
制。不過UCS還是有其相關優勢:
1)經過UCSManagerTemplate機制能很方便地布署應用所需資源。
2)UCS可搭載多個利于應用布署管理工具,比如BMC管理套件和EMCIONIX
等。
刀片服務器及機箱配置:采取思科5108刀片服務器,機箱最多能夠安裝8
臺刀片服務器,由2104XP經過光纖連至6120XP,每個2104XP有4個10G上行
端口,支持40G帶寬,每刀片機箱安裝1個,共40G帶寬。刀片服務器選擇思
科UCSB系列刀片服務器。
采取思科UCS含有以下優勢:
?單一管理入口:全部服務器配置,更改,和VLAN和VSAN配置和更改
全部在一個界面內完成,無需登陸多個管理模塊或管理服務器。同時,
也是在同一個管理界面,能夠監視全部服務器和統一交換平臺健康情
況。
?便于擴展:添加新服務器時,只需簡單地將服務器插入機箱,UCSM會
自己發覺新設備,并依據策略自動或手動地將服務器網卡,HBA或虛擬
網卡配置好,并聯如對應VLAN和VSANo
?加強故障隔離能力:全部鏈接全部是冗余,整個系統不存在單點故障,
在確保系統簡練性同時,也確保了系統安全性。
UCS統一計算系統示意圖
5.3刀片服務器統一管理
集中、全方面管理,并和統一交換平臺相結合,意味著不再需要人工配置和
集成多種獨立組件,就能創建一個高效虛擬池。思科統一計算系統能夠簡單、自
動地實施將一個新服務器布署到系統中步驟,在幾分鐘內就能完成新服務器安
裝、配置并將其投入使用,而無須像傳統配置方法那樣花費數小時乃至數天時間。
這一功效不僅有利于提升IT人員生產率,而且在需要更多資源時能夠快速擴展
虛擬池能力。
CiscoUCSManager是思科統一計算系統中樞神經系統。它從端到端集成系統
組件,所以系統能作為單一,邏輯實體進行管理。CiscoUCSManager提供一個直觀
GUI、一個命令行界面(CLI)和一個強大API,所以它能單獨使用,也能和其它第二
方工具集成使用。經過單一控制臺,能夠全方位管理服務器配置一系統身份、固
件版本、網卡(NIC)設置、HBA設置和網絡配置文件等,無需為個系統組件配置單
獨管理模塊。CiscoUCSManager內嵌在兩個互聯陣列中。
CiscoUCSManager全方位配置服務器和它在系統中連接。它能設置或配置唯
一用戶ID(UUID)、BIOS和固件版本;包含MAC地址、VLAN和服務質量(QoS)
設置在內NIC配置;包含全球名稱(WWN)、VSAN、帶寬限制和固件版本在內
HBA配置;和包含VLAN、VSAN、QoS和以太通道設置在內上行鏈路端口配置。
5.4UCS中統一交換平臺
思科統一計算系統關鍵目標是實現傳統數據中心最大程度資源整合。通常在
傳統數據中心中存在兩種網絡:傳統數據局域網和使用光纖存放交換機存放交換
網絡。統一交換平臺將這兩種網絡實現在統一傳輸平臺上,即使用一個交換技術
同時實現傳統數據網絡功效和遠程存放。這么才能最大化實現資源整合,降低系
統復雜程度,從而便于實現跨平臺資源調度和虛擬化服務,提升投資有效性,同
時還降低了管理成本。
要實現存放網絡和傳統數據網絡雙網合一,使用思科統一交換平臺實現二者
一體化交換。目前在以太網上融合傳統局域網和存放網絡唯一成熟技術標準是
FiberChannelOverEthernet技術(FCoE),它已在標準上給出了怎樣把存放網(SAN)
數據幀封裝在以太網幀內進行轉發相關技術協議。因為該項技術簡單性、高效率、
經濟性,現在已經形成相對成熟包含存放廠商、網絡設備廠商、主機廠商、網卡
廠商生態鏈。具體協議公布可參見FCoE相關WeoSites。()
CiscoUCS6100系列互聯陣列是思科統一計算系統關鍵組成部分,為系統提
供了網絡連接和管理能力。CiscoUCS6100系列提供線速、低延時、無丟包萬兆
以太網和以太網光纖通道(FCoE)功效。
CiscoUCS6100系列可為CiscoUCSB系列刀片服務器和UCS5100系列刀片服
務器機箱提供管理和通信骨干。全部連接到CiscoUCS6100系列互聯陣列機箱和
刀片服務器,均成為單一高可用管理域組成部分。另外,經過支持統一陣列,Cisco
UCS6100系列還為其域內全部刀片服務器提供了局域網(LAN)和存放域網絡
(SAN)連接。
>計算網絡設備選型:
?統一交換陣列:由1臺思科6120XP組成統一交換平臺,是數據交換網
絡骨干,而且由它實現對全部刀片服務器設置。6120XP有20個全萬
兆端口,全線速,無阻塞無丟包交換陣列。
?統一交換陣列擴展模塊:8端口4GFC擴展模塊。6120XP能夠安裝多
個擴展模塊,接入現在傳統IT架構里光纖SAN交換機等,保護用戶以
前投資。
青島膠建集團企業網絡業務應用特點決定了現在數據中心必需有很強擴展
能力,而同時又不能增加系統管理難度和分雜性。采取思科統一計算平臺能夠很
好處理這個問題。當需要擴展時,只要將新刀片機箱接入6120XP,6120XP上內
置管理軟件會自動發覺新硬件,能夠依據事先定義好服務配置腳本對服務器進行
設置,如新服務器應該接入那個VLAN,服務器上HBA卡或應該接入那個VSAN
全部能夠在幾分鐘內設置完成。
在最大規模系統時,其管理難度和復雜度全部沒有增加,下圖顯示了思科統
一計算系統較大規模時架構示意圖,能夠看到,即使服務器數量和刀片機箱數量
大大增加,不過,從整體架構上看,沒有任何改變一全部服務器和刀片機箱全部
接入統一交換平臺,全部管理全部從統一交換平臺內置管理軟件實現,同時,完
全融合已經有網絡和存放環境:
思科統一計算系統解決方案的應用
單一,可擴展,集成的系統
UnifiedFabricyC:J二一:JCZ3CXDPTT
(FCoE)|QooEz3ESEa三E三E三
5.5思科UCS無狀態計算能力
思科統一計算(CiscoUCS)平臺靈活實現了目前數據中心最為熱門FCOE技
術,而且成功實現了無狀態計算功效。這兩種功效實現使得思科UCS在數據中心
布署時即可簡化物理安裝、布線又可大大節省以后維護成本,提升數據中心高可
靠、快速響應能力。
思科UCS無狀態計算能夠達成這么效果:在思科刀片機箱中假如有一臺刀片
服務港宕機,數據中心管理員在收到報警信息后僅需要將宕機服務器從刀片機箱
中拔出然后插入新刀片服務器開啟即可。在思科6120XP作用下,新插入刀片服
務器將能自動發覺并完成原先刀片服務器和EMC存放上lun關聯狀態;新刀片
服務器將繼承原刀片服務器UUID、MAC地址信息、WWNN信息、WWPN信息、
BIOS信息、引導次序等全部服務器個性化信息。利用SANBOOT功效新插入刀片
服務器和LUN管理完成后將從存放上開啟ESX操作系統,系統引導完成后整個
維護工作也宣告結束。無需配置傳統服務器硬盤RAID配置、安裝操作系統、從
存放上調整LUN和新服務器關聯、配置新裝系統網絡、存放、管理權限......等很
多工作。在數據中心中利用思科UCS布署VMware使數據中心管理根本輕松下來
同時也極大提升了數據中心在中服務能力c
5.6思科UCS平臺和VMware結合優勢
在經濟環境良好時期,”以更少投入取得更大回報〃是幫助企業增強競爭優勢
座右銘。而在經濟困難時期,利用較少資源完成更多任務則能幫助機構繼續在市
場中生存。
幾乎每個人全部知道虛擬化優勢:
?整合工作負載;提升利用率;降低運行、投資、空間、耗電和冷去〕等。
?在虛擬池中動態地移動工作負載,提升使服務器離線或增加新服務器
靈活性。
?管理虛擬機和物理機之間關系,優化性能,確保服務水平。
?使用現有資源池創建更多虛擬機,從而擴展目前應用或布署新應用。
?使用虛擬化軟件高可用性和災難恢復功效,來處理當地和跨地域故障
問題。
虛擬化使應用布署和服務器購置分離開來,不過這一優勢和其它虛擬化優勢
只有在應用程序運行在一個或多個統一服務器資源池時,才能能夠最好地發揮。
思科統一計算系統巾就意在提供這么一個環境。專為虛擬化環境而優化思科統一
計算系統是下一代數據中心平臺,在一個緊密結合系統中整合了計算、網絡、存
放接入和虛擬化功效,意在降低總體擁有成本(TCO),同時提升業務靈活性。
該系統包含一個低延時無丟包萬兆以太網統一陣列,和多臺企業級X86架構服務
器。它是一個集成可擴展多機箱平臺,在統一管理域中管理全部資源。
5.6.1統一陣列
虛擬環境需要一致I/O配置,為資源池中全部服務器系統管理程序提供統一
支持。它們還需要能夠支持虛擬機(VM)在資源池中各服務器間移動,同時乂
能滿足各虛擬機帶寬和安全要求I/O配置。思科統一計算系統以一個低延時無丟
包10-Gbps統一網絡陣列為基礎,能夠滿足這一需要。CiscoUCS5108刀片機箱
中刀片服務器經過擴展卡訪問陣列,每刀片服務器吞吐率高達40Gbpso
該統一陣列采取“一次布線〃布署模式,機箱只經過線纜連接到互聯陣列一
次,I/。配置改變只需經過管理系統進行,而無需安裝主機適配器和對機架和交
換機重布線(參見圖1)。此統一陣列不再需要在每個服務器中布署冗余以太網
和光纖通道適配器,也無須采取獨立布線連接接入層交換機,并為每種網絡媒體
使用不一樣交換機,所以大大簡化了機架布線。全部流量全部路由到中央服務器
互聯,隨即以太網和光纖通道流量可獨立傳輸到當地非整合網絡。
圖1.統一陣列將多個流量傳輸到CiscoUCS6100系列互聯陣列,在此以太網和光纖通道
流量拆分到獨立網絡
該統一陣列基于萬兆以太網,采取標準擴展支持更多流量類型并優化管理
它支持以太網和以太網光纖通道(FCoE),其管理特征使得以太網和FCoE等多個流
量管理能獨立進行,支持帶寬管理,且各流量等級間無干擾。
統一陣列為虛擬環境提供了創建基于統一I/O連接大型服務器資源池能力,
經過編程,該資源池能夠以和數據中心目前最好實踐相一致方法運行。在虛擬化
軟件使用基于光纖通道共享存放環境里,就無需再布署冗余HBA卡、收發器、
電纜和上游交換機端口,這些成本相當于一個小型服務器。正如文章稍后所討論
那樣,CiscoVN-Link技術支持每個虛擬機和互聯陣列間虛擬網絡連接,簡化了虛
擬機及其網絡管理,包含輕松移動虛擬機,自動保持安全性等網絡特征。
5.6.2內嵌統一管理功效
當服務器配置到資源池中以后,便能夠依據需要進行管理,以滿足不停改變
工作負載要求;在布署新應用時無需為其安裝特定硬件;并能在服務器間移動虛
擬機,以均衡工作負載、滿足服務水平協議(SLA)或使某個服務器為計劃內停機作
好準備時,虛擬化能為數據中心發揮最大價值。CiscoUCSManager將思科統一計
算系統資源整合為單一綜合系統,很適于為虛擬環境建立資源池。
CiscoUCSManager是思科統一計算系統中樞神經系統。它從端到端集成系統
組件,所以系統能作為單一邏輯實體進行管理。CiscoUCSManager提供一個直觀
GUI、一個命令行界面(CLI)和一個強大API,所以它能單獨使用,也能和其它第三
方工具集成使用。經過單一控制臺,能夠全方位管理服務器配置一系統身份、固
件版本、網卡(NIC)設置、HBA設置和網絡配置文件等,無需每個系統組件配置單
獨管理器。CiscoUCSManager內嵌在配置成高可用集群兩個互聯陣列中。
集中、全方面管理,并和統一陣列相結合,意味著不再需要人工配置和集成
多種獨立組件,就能創建一個高效虛擬池。CiscoUCSManager能夠簡單、自動地
實施將一個新服務器布署到系統中步驟,在幾分鐘內就能完成新服務器安裝、配
置并將其投入使用,而無須像傳統配置方法那樣花費數小時乃至數天時間。這一
功效不僅有利于提升IT人員生產率,在需要更多資源時能夠快速擴展虛擬池能
力,也將使采取此系統企業取得戰略優勢。
CiscoUCSManager基于角色和策略管理模式許可企業繼續實施已經有獨立
式管理。比如,默認配置定義了獨立服務器、存放和網絡管理員角色,每個角色
用戶則定義怎樣配置系統策略。使用這些策略,機構中不一樣團體就能更高效地
合作。舉例來說,網絡管理員定義了全部網絡策略,以后這些策略就能被服務器
管理員所采取和加以參考,這一過程無需網絡管理員參與。同時,高級管理員能
夠將精力更多地集中于關鍵業務問題,而無須關注各系統配置細節。
5.6.3服務配置文件和服務配置文件模板
虛擬化使應用布署和服務器購置分離開來。當將服務器配置到虛擬池中,數
據中心就成為了一個動態實體,能夠高效利用資源,靈活調整分配給物理服務器
虛擬機,方便達成效率和性能最好平衡。數據中心就像是一個正確調整引擎,添
加服務器就像是為引擎加油:當虛擬池中整體工作負載增加,就需要更多服務器
來保持所需服務水平。類似,當工作負載需求降低,應該直接關閉部分服務器,
藉此依據實際工作負載需要,正確控制功耗和碳排放量。
服務配置文件和服務配置文件模板是大幅簡化在系統中添加新服務器這一
步驟機制,能在幾分鐘而非數小時甚或數天內將新服務器添加到資源池。一樣,
這個機制也能用來重新配置服務器,方便服務器能用于另一不一樣資源池中。
CiscoUCSManager全方位配置服務器和它在系統中連接。它能設置或配置唯
一用戶ID(UUID)、BIOS和固件版本;包含MAC地址、VLAN和服務質量(QoS)
設置在內NIC配置;包含全球名稱(WWN)、VSAN、帶寬限制和固件版本在內
HBA配置;和包含VLAN、VSAN、QoS和以太通道設置在內上行鏈路端口配置。
服務配置文件全方面定義服務器及其全部設置。可使用服務配置文件來配置
新服務器,或在需要時,用它來配置同一服務器副本,方便全部軟件全部能從原
始服務器遷移到替換服務器,這些操作對于軟件和其許可證機制完全透明(參見
圖2)。服務配置文件是對服務器進行全方面定義,而服務配置文件模板則是定
義怎樣創建服務配置文件。服務配置文件就像是課程示例,服務配置文件模板則
定義課程,即定義創建服務配置文件策略。
圖2.服務配置文件配置服務器和網絡資源,能使服務器配置在物理服務器間移動
萬兆以太網
上行鏈路一*光纖通道
?一上行鏈路
Parent級CscoUCS
618系列總聯阱列
經過激活服務配置文件模板,能夠將多個服務器進行完全相同配置,同時又
使它們能在采取唯一標識符實例中擁有自己身份(如UUID、MAC地址和WWN)o
應用服務配置文件模板結果就是取得一個全方面定義一個獨特服務器服務配置
文件。當一臺新服務器被添加到思科統一計算系統時,CiscoUCSManager能發覺
它并依據服務器物理特征,自動應用對應服務配置文件模板。借助這一功效,能
夠快速、簡便地向不一樣虛擬池添加服務器。比如,一個虛擬池可能包含多個
64GB主內存服務器,這對于某類應用已經足夠,而另一虛擬池中服務器則可能
最少為192GB主內存,以實現最大虛擬機密度。
5.6.4借助CiscoUCS擴展內存技術,提升虛擬機密度
虛擬化將更多關注服務器怎樣擁有更多和更經濟內存配置。即使高性能、針
對虛擬化特殊優化和多核處理器如IntelXeon5500系列能夠提升虛擬機性能,但
現在服務器需要更大內存來充足利用服務器處理器。提升虛擬系統中虛擬機密度
傳統方法是,購置更昂貴、更大型四路服務器。但這種方法既提升了投資和運行
開支,又沒能實際處理怎樣為雙路服務器提供更為經濟高效內存問題。
思科擴展內存技術提供了一個含有極大潛力、經濟高效方法,利其它方法相
比,能以更低TCO提升虛擬化密度,使IT機構能夠憑借更少資源完成更多任務。
CiscoUCSB250Ml擴展內存刀片服務器和CiscoUCSC250Ml擴展內存機架安裝
服務器就采取了這種技術。從處理器內存通道角度來看,該項技術將四個物理上
獨立DIMM映射為單一邏輯DIMM(參見圖3)。這一映射支持擁有48個DIMM
插槽擴展內存服務器,而采取相同處理器傳統服務器和刀片系統最多只能配置
12個最高性能插槽,或18個較低性能插槽。
圖3.思科擴展內存技術使4個物理DIMM對于CPU來說顯示為單一大型邏輯DIMM
思科擴展內存服務器中48個DIMM插槽能插入2、4或8-GBDIMM,為企
業提供了平衡處理能力、內存容量和成本極高靈活性。
?低成本選項使用低成本4-GBDIMM來提供高達192GB內存,而無須像
使用相同處理器其它服務器那樣,為取得高內存容量而使用8-GB
DIMMo依據8月公開內存價格,該選項能夠節省60%內存成本。
?大內存選項能夠為需要最大內存工作負載提供支持。思科擴展內存服務
器在使用8-GBDIMM時內存高達384GB,實現了采取IntelXeon5500
系列處理器雙路服務器最大內存。
不管需要大型內存還是極大內存來優化虛擬化密度,IT機構現在全部能愈加經濟地整合更
多應用,創建更多虛擬機。
5.6.5使用虛擬接口和CiscoVN-Link技術進行聯網
傳統刀片服務器為布署虛機環境增加了無須要成本、復雜性和風險。在大多
數網絡布署中,網絡接入層被分為三個層次,極難控制網絡連接并確保其安全,
增加了VM到VM聯網延遲,難以進行高效管理:
?接入層交換機通常屬于數據中心基礎設施范圍,由網絡管理員管理,對
安全和QoS進行高效控制。
?刀片服務器中交換機增加了一個新網絡層,它們使用處理器和特征集常
常和數據中心接入層交換機所用處理器和特征集不一樣。
?虛擬軟件廠商布署軟件交換機占用CPU周期來模擬網絡硬件,其代價就
是降低應用性能。這些軟交換機常常超出了網絡管理員控制范圍,常常
由服務器管理員配置c
這些環境中接入層劃分造成結果是,在同一刀片服務器中虛擬機、同一機箱
中虛擬機或不一樣機箱中虛擬機之間通信時,采取不一樣交換設備來實現VM到
VM通信。極難在各層實現統一管理,尤其是在虛擬機在服務器間動態移動時就
更為困難。
思科統一計算系統將VM到VM通信所需交換機精簡為一個互聯陣列,由此
簡化、加速并保護了交換。這種方法為系統中全部網絡通信提供了單一控制和管
理點(參見圖4):
?單一接入層交換機,即CiscoUCS6100系列互聯陣列,支持虛擬機間全
部網絡流量傳輸,而不管虛擬機在何處,為網絡流量提供了單一控制和
管理點。
?無需在刀片中布署交換機,而是使用CiscoUCS2100系列陣列擴展模塊,
它邏輻上是互聯陣列一部分,將全部流量從刀片服務器傳輸到上游互聯
陣列。
?無需使用軟件交換機,虛擬機直接連接到物理NIC,采取直通交換或采
取Hypervisor-bypass技術對其深入加速。此技術由支持導向l/Olntel虛
擬化技術提供。
圖4.思科統一計算系統提供了單一控制和管理點,不再劃分網絡接入層
接入層交換機
刀片女挨機接入屋交拱機
系胡■理雇序交蝴
統一接入層.
班行劃分的接入屜,
單一*理點
我多個管理點
(一)CiscoVN-Link技術
思科統一計算系統中每臺服務器全部經過一條或多條物理鏈路連接到互聯
陣列。CiscoVN-Link技術能在單一物理鏈路上配置多條虛擬鏈路。虛擬鏈路將虛
擬機中一個虛擬NIC(vNIC)連接到互聯陣列中一個虛擬接口。當使用CiscoUCS
M81KR虛擬接口卡時,從和虛擬機連接(經過直通交換或Hypervisor-bypass)物
理接口創建一條虛擬鏈路(參見圖5)o這使得對于虛擬機網絡連接管理能像管
理物理服務器物理鏈路一樣進行。即使進出虛擬機全部流量全部經過各自不一樣
虛擬鏈路傳輸,但QoS、VLAN和訪問控制列表(ACL)等屬性能從單一管理點統一
管理。
虛擬鏈路在互聯陣列內部虛擬接口處終止。一個虛擬接口和一個物理接口相
關聯,這種關聯能依據需要改變。當一個虛擬機從一臺服務器移動到另一臺服務
器,該VM虛擬鏈路所連虛擬接口只要簡單地和另一個物理端口建立關聯就能夠
了。現在,虛擬機網絡特征也能隨它們一起在服務器間移動,無須再在多個交換
層間進行復雜協調。
在互聯陣列中虛擬接口和虛擬接口卡所支持物理接口之間,思科統一計算系
統經過硬件布署了CiscoVN-Link技術。在使用非CiscoUCSM81KR接口來傳輸虛
擬機網絡流量時,使用CiscoNexusTMiooov系列交換機,在軟件中也能實現相同
管理簡練性。
圖5.CiscoVN-Link技術支持每虛擬機鏈路,它們管理和移動獨立于物理鏈路
I虛構燃uCiscoUCS
6100東川
義聯戰W
ttiwata
將虐皿口與彳
核型lOGbps區卷中的根汽城口
一統一阡夕I鎮瘍改土相關聯
再依鎮悠
CiscoUCS
冶U卡
CiscoUC5
m系料
(二)采取CiscoUCSM81KR虛擬接口卡CiscoVN-Link技術
當服務器配置了CiscoUCSM81KR虛擬接口卡時,思科統一計算系統能發揮
最大功效。這些卡采取靈活配置I/O,使CiscoUCSManager能創建多達128個(其
中8個預留,供系統使用)以太網NIC或光纖通道HBA任意組合,其身份(MAC
地址和WWN)可動態編程。這個虛擬接口卡提供了足夠接口,確保每個虛擬機
全部能擁有一個或多個專用物理接口,所以不再需要虛擬軟件層面交換。
CiscoUCSManager和VMwarevCenter軟件共用,能夠協調虛擬機及它們直
接和之通信接口創建和移動。CiscoUCSManager中端口配置文件定義了虛擬機所
使用NIC配置,在創建VM或將VM移動到另一服務器時,靈活地引導管理器配
置虛擬機所需接口。端口配置文件名稱和VMwareESX服務器中端口組名稱相對
應。當VMwareESX服務器期望創建一個新虛擬機或設置虛擬機移動目標地時,
它將端口組名稱通知虛擬接口卡。虛擬接口卡向CiscoUCSManager問詢含有相
同名稱端口配置文件,然后虛擬機就能使用預期設備來連接網絡。
(三)總結
服務器虛擬化為世界各地數據中心帶來了眾多優勢,但同時它也向數據中心
提出了挑戰。假如有統一I/O配置和足夠帶寬,在每臺物理服務器上支持大量VM,
則資源池管理會較為輕易。資源池將能愈加快速地應對快速改變業務情況和工作
負載,新服務器資源添加能在幾分鐘內完成,然后設置并投入使用。而無需經過
數小時甚或數天繁瑣、耗時且易于犯錯人工配置,來準備服務器及其接口、固件
和設置.經過平衡CPU處理能力和經濟高效內存配置使虛擬機密度提升時,就
能夠更輕松地實現服務器虛擬化經濟優勢。最終,在統一了網絡接入層,并以相
同方法對待虛擬機鏈路和物理服務器鏈路時,能夠更高效、更安全地管理虛擬環
境,并取得更出色QoS。
思科統一計算系統經過下一代數據中心平臺處理了上述挑戰。此平臺將計
算、網絡、存放訪問和虛擬化統一到一個綜合系統中,進行集中管理,并使用
VMwareESX服務器等虛擬化軟件進行協協調。該系統在一個萬兆以太網統一陣
列中集成了企業級服務器,提供了虛擬機和虛擬化軟件所需I/O帶寬和功效。思
科擴展內存技術為高度虛擬化所需要大內存提供了一個極為經濟配置方法,最
終,思科統一計算系統將網絡訪問層集成為一個能輕松管理實體,在此實體中,
能像物理鏈路一樣配置、管理和移動虛擬機鏈路。思科統一計算系統繼承了思科
長久以來優異創新傳統,在架構、技術、合作關系和服務方面全部進行了出色創
新。
5.7XXXXXXX云計算平臺計算部分具體設計
在了解了思科物理刀片服務器優點和競爭優勢以后,在XXXXXXX云計算平臺
計算部分我們將采取下列具體設計■(下述內容僅為具體設計表述,具體產品硬件
及特色介紹我們將在下一章節表現):
1)依據項目標實際情況選配了兩款思科服務器,這兩種服務器未來將策略
性分配為服務器虛擬化和桌面虛擬化。
a)第一款:實際配置4臺B200刀片服務器(半寬),每臺服務器配置2
顆E5649CPU和96G內存,這四臺服務器CPU和內存配置全部比較
適中,很適合大規模布署虛擬桌面。這4臺物理刀片服務器可整合
約80臺服務器,或約400臺虛擬桌面(這些數值為依據以往經驗保
守估算值,實際整合比可能高于此數直,要依據具體運算業務來定)。
b)第二款:實際配置2臺B440刀片服務器(全寬),每臺服務器配置4
可E7540CPU和高達128G內存,這詼臺服務器不管是CPU計算能力
還是內存配比全部含有絕佳性能,很適合對計算有著較高要求墟擬
服務器布署。這兩臺物理服務器可整合約64臺高性能服務器或約
256臺虛引桌面(這些數值為依據以往經驗保守估算值,實際整合
比可能高于此數值,要依據具體運算業務來定)。
2)㈤性能:每臺思科刀片服務器含有兩塊萬兆FCOECNA卡,可同時支持網
絡及數據信息傳輸;此CNA卡可同時虛擬出多塊網卡及多塊HBA卡。
3)刀片服務器無須配置當地硬盤,思科UCS可完美支持SANBOOT功效(已
經過大量生產案例驗證),我們僅需要從EMC存放上劃分出一部分空間
(15G即可)關聯給思科思科刀片服務器,安裝完操作系統(ESX4.1或ESXi)
后即可實現思科刀片服務器基于EMC空間開啟一一SANBOOT功效,
*SANBOOT含有以下優點:
a)開啟速度快:因為用“當地硬盤”其實是在EMC存放上,EMC存放
采取高性能SAS盤(新接口SAS盤速度要遠高于FC盤速度),在如
此高性能SAS盤上開啟VMwareESX或ESXi僅需要極短時間;
b)運行穩定:EMC存放可達成5個9(99.999%)高可用性,除了硬盤
本身品質極佳之外還分別作了RAID和“熱備盤”等很多安全方法,
可確保思科UCS“當地硬盤”永遠不壞;
c)降低投資和維護量:思科UCS不配置當地硬盤可一定程度降低從硬
件上投入而且降低日常當地硬盤維護工作量;
d)可完美配合思科UCS“無狀態計算”特點:思科UCS當地無硬盤后,
思科UCS本身則只負責計算。萬一思科UCS(刀片服務涔)壞掉那么我
們僅需要重新插入一臺新備機就能夠了,在思科6100XP控制下思科
刀片服務器可和存放上“當地硬盤”自動關聯,從而自動開啟系統,
而不需要傳統服務器更換備機后做諸如:安裝操作系統、配置網絡、
配置存放、劃分VLAN等很多繁雜工作。
4)為確保服務器可控性提議配置兩臺思科6120XP作為對思科刀片服務器
管理之用(作成集群模式,實現冗余)。
*思科刀片服務器必需配合思科6120XP一起使用,思科6120XP不僅提供對刀
片服務器管理,更關鍵是為思科刀片服務器分配諸如:UUID.MAC地址、
WWNN.WWPN、實現SANboot功效,甚至還負責每臺物理思科刀片BIOS分
配,從而實現思科刀片服務器無狀態計算能力。
5)為了確保以后高擴展性,在此項目中配置了兩臺思科刀片服務器機箱。
機箱
?最多8個半寬刀片服務器
?最多4個全寬刀片服務器
?4個電源,N+N電網冗余
?8個風扇
?2個UCS2104陣列擴展模塊
?全部支持熱插拔
每套UCS系統最多可包含40個機箱
5.8思科UCS統一計算系統和傳統服務器功效對比
編號項目傳統服務器特點思科UCS
1當地硬盤當地硬盤開啟速度慢、不可靠、資源浪費SANBOOT開啟速E
2網絡I/OT兆網r網k數量少、捆綁i/o性能低雙萬兆CANK可任意E
3無狀態計算能力不含有不含有含有物理服2
重裝VmwareESX系統、重新配置
網絡、重新配置存放、重新登陸
4備件更換響應響應慢快速響應直接更孑
ESX配置相關網絡環境和存放環
境。
含有內存擴展技
內存擴展能力內存擴展有限對應個插槽由一個,
51CPU12術
6管理功效需要專門KVM操作、安裝系統需要現場網絡"KVM”全部一t
不含有全局擴展能利用思科管一臺
擴展能力無統一管理設備,無法全局擴展610061
7力理擴展臺服務?:
8批量配置不含有不含有含有可利用木
兩條電源線、兩條(甚至更多)網
9相關布線布線復雜線、兩條FC線纜。即使傳統刀片布線簡單兩個電2
也需要更多布線。
5.9計算系統設計總結
思科統一計算平臺是專為VMware虛擬化系統設計、研發、生產進而在市場
上推廣。思科UCS系統針對VMware虛擬化產品做了很多優化和個性化開發,使
其在做VMware服務器虛擬化布署時更流暢、管理愈加簡單。思科UCS系統布署
VMware虛擬化產品這些天然優點是其它計算廠商(比如:HP、思科、DELL、浪
潮、聯想…)所不含有,綜合此項目采取思科UCS能夠:
1)可愈加好做虛擬化布署;
2)含有優異可管理性;
3)含有良好擴展能力,在本項目中物理服務器最多可擴展至320臺半寬服務
器及160臺全寬服務器;
4)思科UCS處理方案成熟穩定,已經有大量生產案例在使用。
6,統一存放系統設計(EMCVNX)
6.1存放架構分析和選擇
多個存放方法優點:
DAS費用低:適適用于單獨服務器連接
高性能,高擴展性:光纖連接距離遠;可連接多個磁盤陣列或磁帶
SAN庫組成存放池,易于管理;經過備份軟件,能夠做到Server-Freu和
LAN-Free備份,減輕服務器和網絡負擔
NAS安裝過程簡單;易于管理;利用現有網絡實現文件共享;高擴展性
包含到網絡存放有以下多個連接介質:
以太網帶寬能夠是10Mbps,100Mbps或lGbps,能夠是雙絞線或光纖介質。
Ethernet通常傳輸協議是TCP/IP
光纖通道
帶寬通常是lGbps,光纖介質。傳輸協議是SCSI
Fiberchannel
帶寬是40Mbps(UltraSCSI),80Mbps(Ultra2SCSI),160Mbps
SCSI(Ultral60SCSI),320Mbps(Ultra320SCSI)o最大限制是距離不能超
出25米,適合直連方法存放。
多個常見網絡存放傳輸協議以下:
被稱作“Blockl/O”,因人SCSI命令指定存放存放在某一磁盤塊(Block)
SCSI
或磁帶數據。最早是經過SCSI連接發送命令,現在能夠經過光纖、
SSA和以太網(iSCSI)?>
被稱作“Filel/O”,用于在UNIX環境下,實現文件級數據共享。經過
NFS
TCP/IP網絡傳輸。
CIFS一樣是“Filel/O”,用在Windows操作系統環境。
SAN(存放區域網)經過高速光纖通道連接到關鍵任務服務器上,在確保高
性能訪問存放設備同時,實現多應用數據集中存放和管理。另外在SAN網絡建成
后,用戶能夠經過SAN網絡高速、統一進行備份,當系統發生故障時,數據和系
統能很快恢復。
IPSAN則能夠利用現有IP網絡,適合于對性能要求稍低小型數據庫、業務和
備份,也適合于低成本遠程復制或容災,從而降低整體存放架構總體擁有成本。
6.2為何要采取集中存放
因為計算機技術尤其是存放技術發展日新月異、一日千里,新技術、產品不
停涌現,而部分舊、過時技術、產品也逐步地退出歷史舞臺,怎樣確保留放系統
在這種情況下能夠不停地完善、發展,保持系統實用性和技術優異性是在整個系
統計劃階段必需考慮問題。我們認為,存放應用建設標準應該是:
(1)利用優異大容量存放設備,集中,智能管理全部關鍵應用信息數據?<>
(2)提供完善,便捷備份恢復處理方案,確保數據高可用性。
(3)提升數據傳輸能力,方便數據共享。
(4)確保系統強大擴充升級能力,兼容更優異存放技術。
⑸系統含有良好可擴展性,可滿足企業內業務5年需求。
>集中存放優勢
集中化存放管理思想是一個很有效經濟處理方案。因為對于磁盤陣列來說,
只有一套管理系統,這么就能夠極為方便地進行磁盤監控,性能調試。增加或重
新配置磁盤也變得很簡單。最大化合成集中設備,也使得存放系統宕機風險降至
最低。同時,一套完善備份方案就能夠有效地進行數據備份及恢復。數據傳輸能
力將直接影響整個系統性能。當今計算技術發展,主機CPU主頻,內存容量飛速
提升,系統性能瓶頸關鍵集中在數據讀寫,傳送能力。為了提升性能,存放系統
發展方向應該是大緩存,固化高處理能力CPU,配置功效優異存放軟件。
同時,系統優異性,可擴充性,和對于未來存放局域網可兼容性全部是用戶
在整個系統建設過程中必需考慮問題。
企業數據中心采取SAN作為基礎架構將帶來巨大益處。
StorageAreaNetwork(SAN)是一個專為存放而設計高性能網絡,通常基于光
纖或IP通道。SAN采取光纖或雙絞線連接在服務器和存放之間建立一個專用網絡。
磁盤陣列、和光纖交換機,共同組成存放平臺系統,使數據統一存放,集中管理。
StoragpNetworkingIndustryAssccaticn(SNIA)為SAN給出一■個正式定義:”一,
個以在計算機系統和存放單元間傳輸數據為關鍵目標網絡。簡稱SAN。SAN包含
通信基礎架構,用以提供物理連接,和一個管理層,將連接、存放單元和計算機
系統組織起來以實現數據傳輸安全可靠。”
SAN將帶來很多好處。這些好處對滿足企業網絡各項業務需求是關鍵、有時
甚至是關鍵原因。SAN將能提供:
存放整合StorageConsolidation
SAN中全部存放對多臺服務器均為可見。此種能力許可將存放整合成較大虛
擬存放池,然后依據需要分配給不一樣服務器使用。這就避免了每個服務器全部
有其自己存放陣列,從而降低投資和管理費用。
高可用性HighAvailability
依據需要可升級為經過雙路連接存放設備、雙路連接服務器和冗余交換拓樸
結構,實現多層次冗余。
/多個訪問路徑許可實現集群故障切換(failover)配置。
/存放設備從服務器上脫離開,使其能被單獨管理。
/災難恢復配置能處理系統宕機時間和服務丟失問題。
可伸縮性Scalability
SAN中存放設備不再和主機直接相連,它改動不需要主機停機配合。而且新
存放設備一旦連入SAN,經過容量和區域劃分,就能夠被連入SAN中主機更有效
地使用,進而實現了存放容量動態擴充。SAN能實現簡單、經濟、高效擴展,以
提供更多存放、更多服務器、更多數據通路和支持更廣泛用戶區域。采取智能交
換機和長距離光纖,使之成為企業選擇可靠擴展方
案時一個極具吸弓力特征。這種可擴展能力甚至對現有生產環境幾乎不會帶
來任何影響。
高性能HighPerformance
SAN采取高帶寬、低負載光纖通道協議傳輸SCSI信號,實現主機和存放之間
點對點高效數據傳輸。現有光纖通道技術已經分別實現了1、2Gb/s和4Gb/s數據
傳輸速率,8Gb/s技術也已經實現。
增強設備連接能力EnhancedDeviceConnectivitv
基于光纖通道規范,設備連接能力比較早技術,比如SCSI。或15個設備),要
大大地提升。一個光纖通道仲裁環(FC-AL)能支持126個設備,而一個完全Fabric
結構理論上可支持多達一千六百萬個設備。
6.3
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 臨沂小企業財務管理制度
- 勞動合同付公司管理制度
- 德國職業經理人管理制度
- 公司物流費報銷管理制度
- 日常保潔全程管理制度
- 公司文件及合同管理制度
- tcl雛鷹班級管理制度
- 日常經營稅務管理制度
- l駕校培訓檔案管理制度
- 各公司造船質量管理制度
- 佐藤大用設計解決問題
- JJG 62-2017 塞尺行業標準
- (高清版)DZT 0017-2023 工程地質鉆探規程
- 三亞夏日星空輕奢民宿
- 建立產科快速反應團隊持續改進產科質量
- 數學與人工智能的模型與算法
- JBT 14437-2023 二氧化碳致裂管 (正式版)
- 《人力資源服務業概論》課件 第1章 人力資源服務業導論
- 養老院護理員禮儀培訓
- 機電安裝工程文明施工環境保護方案
- 產前超聲篩查的質量控制
評論
0/150
提交評論