




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
上海諾勤信息科技有限公司
vBrick虛擬化解決方案上海諾勤信息科技有限公司
vBrick虛擬化解決方案1vBrick
虛擬化解決方案 ——面向中型和中小型商業企業客戶成熟的整合解決方案
CISCOUCS服務器
VmwarevSphere
vBrick-0:入門級虛擬化產品打包,適用于3-6臺物理服務器需求量的企業客戶;vBrick-1:物理服務器數量不足20臺的小型IT環境;vBrick-2:物理服務器數量在20臺-50臺,要求最大限度減少停機、保護數據,提供卓越應用程序可用性的IT環境;vBrick-3:全套的VMwarevSphere功能需求。EMCCLARiiON存儲vBrick虛擬化解決方案成熟的整合解決方案2CISCOUCSC系列服務器EMCCLARiiON存儲為機架式服務器提供了擴展統一計算的創新特性和優勢;首款內置了可于未來遷移到統一計算路徑的機架式服務器;在用戶熟悉的機架式服務器環境中為客戶提供更多選擇和獨特優勢;每款產品都能通過各種處理能力、內存、I/O和內部存儲資源的組合,來滿足不同的工作負載需求。為分支、中小型和中型公司帶來易于使用、價格合理的網絡存儲;經過Vmware認證的解決方案;“五個9”的可用性,將經驗證的可靠性與簡單的安裝和管理功能結合在一起;提供了雙協議、可在線擴展的連接選項以及集成未來技術的能力;保護數據免受意外事件影響,并減少能耗。C200C210C250C460AX4CX4-120CISCOUCSC系列服務器EMCCLARiiON存3VMwareESXi/ESXWindowsServer2008R2Hyper-V磁盤占用空間70MB2GB以上(ServerCore),10GB完整安裝獨立于操作系統不依賴通用操作系統依賴父分區中的Windows2008加強型驅動程序針對硬件供應商進行優化通用Windows驅動程序高級內存管理能夠回收未使用的內存、消除重復內存頁或壓縮內存頁不能回收未使用的內存、消除重復內存頁或壓縮內存頁高級存儲管理VMwarevStorageVMFS、StoragevMotion缺乏集成的集群文件系統,無實時存儲遷移高I/O可擴展性直接驅動程序模型父級操作系統中存在I/O瓶頸主機資源管理網絡流量調整,按虛擬機的資源份額、設定存儲和網絡I/O的服務質量優先級缺少類似功能性能增強IntelEPT大內存頁、通過8路vSMP、VMI半虛擬化等僅在WindowsServer2008和Windows7虛擬機上支持大內存頁、4路vSMP虛擬安全技術VMwareVmsafe安全性API沒有同類技術靈活的資源分配熱添加虛擬機虛擬CPU和內存、VMFS卷增長、熱擴展虛擬磁盤、熱添加虛擬磁盤僅支持熱添加虛擬磁盤VMwareESXi/ESXWindowsServer4系統組成
VMware
Cisco
EmcvBrick虛擬化解決方案1系統組成
VMware
Cisco
EmcvBric5CPUPoolMemoryPoolInterconnectPoolStoragePoolVMWarevSphereCiscoUCSCorBSeries資源池:CPU,內存和接口EMC存儲資源池:存儲新一代虛擬化數據中心解決方案:簡單,自動化,成本效益動態和靈活支持業務敏捷性vBrick虛擬化系統拓撲CPUPoolMemoryPoolInterconnec6FC存儲陣列iSCSI存儲陣列NAS存儲陣列VirtualCenter管理服務器VIClient圖形終端FC交換機FabricIP網絡ESX/ESXiVMVMVMVMVM服務器群1服務器群2服務器群3Web瀏覽器虛擬化數據中心物理拓撲FC存儲陣列iSCSINASVirtualCenterVI圖7諾勤vBrick虛擬化解決方案課件8C200M1/M2C210M1/M2C250M1/M2C460M1適用環境1RU服務器適用于生產級網絡基礎設施、Web服務,以及主流數據中心、分支機構和遠程辦公室應用。2RU服務器通用機架式服務器,均衡性能、密度和效率,專為大容量存儲工作負載而設計,適用于網絡文件服務器和設備、存儲服務器、數據庫服務器以及內容交付服務器等應用。2RU服務器高性能、大容量內存服務器,旨在提高要求嚴格的虛擬化應用和大型數據工作負載的性能和容量。4RU服務器高性能海量處理服務器,適用于企業關健應用和大量應用融合。CPU最大2個IntelXeon5500or5600處理器最大4個IntelXeon7500處理器內存最大96GB最大384GB最大512GB內部硬盤最大4塊最大16塊最大8塊最大12塊集成RAIDRAID-0/1可選RAIDRAID-0/1/5/6/10RAID-0/1/5/6/10/60,支持兩塊LSIMegaRAID控制器RAID-0/1/5/6/10RAID-0/1/5/6/10集成網絡雙端口千兆雙端口千兆四端口千兆雙端口千兆,雙端口萬兆I/O2slots,PCIeX85slots,PCIeX85slots:10slots:CISCOUCSC系列
統一計算C200M1/M2C210M1/M2C250M1/M29
可擴展的入門級存儲600GB
60TB*
正面,含面板背面,電源和控制器正面,硬盤最大5盤柜,滿足高級需求的高增長環境單盤柜,入門級存儲單盤柜至5盤柜單盤柜支持12個熱插撥驅動器,2RU;5盤柜最大支持60個熱插撥驅動器;支持混合使用SAS和SATA驅動器。RAID級別RAID-0/1、RAID-3、RAID-5、RAID-6。低成本和高可擴展性單控制器:為應用程序和各種數據歸檔任務提供經濟的存儲平臺;雙控制器:為業務關鍵型數據和應用程序提供優異的可用性、連接性和性能。系統連接性單個控制器支持4個4GB光端口或2個1GBiSCSI以太網端口;在SAN交換機環境下,可為64個主機提供整合存儲。硬盤支持SAS3Gb/s:146GB/15K,300GB/15K,450GB/15K,600GB/15KSATA3Gb/s:1TB,2TB支持混合使用SAS和SATA驅動器數據可用性和可靠性99.999%的可用性;針對雙控制器機型的高效鏡像緩存設計;連續的后臺磁盤一致性檢查,實現端到端的數據完整性;全局熱備技術,簡化管理和重建功能。EMCCLARiiONAX4存儲系統可擴展的入門級存儲600GB60TB*正面,含面板10核心組件存儲處理器箱(SPE),2RU雙存儲處理器體系,6GB緩存4個電源和冷卻組件I/O連接能力4個4Gb/s光纖通道和4個1Gb/s以太網iSCSI端口4個8Gb/s光纖通道和4個1Gb/s以太網iSCSI端口4個8Gb/s光纖通道和4個10Gb/s以太網iSCSI端口RAID級別:RAID-0/1/10/3/5/64Gb/sUltraPoint磁盤陣列機箱(DAE),3RU單個DAU支持15個驅動器光纖通道硬盤4Gb/s:146GB/15K、300GB/15K、450GB/10K、450GB/15K、600GB/10K、600GB/15KSATA硬盤4Gb/s:1TB、2TB雙備用電池(SPS),1RU存儲配置:1臺存儲處理器箱+1至8臺磁盤陣列機箱SPE正面,電源和風扇SPE背面,接口DAE正面DAE背面EMCCLARiiONCX4-120存儲系統核心組件SPE正面,電源和風扇SPE背面,接口DAE正面DA11
2VMware功能應用vBrick虛擬化解決方案2VMware功能12VMwarevCenterServer虛擬機管理管理VMwarevSphere虛擬機最簡單、最有效的工具提高在虛擬基礎架構每個級別上的集中控制和可見性,深入了解虛擬基礎架構通過主動管理釋放vSphere潛能可擴展的管理平臺,集中管理分布式資源,單個vCenter實例可管理多達300臺主機和3000個虛擬機主機監控和虛擬機管理監控物理主機的系統主板、風扇、電源等資源,并在發生硬件故障時了出警報提供物理服務器和虛擬服務器健康善的綜合視圖可見性深入了解各個級別的虛擬化架構擴展性集中化管理分布資源自動化主動管理虛擬機VMwarevCenterServer通過VCAgent向虛擬機部署VMwarevCenterServer虛擬機管理管理V13精簡部署ThinProvisioning通過利用動態存儲減少存儲需求,能夠擴展以滿足虛擬機的要求,且不會造成性能下降。vCenterESXi虛擬機磁盤僅占用正在使用的物理磁盤空間虛擬機始終可以看到完整的
邏輯磁盤大小對資源分配和消耗的完整報告和警報顯著提高存儲利用率減少對虛擬磁盤的過度調配存儲成本的減少幅度可達50%ESX操作系統應用程序操作系統應用程序操作系統應用程序數據存儲區Datastor虛擬磁盤.vmdk20GB40GB20GB20GB60GB20GB100GB密集型精簡型精簡型40GB100GB精簡部署ThinProvisioning通過利用動態存儲14UpdateManager通過自動跟蹤、更新vSphere主機以及虛擬機的應用程序和操作系統并應用補丁程序,減少日常補救所花費的時間。vCenterEssentialsUpdate
Manager無需對
ESX
Server
主機和虛擬機修補
程序級別進行手動跟蹤自動執行修補程序標準通過快照和虛擬機離線修補降低風險為
ESX
Server
主機以及選定的
Microsoft
和
RHEL
虛擬機自動執行修補程序管理掃描并修補在線和離線的虛擬機*,以及在線的ESXServer主機在修補之前拍攝虛擬機快照,并允許虛擬機回滾到快照系統需要更新離線UpdateManager通過自動跟蹤、更新vSphere15VMSafe??vCenterEssentials保護引擎VMwarevSphere?API通過檢查與管理程序一起使用的虛擬組件來保護虛擬機將保護引擎與惡意軟件隔離廣泛的覆蓋范圍,包括虛擬機CPU、內存、存儲器和網絡應用程序操作系統VMSafe??vCenter保護引擎VMwarevSph16用戶數據保護的vStorageAPIs通過利用這些API的受支持第三方備份軟件實現可擴展的備份,而不會給應用程序或用戶造成中斷。通過此集成,受支持的第三方備份軟件可以執行集中式虛擬機備份,而沒有在每個虛擬機中運行備份任務所造成的中斷和開銷。vCenterEssentialsVMwareConsolidatedBackup的新一代發展用于虛擬機的集中式脫離主機備份備份服務器上無額外軟件支持虛擬機的增量、差異和完整映像備份和恢復為Windows和Linux虛擬機提供文件級備份支持提供不會對VMwareESX造成負載的高效備份用戶數據保護的vStorageAPIs通過利用這些API的17VCB整合備份功能集中化備份無需代理的虛擬機優勢減少備份代理的數量和成本消除生產虛擬機的備份負載充分利用虛擬機快照和SAN技術和第三方的備份軟件無縫集成任何時候都可以進行備份Centralized
DataMoverVCB整合備份功能任何時候都可以進行備份Centraliz18DataRecovery通過快速的無代理磁盤保護數據,使用重復數據消除最大限度地減少備份磁盤空間的使用量。vCenterStandard操作系統應用程序X虛擬機的無代理、基于磁盤的備份和恢復虛擬機或文件級別的恢復增量備份和消除重復數據以
節約磁盤空間為虛擬機提供快速、簡單和
完整的數據保護通過vCenter實現集中式管理經濟高效的存儲管理消除重復數據存儲設備ESX操作系統應用程序操作系統應用程序DataRecovery通過快速的無代理磁盤保護數據,使用19HighAvailable在物理計算機發生故障后,自動在其他主機上重新啟動虛擬機,最大限度減少停機時間。vCenterEssentialsPlus資源池X客戶優勢對所有的應用實現了高可用性,并且成本很低;不需要完全一致的重復硬件;比傳統的集群有更高的成本優勢,同時易于使用和操作HighAvailable在物理計算機發生故障后,自動在其20熱添加vCenterAdvanced在需要時通過向虛擬機添加CPU和內存來增加容量,而無需中斷或停機。8x4x2x4GHz=256GHz8x32=256GBRAM
4x2x4GHz=32GHz32GBRAMClusterHostVMVMVM會計部門資源池RP4GHz16GBRAMVM財務部資源池RP工資處理虛擬機8GHz32GBRAMVM其它虛擬機x86Server4GHz16GBRAMx86Server4GHz16GBRAMx86Server4GHz16GBRAM虛擬世界物理世界12GHz48GBRAMCluster4GHz16GBRAM4GHz16GBRAM熱添加vCenter在需要時通過向虛擬機添加CPU和內存來增21FaultTolerancevCenterAdvanced在服務器出現故障時提供應用的持續可用性,實現數據零丟失。在不同的主機上同步運行相同的虛擬機出現硬件故障時,所有虛擬機均可實現零宕機時間、零數據損失故障切換零宕機時間、零數據損失無需復雜的集群或專用硬件所有應用程序和操作系統通用的單一機制VMwarevSphere?操作系統應用程序操作系統應用程序操作系統應用程序XFaultTolerancevCenter在服務器出現故障22VMotion通過在主機之間遷移正運行的虛擬機,消除計劃內服務器維護導致的應用程序停機。vCenterAdvanced客戶優勢零宕機時間:進行有計劃的服務器維護和升級遷移工作負載,資源利用率最大化服務器的持續可用性,完整的交易集成支持FibreChannel和iSCSISAN環境以及NAS80%的VMware客戶實施應用了VMotionx86ArchitectureVMwareESXServerx86ArchitectureVMwareESXServerVMotion遷移虛擬機SAN、iSCSI或NAS開始維護開始維護VMotion通過在主機之間遷移正運行的虛擬機,消除計劃內服23StorageVMotion通過跨存儲陣列實時遷移虛擬機磁盤文件,避免計劃內存儲維護造成的應用程序停機。vCenterEnterprise虛擬機磁盤存儲獨立遷移無需虛擬機停機LUN獨立支持光纖通道SAN應用程序操作
系統應用程序操作
系統應用程序操作
系統無中斷:刷新到新陣列
遷移到不同類別的存儲器升級到新文件系統格式虛擬機粒度,LUN獨立維護StorageVMotion通過跨存儲陣列實時遷移虛擬機磁24DistributedResourcesScheduler:DRS通過跨主機自動負載平衡將資源的使用與業務優先級保持一致。vCenterEnterprise跨資源池動態平衡計算資源基于預先設定的規則智能分配資源對客戶的優勢基于業務優先級分配IT資源簡化運行,大幅度提高系統管理員的生產率動態添加硬件資源而避免在繁忙時段服務器的過載動態硬件維護能力資源池業務需求圍繞業務進行組織和規劃…而不是您的硬件!動態、智能地分配硬件資源來滿足業務部門和IT的不同需求DistributedResourcesSchedule25DistributedPowerManagement:DPM通過在低負載期間關閉主機來優化能耗。vCenterEnterpriseVMwareDRS功能的進一步延伸與服務器管理硬件配合實現智能化的電源管理優化虛擬機的實際運行位置,達到耗電最小化的目的可以為大中型計算中心節省大量的電力資源,顯著降低用電成本資源池業務需求下電DistributedPowerManagement:26vNetwork分布式交換機使用集群級別的網絡聚合集中進行資源調配、管理和監視。vCenterEnterprisePlus聚合集群級別虛擬網絡簡化的設置和更改輕松地進行故障排除、監視和調試支持第三方虛擬環境的透明管理操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序VMwarevSphere?vNetwork分布式交換機虛擬交換機虛擬交換機虛擬交換機CiscoNexus1000VvNetwork分布式交換機使用集群級別的網絡聚合集中進27主機配置文件通過從配置模板創建虛擬機,簡化主機部署并實現遵從性。vCenterEnterprisePlusTheESXhostconfigurationhasawidescope,including:Storage–Datastores(VMFS,NFSvolumes),iSCSIinitiatorsandtargets,multipathingNetworking–VirtualSwitch,Portgroups,physicalNICspeed,securityandNICteamingpolices.Licensing–Editionselection,licensekeyinputDNSandRouting–DNSServer,IPdefaultgatewayFirewall–networkportsandsystemservices(sshd,snmpd,CIM,etc.)Processor–usehyperthreadsaslogicalCPUsMemory–ServiceConsolestaticmemorypartitioningConsistentlydeployingstandardESXserversupuntilnowwasonaperhostbasis:ManualviaVIClientorCOScommandsScript-based:COS/post-installscript,Perlscript,etc主機配置文件通過從配置模板創建虛擬機,簡化主機部署并實現遵從28物理服務器向虛擬機遷移使用VMwareConverter在線無縫地將物理系統
轉換為虛擬機Citrix
Metaframe服務器MicrosoftIISWeb服務器MicrosoftSQLServerMicrosoftExchange服務器物理服務器向虛擬機遷移使用VMwareConverter29
3虛擬化解決方案優勢vBrick虛擬化解決方案3虛擬化解決方案優勢30硬件利用率采用VMware虛擬化前采用VMware虛擬化后硬件利用率采用VMware虛擬化前采用VMware虛擬化31IT管理:速度和效率關鍵任務傳統方式虛擬架構部署一個新的服務器3-10
天硬件采購1-4
小時部署5–10分鐘部署新服務器(采用模板和部署向導)硬件維護1-3小時維護窗口數天/周的變更管理準備零宕機硬件升級(采用VMotion?)遷移服務器集成數天/周的變更管理準備1小時左右,采用P2V移動服務器優化負載4-6小時遷移所有維護窗口內,服務中斷數天/數周的變更管理準備2–5分鐘,無服務中斷(采用VMotion?)IT管理:速度和效率關鍵任務傳統方式虛擬架構部署一個新的服務32快速統一部署服務器333服務器替換/年=節省10,000人/小時3-10天硬件采購20-40小時,為一臺服務器安裝操作系統和應用程序…硬件上架及安裝安裝操作系統及補丁配置安全設置,域和用戶權限配置網絡(IP地址,DNS名字等)配置存儲(andSANsettingsifappropriate)安裝必要的系統管理代理、備份代理、和其他必要的系統軟件安裝和配置應用軟件測試應用安排宕機時間/數據遷移15-30分鐘,用模板和自部署向導或拷貝虛擬機,啟動即可把虛擬機拷貝然后重新啟動
[工具已經安裝]
[應用已經安裝,配置]完成整合前整合后依賴硬件可用性易發生人為錯誤標準化困難審核困難需要數天,甚至數周部署挑戰快速統一部署服務器333服務器替換/年=節省10,000人/33整合:服務器、存儲、網絡實現虛擬化之前實施虛擬化之后1,000直連3000線纜/端口200機架400電纜線50分層SAN和NAS300線纜/端口10機架20電纜線服務器存儲網絡設施整合:服務器、存儲、網絡實現虛擬化之前實施虛擬化之后1,0034減少管理費用降低硬件成本減少生產、開發測試、過渡服務器數量經濟的災難恢復撤退out-of-warranty硬件降低運營成本降低系統管理成本降低系統數據中心基礎設施成本硬件費用軟件費用大約30%-70%的降低虛擬架構前虛擬架構后業務管理費用宕機費用IT運維費用減少管理費用降低硬件成本硬件費用軟件費用大約30%-70%35虛擬化最大限度地增加正常運行時間計劃內宕機計劃外宕機網絡冗余StoragevMotionVMotion網卡和HBA
綁定VCBHA虛擬機
故障監視服務器ESX虛擬機操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序互連存儲設備每一個應用似乎都已經熱備了虛擬化最大限度地增加正常運行時間計劃內宕機計劃外宕機網絡冗余36利用DPM(電源優化功能)實現綠色IT操作系統應用程序操作系統應用程序操作系統應用程序集群需要的資源減少時,DPM會將工作負載整合到較少的服務器上將不需要的服務器置于待機模式工作負載需要增加時,再恢復服務器在線狀態ESX現在支持使用IntelSpeedStep/AMDPower對各個主機進行電源優化保證服務級別的同時最大限度減少電力消耗虛擬機不中斷、
不宕機操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序VMwarevSphere?DPM在要求降低時關閉服務器DPM在工作負載增加時恢復服務器在線狀態利用DPM(電源優化功能)實現綠色IT操作系統應用程序操作37DPM可將電力成本進一步降低20%說明:在100臺服務器中,有50臺每個工作日可關閉8小時,周末每天可關閉16小時。服務器平均總能耗(操作耗電+制冷耗電)=1,130.625瓦/小時能源成本=0.0813美元/千瓦小時(資料來源:美國能源信息管理局)DPM可將電力成本進一步降低20%說明:38服務器虛擬的價格降低成本提高響應最大化靈活性通過將整合多個物理服務器到一個物理服務器降低40%軟件硬件成本;整合比:生產環境10-15:1,開發測試環境15-20:1;每個服務器的平均利用率從5%-15%提高到60%-80%;降低70-80%運營成本,包括數據中心空間、機柜、網線,耗電量,冷氣空調和人力成本。部署時間從小時級到分鐘級,服務器重建和應用加載時間從20-40hrs=>15-30min,每年節省10,000人/小時(300臺服務器);以前硬件維護需要之前的數天/周的變更管理準備和1-3小時維護窗口,現在可以進行零宕機硬件維護和升級。幫助您的企業建立業務和IT資源之間的關系,使IT和業務優先級對應;將所有服務器作為大的資源統一進行管理,并按需自動進行動態資源調配;無中斷的按需擴容。節省35%~75%的總體擁有成本服務器虛擬的價格降低成本提高響應最大化靈活性通過將整合多個39
VmwarevSphereIT部門可以快速響應業務部門的需求,盡管需求正變得越來越復雜;虛擬化使硬件基礎架構和IT管理變得越來越簡單,并使IT所倚重的機房、冷卻系統、消防、安防、能源等運維成本不斷降低。協作
更順暢VmwareIT部40優勢的體現,從虛擬化開始VMware
對其產生的影響之后之前10個服務器機架20個電源開關200個服務器機架400個電源開關設施300個電纜/端口3000個電纜/端口網絡140TBSAN和NAS270TBDAS存儲801,000服務器硬件成本節省數據中心空間、電源和冷卻成本減少70-80%兩年節省8百萬美元運營效率服務器重建和應用程序加載從20-40小時減少到15-30分鐘每年節省10,000工時領先的北美公共設施公司優勢的體現,從虛擬化開始VMware對其產生的影響之后之前41用戶的顧慮一:采用虛擬架構后服務器安全嗎?安全因素傳統方式虛擬架構結論對硬件的攻擊網絡連接端口多交換機用的多路由器多防火墻設置復雜網絡連接端口少交換機用的少路由器用的少防火墻設置簡單虛擬架構通過減少物理網絡連接的數量,降低了網絡連接、交換機、路由器以及防火墻等設置的復雜性,減少了通過物理網絡進行攻擊的潛在風險點。對軟件的攻擊服務器多,直接安裝的操作系統實例更多操作系統代碼龐大(超過上千萬條)操作系統的漏洞多操作系統直接承受著惡意攻擊直接安裝在服務器硬件之上的精煉封閉的虛擬化內核,降低了漏洞出現的可能性代碼精煉(20萬條左右)沒有網絡堆棧和用戶登錄,更安全采用Vsphere4的虛擬架構后,所有的虛擬機都是建立在虛擬內核之上的,千錘百煉的精簡內核,遠比主流商業操作系統更為安全。用戶的顧慮一:采用虛擬架構后服務器安全嗎?安全因素傳統方式虛42用戶的顧慮二:采用虛擬架構后服務器穩定嗎?穩定因素傳統方式虛擬架構結論硬件穩定性硬件的穩定性受廠商的質量控制與制造工藝等多種因素有關低端服務器,產品硬件高可用性差硬件的穩定性受廠商的質量控制與制造工藝等多種因素有關,通常采用高端服務器,硬件穩定性遠大于低端產品由于硬件穩定性與軟件無關,采用同樣機型時傳統方式與虛擬架構面臨的風險一樣。采用虛擬化架構后,節省的費用可以用來購買高端的服務器,從而大幅提升硬件穩定性。十輛夏利會比一個寶馬安全嗎?軟件穩定性主流操作系統大都有幾百萬條到幾千萬條代碼,代碼越多,Bug也越多,補丁越多,甚至補丁落補丁精煉的虛擬化內核只有操作系統代碼量的十幾分之一,只完成最基本的硬件資源調度和指令翻譯工作軟件的穩定性是越往上層越差,越靠近硬件系統越好。虛擬化內核〉操作系統〉數據庫〉應用程序用戶的顧慮二:采用虛擬架構后服務器穩定嗎?穩定因素傳統方式虛43用戶的顧慮三:采用虛擬架構后服務器出現問題好恢復嗎?恢復因素傳統方式虛擬架構結論硬件問題的可恢復性硬件毀壞,需要停機、換配件,或重新購機、裝OS、裝驅動、裝應用等如果沒有采用集群技術,會造成應用停止、業務中斷即使做了Ghost鏡像,也只能恢復在同樣的機型中虛擬機的檔案文件封裝性使得系統的恢復可以在十幾分鐘,甚至幾分鐘內完成虛擬機可動態遷移到其他正常的物理服務器上虛擬機可恢復到不同的物理服務器上可在不中斷應用的情況下恢復在發生硬件問題后,虛擬架構遠比傳統方式更能保證應用的連續運行,可使業務不中斷,且能更快速的恢復軟件問題的可恢復性軟件故障需要故障診斷、檢查驅動、重裝應用甚至是OS如果沒有采用集群技術會造成應用停止、業務中即使做了Ghost鏡像,也只能恢復在同樣的機型中虛擬機的檔案文件封裝性使得系統的恢復可以在十幾分鐘,甚至幾分鐘內完成通過虛擬機快照技術,可實現快速備份,快速恢復可在不中斷應用的情況下恢復在發生軟件問題后,虛擬架構遠比傳統方式更能保證應用的連續運行,可使業務不中斷,且能更快速的恢復用戶的顧慮三:采用虛擬架構后服務器出現問題好恢復嗎?恢復因素44用戶的顧慮四:采用虛擬架構后服務器性能會受影響嗎?性能因素傳統方式虛擬架構結論應用部署方式單一服務器部署單一應用,同樣配置服務器部署不同應用,有的撐死,有的餓死虛擬機的資源可由虛擬內核動態調配,保證應用在最合適的時候用到最合理的資源虛擬架構最大程度的保證了個體應用的性能,且能隨應用訪問的情況來適時調整資源,物盡其用系統資源的占用沒有額外的占用,但卻浪費了大量的資源,且不能供其他資源緊缺型應用使用虛擬化內核只占用了極少的系統資源用于全部資源的調配單一服務器上的多個虛擬機提高了系統資源利用率虛擬架構大幅提高系統整體利用率,丟了芝麻撿到了西瓜對于資源特別敏感型的應用也可采用資源固定的方式,完全達到傳統單機的使用效果用戶的顧慮四:采用虛擬架構后服務器性能會受影響嗎?性能因素傳45謝謝支持
vBrick虛擬化解決方案上海諾勤信息科技有限公司謝謝支持
vBrick虛擬化解決方案上海諾勤信息科技有限公46上海諾勤信息科技有限公司
vBrick虛擬化解決方案上海諾勤信息科技有限公司
vBrick虛擬化解決方案47vBrick
虛擬化解決方案 ——面向中型和中小型商業企業客戶成熟的整合解決方案
CISCOUCS服務器
VmwarevSphere
vBrick-0:入門級虛擬化產品打包,適用于3-6臺物理服務器需求量的企業客戶;vBrick-1:物理服務器數量不足20臺的小型IT環境;vBrick-2:物理服務器數量在20臺-50臺,要求最大限度減少停機、保護數據,提供卓越應用程序可用性的IT環境;vBrick-3:全套的VMwarevSphere功能需求。EMCCLARiiON存儲vBrick虛擬化解決方案成熟的整合解決方案48CISCOUCSC系列服務器EMCCLARiiON存儲為機架式服務器提供了擴展統一計算的創新特性和優勢;首款內置了可于未來遷移到統一計算路徑的機架式服務器;在用戶熟悉的機架式服務器環境中為客戶提供更多選擇和獨特優勢;每款產品都能通過各種處理能力、內存、I/O和內部存儲資源的組合,來滿足不同的工作負載需求。為分支、中小型和中型公司帶來易于使用、價格合理的網絡存儲;經過Vmware認證的解決方案;“五個9”的可用性,將經驗證的可靠性與簡單的安裝和管理功能結合在一起;提供了雙協議、可在線擴展的連接選項以及集成未來技術的能力;保護數據免受意外事件影響,并減少能耗。C200C210C250C460AX4CX4-120CISCOUCSC系列服務器EMCCLARiiON存49VMwareESXi/ESXWindowsServer2008R2Hyper-V磁盤占用空間70MB2GB以上(ServerCore),10GB完整安裝獨立于操作系統不依賴通用操作系統依賴父分區中的Windows2008加強型驅動程序針對硬件供應商進行優化通用Windows驅動程序高級內存管理能夠回收未使用的內存、消除重復內存頁或壓縮內存頁不能回收未使用的內存、消除重復內存頁或壓縮內存頁高級存儲管理VMwarevStorageVMFS、StoragevMotion缺乏集成的集群文件系統,無實時存儲遷移高I/O可擴展性直接驅動程序模型父級操作系統中存在I/O瓶頸主機資源管理網絡流量調整,按虛擬機的資源份額、設定存儲和網絡I/O的服務質量優先級缺少類似功能性能增強IntelEPT大內存頁、通過8路vSMP、VMI半虛擬化等僅在WindowsServer2008和Windows7虛擬機上支持大內存頁、4路vSMP虛擬安全技術VMwareVmsafe安全性API沒有同類技術靈活的資源分配熱添加虛擬機虛擬CPU和內存、VMFS卷增長、熱擴展虛擬磁盤、熱添加虛擬磁盤僅支持熱添加虛擬磁盤VMwareESXi/ESXWindowsServer50系統組成
VMware
Cisco
EmcvBrick虛擬化解決方案1系統組成
VMware
Cisco
EmcvBric51CPUPoolMemoryPoolInterconnectPoolStoragePoolVMWarevSphereCiscoUCSCorBSeries資源池:CPU,內存和接口EMC存儲資源池:存儲新一代虛擬化數據中心解決方案:簡單,自動化,成本效益動態和靈活支持業務敏捷性vBrick虛擬化系統拓撲CPUPoolMemoryPoolInterconnec52FC存儲陣列iSCSI存儲陣列NAS存儲陣列VirtualCenter管理服務器VIClient圖形終端FC交換機FabricIP網絡ESX/ESXiVMVMVMVMVM服務器群1服務器群2服務器群3Web瀏覽器虛擬化數據中心物理拓撲FC存儲陣列iSCSINASVirtualCenterVI圖53諾勤vBrick虛擬化解決方案課件54C200M1/M2C210M1/M2C250M1/M2C460M1適用環境1RU服務器適用于生產級網絡基礎設施、Web服務,以及主流數據中心、分支機構和遠程辦公室應用。2RU服務器通用機架式服務器,均衡性能、密度和效率,專為大容量存儲工作負載而設計,適用于網絡文件服務器和設備、存儲服務器、數據庫服務器以及內容交付服務器等應用。2RU服務器高性能、大容量內存服務器,旨在提高要求嚴格的虛擬化應用和大型數據工作負載的性能和容量。4RU服務器高性能海量處理服務器,適用于企業關健應用和大量應用融合。CPU最大2個IntelXeon5500or5600處理器最大4個IntelXeon7500處理器內存最大96GB最大384GB最大512GB內部硬盤最大4塊最大16塊最大8塊最大12塊集成RAIDRAID-0/1可選RAIDRAID-0/1/5/6/10RAID-0/1/5/6/10/60,支持兩塊LSIMegaRAID控制器RAID-0/1/5/6/10RAID-0/1/5/6/10集成網絡雙端口千兆雙端口千兆四端口千兆雙端口千兆,雙端口萬兆I/O2slots,PCIeX85slots,PCIeX85slots:10slots:CISCOUCSC系列
統一計算C200M1/M2C210M1/M2C250M1/M255
可擴展的入門級存儲600GB
60TB*
正面,含面板背面,電源和控制器正面,硬盤最大5盤柜,滿足高級需求的高增長環境單盤柜,入門級存儲單盤柜至5盤柜單盤柜支持12個熱插撥驅動器,2RU;5盤柜最大支持60個熱插撥驅動器;支持混合使用SAS和SATA驅動器。RAID級別RAID-0/1、RAID-3、RAID-5、RAID-6。低成本和高可擴展性單控制器:為應用程序和各種數據歸檔任務提供經濟的存儲平臺;雙控制器:為業務關鍵型數據和應用程序提供優異的可用性、連接性和性能。系統連接性單個控制器支持4個4GB光端口或2個1GBiSCSI以太網端口;在SAN交換機環境下,可為64個主機提供整合存儲。硬盤支持SAS3Gb/s:146GB/15K,300GB/15K,450GB/15K,600GB/15KSATA3Gb/s:1TB,2TB支持混合使用SAS和SATA驅動器數據可用性和可靠性99.999%的可用性;針對雙控制器機型的高效鏡像緩存設計;連續的后臺磁盤一致性檢查,實現端到端的數據完整性;全局熱備技術,簡化管理和重建功能。EMCCLARiiONAX4存儲系統可擴展的入門級存儲600GB60TB*正面,含面板56核心組件存儲處理器箱(SPE),2RU雙存儲處理器體系,6GB緩存4個電源和冷卻組件I/O連接能力4個4Gb/s光纖通道和4個1Gb/s以太網iSCSI端口4個8Gb/s光纖通道和4個1Gb/s以太網iSCSI端口4個8Gb/s光纖通道和4個10Gb/s以太網iSCSI端口RAID級別:RAID-0/1/10/3/5/64Gb/sUltraPoint磁盤陣列機箱(DAE),3RU單個DAU支持15個驅動器光纖通道硬盤4Gb/s:146GB/15K、300GB/15K、450GB/10K、450GB/15K、600GB/10K、600GB/15KSATA硬盤4Gb/s:1TB、2TB雙備用電池(SPS),1RU存儲配置:1臺存儲處理器箱+1至8臺磁盤陣列機箱SPE正面,電源和風扇SPE背面,接口DAE正面DAE背面EMCCLARiiONCX4-120存儲系統核心組件SPE正面,電源和風扇SPE背面,接口DAE正面DA57
2VMware功能應用vBrick虛擬化解決方案2VMware功能58VMwarevCenterServer虛擬機管理管理VMwarevSphere虛擬機最簡單、最有效的工具提高在虛擬基礎架構每個級別上的集中控制和可見性,深入了解虛擬基礎架構通過主動管理釋放vSphere潛能可擴展的管理平臺,集中管理分布式資源,單個vCenter實例可管理多達300臺主機和3000個虛擬機主機監控和虛擬機管理監控物理主機的系統主板、風扇、電源等資源,并在發生硬件故障時了出警報提供物理服務器和虛擬服務器健康善的綜合視圖可見性深入了解各個級別的虛擬化架構擴展性集中化管理分布資源自動化主動管理虛擬機VMwarevCenterServer通過VCAgent向虛擬機部署VMwarevCenterServer虛擬機管理管理V59精簡部署ThinProvisioning通過利用動態存儲減少存儲需求,能夠擴展以滿足虛擬機的要求,且不會造成性能下降。vCenterESXi虛擬機磁盤僅占用正在使用的物理磁盤空間虛擬機始終可以看到完整的
邏輯磁盤大小對資源分配和消耗的完整報告和警報顯著提高存儲利用率減少對虛擬磁盤的過度調配存儲成本的減少幅度可達50%ESX操作系統應用程序操作系統應用程序操作系統應用程序數據存儲區Datastor虛擬磁盤.vmdk20GB40GB20GB20GB60GB20GB100GB密集型精簡型精簡型40GB100GB精簡部署ThinProvisioning通過利用動態存儲60UpdateManager通過自動跟蹤、更新vSphere主機以及虛擬機的應用程序和操作系統并應用補丁程序,減少日常補救所花費的時間。vCenterEssentialsUpdate
Manager無需對
ESX
Server
主機和虛擬機修補
程序級別進行手動跟蹤自動執行修補程序標準通過快照和虛擬機離線修補降低風險為
ESX
Server
主機以及選定的
Microsoft
和
RHEL
虛擬機自動執行修補程序管理掃描并修補在線和離線的虛擬機*,以及在線的ESXServer主機在修補之前拍攝虛擬機快照,并允許虛擬機回滾到快照系統需要更新離線UpdateManager通過自動跟蹤、更新vSphere61VMSafe??vCenterEssentials保護引擎VMwarevSphere?API通過檢查與管理程序一起使用的虛擬組件來保護虛擬機將保護引擎與惡意軟件隔離廣泛的覆蓋范圍,包括虛擬機CPU、內存、存儲器和網絡應用程序操作系統VMSafe??vCenter保護引擎VMwarevSph62用戶數據保護的vStorageAPIs通過利用這些API的受支持第三方備份軟件實現可擴展的備份,而不會給應用程序或用戶造成中斷。通過此集成,受支持的第三方備份軟件可以執行集中式虛擬機備份,而沒有在每個虛擬機中運行備份任務所造成的中斷和開銷。vCenterEssentialsVMwareConsolidatedBackup的新一代發展用于虛擬機的集中式脫離主機備份備份服務器上無額外軟件支持虛擬機的增量、差異和完整映像備份和恢復為Windows和Linux虛擬機提供文件級備份支持提供不會對VMwareESX造成負載的高效備份用戶數據保護的vStorageAPIs通過利用這些API的63VCB整合備份功能集中化備份無需代理的虛擬機優勢減少備份代理的數量和成本消除生產虛擬機的備份負載充分利用虛擬機快照和SAN技術和第三方的備份軟件無縫集成任何時候都可以進行備份Centralized
DataMoverVCB整合備份功能任何時候都可以進行備份Centraliz64DataRecovery通過快速的無代理磁盤保護數據,使用重復數據消除最大限度地減少備份磁盤空間的使用量。vCenterStandard操作系統應用程序X虛擬機的無代理、基于磁盤的備份和恢復虛擬機或文件級別的恢復增量備份和消除重復數據以
節約磁盤空間為虛擬機提供快速、簡單和
完整的數據保護通過vCenter實現集中式管理經濟高效的存儲管理消除重復數據存儲設備ESX操作系統應用程序操作系統應用程序DataRecovery通過快速的無代理磁盤保護數據,使用65HighAvailable在物理計算機發生故障后,自動在其他主機上重新啟動虛擬機,最大限度減少停機時間。vCenterEssentialsPlus資源池X客戶優勢對所有的應用實現了高可用性,并且成本很低;不需要完全一致的重復硬件;比傳統的集群有更高的成本優勢,同時易于使用和操作HighAvailable在物理計算機發生故障后,自動在其66熱添加vCenterAdvanced在需要時通過向虛擬機添加CPU和內存來增加容量,而無需中斷或停機。8x4x2x4GHz=256GHz8x32=256GBRAM
4x2x4GHz=32GHz32GBRAMClusterHostVMVMVM會計部門資源池RP4GHz16GBRAMVM財務部資源池RP工資處理虛擬機8GHz32GBRAMVM其它虛擬機x86Server4GHz16GBRAMx86Server4GHz16GBRAMx86Server4GHz16GBRAM虛擬世界物理世界12GHz48GBRAMCluster4GHz16GBRAM4GHz16GBRAM熱添加vCenter在需要時通過向虛擬機添加CPU和內存來增67FaultTolerancevCenterAdvanced在服務器出現故障時提供應用的持續可用性,實現數據零丟失。在不同的主機上同步運行相同的虛擬機出現硬件故障時,所有虛擬機均可實現零宕機時間、零數據損失故障切換零宕機時間、零數據損失無需復雜的集群或專用硬件所有應用程序和操作系統通用的單一機制VMwarevSphere?操作系統應用程序操作系統應用程序操作系統應用程序XFaultTolerancevCenter在服務器出現故障68VMotion通過在主機之間遷移正運行的虛擬機,消除計劃內服務器維護導致的應用程序停機。vCenterAdvanced客戶優勢零宕機時間:進行有計劃的服務器維護和升級遷移工作負載,資源利用率最大化服務器的持續可用性,完整的交易集成支持FibreChannel和iSCSISAN環境以及NAS80%的VMware客戶實施應用了VMotionx86ArchitectureVMwareESXServerx86ArchitectureVMwareESXServerVMotion遷移虛擬機SAN、iSCSI或NAS開始維護開始維護VMotion通過在主機之間遷移正運行的虛擬機,消除計劃內服69StorageVMotion通過跨存儲陣列實時遷移虛擬機磁盤文件,避免計劃內存儲維護造成的應用程序停機。vCenterEnterprise虛擬機磁盤存儲獨立遷移無需虛擬機停機LUN獨立支持光纖通道SAN應用程序操作
系統應用程序操作
系統應用程序操作
系統無中斷:刷新到新陣列
遷移到不同類別的存儲器升級到新文件系統格式虛擬機粒度,LUN獨立維護StorageVMotion通過跨存儲陣列實時遷移虛擬機磁70DistributedResourcesScheduler:DRS通過跨主機自動負載平衡將資源的使用與業務優先級保持一致。vCenterEnterprise跨資源池動態平衡計算資源基于預先設定的規則智能分配資源對客戶的優勢基于業務優先級分配IT資源簡化運行,大幅度提高系統管理員的生產率動態添加硬件資源而避免在繁忙時段服務器的過載動態硬件維護能力資源池業務需求圍繞業務進行組織和規劃…而不是您的硬件!動態、智能地分配硬件資源來滿足業務部門和IT的不同需求DistributedResourcesSchedule71DistributedPowerManagement:DPM通過在低負載期間關閉主機來優化能耗。vCenterEnterpriseVMwareDRS功能的進一步延伸與服務器管理硬件配合實現智能化的電源管理優化虛擬機的實際運行位置,達到耗電最小化的目的可以為大中型計算中心節省大量的電力資源,顯著降低用電成本資源池業務需求下電DistributedPowerManagement:72vNetwork分布式交換機使用集群級別的網絡聚合集中進行資源調配、管理和監視。vCenterEnterprisePlus聚合集群級別虛擬網絡簡化的設置和更改輕松地進行故障排除、監視和調試支持第三方虛擬環境的透明管理操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序VMwarevSphere?vNetwork分布式交換機虛擬交換機虛擬交換機虛擬交換機CiscoNexus1000VvNetwork分布式交換機使用集群級別的網絡聚合集中進73主機配置文件通過從配置模板創建虛擬機,簡化主機部署并實現遵從性。vCenterEnterprisePlusTheESXhostconfigurationhasawidescope,including:Storage–Datastores(VMFS,NFSvolumes),iSCSIinitiatorsandtargets,multipathingNetworking–VirtualSwitch,Portgroups,physicalNICspeed,securityandNICteamingpolices.Licensing–Editionselection,licensekeyinputDNSandRouting–DNSServer,IPdefaultgatewayFirewall–networkportsandsystemservices(sshd,snmpd,CIM,etc.)Processor–usehyperthreadsaslogicalCPUsMemory–ServiceConsolestaticmemorypartitioningConsistentlydeployingstandardESXserversupuntilnowwasonaperhostbasis:ManualviaVIClientorCOScommandsScript-based:COS/post-installscript,Perlscript,etc主機配置文件通過從配置模板創建虛擬機,簡化主機部署并實現遵從74物理服務器向虛擬機遷移使用VMwareConverter在線無縫地將物理系統
轉換為虛擬機Citrix
Metaframe服務器MicrosoftIISWeb服務器MicrosoftSQLServerMicrosoftExchange服務器物理服務器向虛擬機遷移使用VMwareConverter75
3虛擬化解決方案優勢vBrick虛擬化解決方案3虛擬化解決方案優勢76硬件利用率采用VMware虛擬化前采用VMware虛擬化后硬件利用率采用VMware虛擬化前采用VMware虛擬化77IT管理:速度和效率關鍵任務傳統方式虛擬架構部署一個新的服務器3-10
天硬件采購1-4
小時部署5–10分鐘部署新服務器(采用模板和部署向導)硬件維護1-3小時維護窗口數天/周的變更管理準備零宕機硬件升級(采用VMotion?)遷移服務器集成數天/周的變更管理準備1小時左右,采用P2V移動服務器優化負載4-6小時遷移所有維護窗口內,服務中斷數天/數周的變更管理準備2–5分鐘,無服務中斷(采用VMotion?)IT管理:速度和效率關鍵任務傳統方式虛擬架構部署一個新的服務78快速統一部署服務器333服務器替換/年=節省10,000人/小時3-10天硬件采購20-40小時,為一臺服務器安裝操作系統和應用程序…硬件上架及安裝安裝操作系統及補丁配置安全設置,域和用戶權限配置網絡(IP地址,DNS名字等)配置存儲(andSANsettingsifappropriate)安裝必要的系統管理代理、備份代理、和其他必要的系統軟件安裝和配置應用軟件測試應用安排宕機時間/數據遷移15-30分鐘,用模板和自部署向導或拷貝虛擬機,啟動即可把虛擬機拷貝然后重新啟動
[工具已經安裝]
[應用已經安裝,配置]完成整合前整合后依賴硬件可用性易發生人為錯誤標準化困難審核困難需要數天,甚至數周部署挑戰快速統一部署服務器333服務器替換/年=節省10,000人/79整合:服務器、存儲、網絡實現虛擬化之前實施虛擬化之后1,000直連3000線纜/端口200機架400電纜線50分層SAN和NAS300線纜/端口10機架20電纜線服務器存儲網絡設施整合:服務器、存儲、網絡實現虛擬化之前實施虛擬化之后1,0080減少管理費用降低硬件成本減少生產、開發測試、過渡服務器數量經濟的災難恢復撤退out-of-warranty硬件降低運營成本降低系統管理成本降低系統數據中心基礎設施成本硬件費用軟件費用大約30%-70%的降低虛擬架構前虛擬架構后業務管理費用宕機費用IT運維費用減少管理費用降低硬件成本硬件費用軟件費用大約30%-70%81虛擬化最大限度地增加正常運行時間計劃內宕機計劃外宕機網絡冗余StoragevMotionVMotion網卡和HBA
綁定VCBHA虛擬機
故障監視服務器ESX虛擬機操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序互連存儲設備每一個應用似乎都已經熱備了虛擬化最大限度地增加正常運行時間計劃內宕機計劃外宕機網絡冗余82利用DPM(電源優化功能)實現綠色IT操作系統應用程序操作系統應用程序操作系統應用程序集群需要的資源減少時,DPM會將工作負載整合到較少的服務器上將不需要的服務器置于待機模式工作負載需要增加時,再恢復服務器在線狀態ESX現在支持使用IntelSpeedStep/AMDPower對各個主機進行電源優化保證服務級別的同時最大限度減少電力消耗虛擬機不中斷、
不宕機操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序操作系統應用程序VMwarevSphere?DPM在要求降低時關閉服務器DPM在工作負載增加時恢復服務器在線狀態利用DPM(電源優化功能)實現綠色IT操作系統應用程序操作83DPM可將電力成本進一步降低20%說明:在100臺服務器中,有50臺每個工作日可關閉8小時,周末每天可關閉16小時。服務器平均總能耗(操作耗電+制冷耗電)=1,130.625瓦/小時能源成本=0.0813美元/千瓦小時(資料來源:美國能源信息管理局)DPM可將電力成本進一步降低20%說明:84服務器
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年互聯網金融平臺合規整改合規監管政策與可持續發展合規體系優化策略研究報告
- 人教版必修第一冊 Welcome unit Reading閱讀課件
- Exemestane-d4-FCE-24304-d-sub-4-sub-生命科學試劑-MCE
- RB8技術研發進展
- 工作成癮癥自我疏導法
- 畢業設計(論文)-心形鬧鐘后蓋注塑模設計
- 食品風味多維解析技術-洞察及研究
- 老舊小區改造效益-洞察及研究
- 關于心理健康的論文參考文獻
- 綠色包裝材料創新-第3篇-洞察及研究
- 個人外匯管理業務培訓(共73頁).ppt
- 《湖北省中小學生命安全教育課程標準》
- (完整)初中物理電學中常見的列方程計算歸類
- 吊籃專項施工方案技術交底
- 畢業設計-階梯軸的工藝系統設計
- 托架預壓方案
- 建工集團有限責任公司科技委員會章程
- 高級會計師考試試題及答案解析
- 路基土石方填筑首件工程總結
- 五年級下冊數學分數計算題(精選)
- 基于PLC自動門控制設計
評論
0/150
提交評論