PAGEvDATE\@"MMMMd,yyyy"August27,2022 CONFIDENTIAL&PROPRIETARY PAGE21ClusterMode建設方案ClusterMode建設方案Allrightsreserved本文檔包含NetApp公司的商業(yè)及技術(shù)機密。Allrightsreserved本文檔包含NetApp公司的商業(yè)及技術(shù)機密。未經(jīng)NetApp公司許可，不得向第三方泄漏或使用。DATE\@"MMMMd,yyyy"August27,2022 CONFIDENTIAL&PROPRIETARY PAGE5 目錄TOC\o"1-5"\h\z\u1. ClusterMode概述 32. NetAppClusterMode設計要點 43. NetAppClusterMode技術(shù)要點 54. NetAppClusterMode解決方案概述 74.1DataONTAPONTAP8CLUSTERMODE統(tǒng)一管理和監(jiān)控 74.2ONTAP8CLUSTERMODE統(tǒng)一命名空間 84.3DataONTAPONTAP8CLUSTERMODE存儲資源全局化、自動化、透明化、最優(yōu)化分配 94.4ONTAP8CLUSTERMODE性能和存儲容量的線性擴展 104.5ONTAP8CLUSTERMODE自動糾錯 124.6NetAppONTAP8CLUSTERMODEClusterMode解決方案優(yōu)勢 134.7結(jié)合服務器物擬化／集群技術(shù)構(gòu)建ClusterMode平臺 144.8ClusterMode環(huán)境建設的幾點建議 165. XXClusterMode環(huán)境說明 175.1計算資源實現(xiàn)方式 175.2存儲協(xié)議選擇 185.3存儲資源管理 185.4ClusterMode下數(shù)據(jù)保護功能 195.5設備利舊 20

ClusterMode概述所謂的ClusterMode，事實上更多的是在強調(diào)針對高性能計算方面的能力。相較傳統(tǒng)NAS來說，具有更好的擴展能力，以及對非結(jié)構(gòu)化數(shù)據(jù)的有效管理。拋開計算性能與擴展能力暫且不提，僅談論對非結(jié)構(gòu)化數(shù)據(jù)的管理，也是近年來眾多存儲廠商所一致關(guān)心的市場，而非只有NAS.因為種種原因，如易管理性、成本性等，讓NAS在這個市場變得有著非常巨大的潛力。

ClusterMode將高性能的NAS計算資源集中起來，并由軟件實現(xiàn)自動管理。這使得應用提供者無需為繁瑣的存儲細節(jié)而煩惱，能夠更加專注于自己的業(yè)務，有利于創(chuàng)新和降低成本。

有大規(guī)模整合需求的企業(yè)用戶和對高性能計算有特定需求的行業(yè)用戶是ClusterMode的主要受益群體。ClusterMode在這時可以凸顯的優(yōu)勢就是實現(xiàn)高性能、高可擴展性，以及先進的基于文件的虛擬化。

NetAppClusterMode設計要點根據(jù)NetApp全球眾多ClusterMode項目的經(jīng)驗，我們認為，要成功設計并實施一個ClusterMode系統(tǒng)，必須考慮如下要點：存儲能夠靈活地擴展嗎？需要能夠迅速且以最少的開銷分配、增加、減少并重新分配存儲。能夠自動化存儲管理流程嗎？進行配置、備份和復制等常規(guī)操作的自動化程度越高，環(huán)境的可擴展性就越強。能夠測量和匯報使用情況嗎？將資源理解為您的服務需求的一個用戶，能夠匯報實際的使用情況，并且現(xiàn)在或?qū)砟軌虬凑召Y源的使用情況進行收費。能夠自由移動數(shù)據(jù)嗎？如果數(shù)據(jù)束縛在缺乏靈活性的存儲里，有效性和可用性將變差。能夠在確保資源足夠安全的時候建立多租戶嗎？允許多個業(yè)務單元或獨立實體分享同一存儲硬件是有效ClusterMode的一個必要條件。能夠提升存儲效率嗎？第一步是提高利用率，除此之外，削減開銷、自動精簡配置和消除冗余都有助于提高效率。能夠有效保護您的數(shù)據(jù)嗎？所有的流程，讓它們變得簡單、可重復和有效。具有合適的策略級別、覆蓋所提供的每項服務的一致數(shù)據(jù)保護和災難恢復流程是基本的。能夠在單一網(wǎng)絡結(jié)構(gòu)上做所有的事情嗎？FCoE/10Gb的到來讓在單一以太網(wǎng)結(jié)構(gòu)上整合SAN和LAN以獲得更低的成本和更高的靈活性成為可能。

NetAppClusterMode技術(shù)要點 針對如上的8個設計要點，NetApp在各個方面都提供了相應的ClusterMode技術(shù)解決方案。靈活的擴展。NetApp靈活卷技術(shù)（FlexVol?）從底層磁盤里提取存儲卷。不管尺寸大小，任何存儲器（LUN或卷）都將自動在大量磁盤里擴展，以獲得最優(yōu)性能，并且能夠不間斷地增長或縮減。NetApp已經(jīng)在共享存儲環(huán)境里部署了數(shù)十PB存儲，在這些環(huán)境里，當需求變化時客戶能夠例行地擴展或縮減卷。自動化存儲流程。對于存儲自動化，NetApp提供一套包括數(shù)據(jù)保護在內(nèi)的簡化存儲操作的管理產(chǎn)品。NetAppProvisioningManager允許您基于您定義的策略創(chuàng)建可重復、自動的配置流程。一個監(jiān)測儀表板讓您監(jiān)測包括容量利用率、策略遵從和空間管理統(tǒng)計在內(nèi)的各種指標。NetAppProtectionManager提供與ProvisioningManager類似的功能，但是它們特別關(guān)注數(shù)據(jù)保護和復制的自動化。NetAppSANscreen?為您的整個存儲環(huán)境提供一個實時、多提供商、多協(xié)議的服務級別視圖。NetAppSnapManager?產(chǎn)品套件擴展了NetApp存儲的功能，以集成包括Oracle?、SAP?、Exchange、Microsoft?SQLServer?和MicrosoftSharePoint?在內(nèi)的通用應用。使用情況監(jiān)測和計費（Chargeback）。通過自動將您的端到端存儲基礎架構(gòu)與業(yè)務服務關(guān)聯(lián)，SANscreen允許您監(jiān)測服務級別協(xié)議，監(jiān)測指標使用情況以控制目標成本和計費，并積極管理容量來維持所有資源的最佳利用率。ProvisioningManager也包括計費功能。自由地移動數(shù)據(jù)。通過使用NetAppSnapMirror?、SnapVault?軟件和NDMP等，NetApp在數(shù)據(jù)保護操作期間有效地移動數(shù)據(jù)方面擁有非常悠久的歷史。我們繼續(xù)發(fā)掘更有效的方式，與VMware和其他虛擬化合作伙伴（如有可能）一起讓數(shù)據(jù)移動變得更容易。數(shù)據(jù)移動已經(jīng)被確定為基礎架構(gòu)的一個關(guān)鍵要素，我們正在專注這一領(lǐng)域。多租戶。傳統(tǒng)上，確保最高級別的存儲隔離和安全意味著獨立的硬件。私有和公共都需要肯定安全是盡可能牢靠的，并無損于效率。NetAppMultiStore?軟件讓您在單一存儲系統(tǒng)上創(chuàng)建多個單獨的、完全私有的邏輯分割區(qū)，因此您能夠共享存儲，并且不犧牲隱私和安全。借助MultiStore，存儲能夠基于您限定的范圍被配置、移動和保護；虛擬存儲器允許您將合適的策略應用到每個能夠與特定的應用或服務客戶端一致的存儲器。存儲效率。通過提升存儲效率，您能夠顯著降低您的整體存儲需求，這帶來的是在能耗、制冷和空間方面的節(jié)省。借助NetAppFlexVol技術(shù)提供的靈活配置功能，NetApp客戶定期獲得60%或更高的存儲利用率，而行業(yè)的平均利用率則接近30%。NetApp提供一系列額外技術(shù)進一步提升存儲利用率，包括重復數(shù)據(jù)刪除，精簡配置管理，虛擬數(shù)據(jù)克隆等。集成的數(shù)據(jù)保護和災難恢復。基于上面提及的Snapshot、SnapVault、SnapMirror、SnapManager套件和ProtectionManager等技術(shù)，NetApp提供完全集成和全面的數(shù)據(jù)保護和災難恢復。這些技術(shù)卸下了從服務器到存儲的數(shù)據(jù)保護負擔，提供貫穿您所有應用服務的一致數(shù)據(jù)保護方法。統(tǒng)一結(jié)構(gòu)。FCoE/10Gb的出現(xiàn)讓您的數(shù)據(jù)中心朝單一以太結(jié)構(gòu)發(fā)展成為可能，以滿足您所有的存儲和網(wǎng)絡需求。盡管在現(xiàn)實中您將花些時間轉(zhuǎn)移以支持原生光纖通道、FCoE和以太網(wǎng)存儲。NetApp已經(jīng)成為以太網(wǎng)存儲的領(lǐng)導者——最先是作為NAS先驅(qū)，然后是成為基于IP的的倡導者。NetApp是唯一一家為FCoE提供原生支持的廠商，這對我們的統(tǒng)一存儲方法來說是一個符合邏輯的進展。我們的統(tǒng)一存儲能夠在我們所有的平臺上同時交付光纖通道、基于IP的和NAS。通過支持FCoE，我們?yōu)楣饫w通道SAN用戶向統(tǒng)一結(jié)構(gòu)遷移提供了一條簡易的革命之路。

NetAppClusterMode解決方案概述Netapp利用ONTAP8CLUSTERMODE存儲系統(tǒng)實現(xiàn)ClusterMode的功能，Netapp的ONTAP8CLUSTERMODE存儲系統(tǒng)由多套位于不同物理位置的存儲節(jié)點組成，每個節(jié)點包含了存儲控制器和相應的存儲空間。雖然ONTAP8CLUSTERMODE由這些在物理上分散的存儲節(jié)點組成，但是整套ONTAP8CLUSTERMODE對外提供統(tǒng)一的管理和使用界面，和底層存儲硬件相關(guān)的復雜性都被ONTAP8CLUSTERMODE屏蔽。因此對于外部使用者來看，整套ONTAP8CLUSTERMODE就構(gòu)成了一個ClusterMode存儲，該存儲對外提供:統(tǒng)一的管理界面和監(jiān)控界面統(tǒng)一的使用界面對內(nèi)實現(xiàn)了存儲資源的全局化、自動化、透明化、最優(yōu)化分配性能和存儲容量的線性擴展自動糾錯 4.1DataONTAPONTAP8CLUSTERMODE統(tǒng)一管理和監(jiān)控ClusterMode里面雖然由多套存儲系統(tǒng)組成，但是作為一個整體，必須提供一種方式能對整個ClusterMode進行統(tǒng)一的管理和監(jiān)控，這樣就能大大簡化整個ClusterMode的管理和監(jiān)控。ONTAP8CLUSTERMODE存儲系統(tǒng)提供了完全基于圖形界面的管理工具，也提供了基于命令行的管理工具，兩者能實現(xiàn)相同的目的，用戶完全可以根據(jù)自己的喜好來選擇合適的管理工具進行整個ONTAP8CLUSTERMODE存儲系統(tǒng)的管理，配置，監(jiān)控等任務。ONTAP8CLUSTERMODE存儲系統(tǒng)雖然由多套物理上分散的存儲節(jié)點組成，但是在邏輯上其為不可分割的一個整體，在使用和管理上就是一套獨立的存儲系統(tǒng)，ONTAP8CLUSTERMODE系統(tǒng)完全屏蔽了物理層的復雜性。因此用戶在進行ONTAP8CLUSTERMODE存儲系統(tǒng)管理和監(jiān)控的時候，就像以前管理和監(jiān)控一套獨立的存儲系統(tǒng)一樣簡單和方便。用戶可以利用管理網(wǎng)絡，通過瀏覽器或Telnet工具登錄到任何一個組成ONTAP8CLUSTERMODE存儲系統(tǒng)的存儲節(jié)點的管理網(wǎng)絡接口就可以進行對整個ONTAP8CLUSTERMODE存儲系統(tǒng)的整體管理，配置和監(jiān)控，所有的組成ONTAP8CLUSTERMODE存儲系統(tǒng)的存儲節(jié)點不需要單獨進行管理，這樣就大大簡化了整個ONTAP8CLUSTERMODE存儲系統(tǒng)的管理復雜性。4.2ONTAP8CLUSTERMODE統(tǒng)一命名空間對于外部的使用者來說，ClusterMode就是一個黑匣子，該黑匣子必須給外部使用者提供一個簡單易用的使用接口，所有的外部使用者都能通過該接口來使用該ClusterMode所提供的數(shù)據(jù)存儲和訪問的功能而不需關(guān)心內(nèi)部的結(jié)構(gòu)和操作。ONTAP8CLUSTERMODE存儲系統(tǒng)利用全局命名空間（GolbalNamespace）技術(shù)對外界提供一個統(tǒng)一的使用界面，這個全局命名空間規(guī)定了所有存放在ONTAP8CLUSTERMODE存儲系統(tǒng)中的數(shù)據(jù)的邏輯位置，如下圖所示ONTAP8CLUSTERMODE會自動維護邏輯位置和物理位置之間的映射，當數(shù)據(jù)存放的物理位置發(fā)生改變的時候（如一個文件系統(tǒng)從一個存儲節(jié)點遷移到另外一個存儲節(jié)點上），ONTAP8CLUSTERMODE會自動的更新這個映射，保持數(shù)據(jù)的邏輯位置不變。前端的主機在訪問數(shù)據(jù)的時候，利用全局命名空間規(guī)定的數(shù)據(jù)的邏輯位置來告訴ONTAP8CLUSTERMODE它需要訪問什么數(shù)據(jù)，ONTAP8CLUSTERMODE會利用邏輯位置和物理位置的映射，在相應的物理位置找到所需要的數(shù)據(jù)。因此，前端主機在進行數(shù)據(jù)訪問的時候，只需要利用該全局命名空間所規(guī)定的邏輯位置來指向數(shù)據(jù)，并不需要關(guān)心數(shù)據(jù)存放的物理位置，也不需要關(guān)心數(shù)據(jù)是通過ONTAP8CLUSTERMODE存儲系統(tǒng)中的哪個存儲節(jié)點來訪問，ONTAP8CLUSTERMODE會自動依據(jù)邏輯位置所對應的物理位置所在那個存儲節(jié)點來完成用戶的數(shù)據(jù)請求。ONTAP8CLUSTERMODE也會在數(shù)據(jù)物理位置發(fā)生變化的時候，自動更新邏輯位置和物理位置的映射而保持邏輯位置不變，因此，當數(shù)據(jù)發(fā)生物理位置變化的時候(如用戶為了均衡磁盤的利用率，把一個文件系統(tǒng)從一個存儲節(jié)點遷移到另外一個存儲節(jié)點)，前端的主機不需要任何的變化，仍舊能利用原有的邏輯位置訪問到新的物理位置上的數(shù)據(jù)。從上面的描述來看，ONTAP8CLUSTERMODE存儲系統(tǒng)通過全局命名空間技術(shù)所提供的統(tǒng)一使用界面，對外完全屏蔽的數(shù)據(jù)物理存儲上的復雜性，前端主機只需要記住數(shù)據(jù)的邏輯位置就能訪問到其所需要的數(shù)據(jù)，至于該數(shù)據(jù)如何在后端存儲上存儲，通過哪個存儲節(jié)點進行存儲和訪問等這些復雜的細節(jié)都被ONTAP8CLUSTERMODE屏蔽。因此，ONTAP8CLUSTERMODE存儲系統(tǒng)通過該統(tǒng)一的使用界面，大大簡化了前端主機對存儲系統(tǒng)和業(yè)務數(shù)據(jù)的訪問接口。4.3DataONTAPONTAP8CLUSTERMODE存儲資源全局化、自動化、透明化、最優(yōu)化分配就像上節(jié)所述，ClusterMode對于外部的使用者來說是個黑匣子，外部的使用者所要做的就是請求自己所需要的存儲資源，如存儲空間需求，數(shù)據(jù)訪問的性能需求利用ClusterMode所提供的訪問接口來進行數(shù)據(jù)存儲和訪問至于ClusterMode如何來滿足其所需要的存儲資源即ClusterMode內(nèi)部如何給這些外部使用者分配其所需的存儲資源的技術(shù)細節(jié)對這些使用者來說是透明的。因此，ClusterMode必須實現(xiàn)存儲資源分配上的自動化和透明化，當然，考慮到ClusterMode為一個不可分割的整體，其存儲資源的分配應該從全局考慮，這樣才能實現(xiàn)存儲資源利用的最大化同時，在分配存儲資源的時候，ClusterMode應該結(jié)合自己內(nèi)部各個存儲系統(tǒng)的拓撲結(jié)構(gòu)、外部使用者的拓撲結(jié)構(gòu)、網(wǎng)絡帶寬等因素，實現(xiàn)存儲資源的最優(yōu)分配從而保證能為外部使用者提供最佳的數(shù)據(jù)存儲和訪問的性能Netapp的ONTAP8CLUSTERMODE存儲系統(tǒng)，在存儲資源上實現(xiàn)了全局化管理和分配，所有組成該ONTAP8CLUSTERMODE存儲系統(tǒng)的存儲節(jié)點所擁有的存儲空間和存儲控制器都被劃分到一個統(tǒng)一的存儲資源池中。當應外部使用者的請求分配其所需的存儲資源時，ONTAP8CLUSTERMODE自動的從該存儲資源池中給這些外部使用者分配其所需的存儲資源。當然，在ONTAP8CLUSTERMODE內(nèi)部，分配給這些使用者所需的存儲資源最終還需要落實到相應的存儲節(jié)點上，ONTAP8CLUSTERMODE可以根據(jù)用戶設定的策略，實現(xiàn)存儲資源的最優(yōu)分配，如可以實現(xiàn)如下策略：如對于那些數(shù)據(jù)訪問響應速度要求高的使用者，盡量在使用者所在站點上的存儲節(jié)點分配其所需的存儲資源，這樣該使用者的數(shù)據(jù)存儲和訪問都由本地節(jié)點完成，不需要利用ONTAP8CLUSTERMODE的內(nèi)部數(shù)據(jù)傳輸網(wǎng)絡來在各個存儲節(jié)點之間交換數(shù)據(jù)如對于那些對數(shù)據(jù)吞吐量要求較高的使用者，在盡可能多的存儲節(jié)點上來分配其所需的存儲資源，這樣在進行數(shù)據(jù)存儲和訪問的時候，這些存儲節(jié)點就可以并發(fā)操作，從而滿足使用者高數(shù)據(jù)吞吐量的需求ONTAP8CLUSTERMODE內(nèi)部對存儲資源的分配細節(jié)對外部使用者來說是完全透明的，ONTAP8CLUSTERMODE對外部使用者完全屏蔽存儲資源分配上的復雜性，外部使用者只需要通過ONTAP8CLUSTERMODE提供的全局命名空間這個統(tǒng)一使用界面來進行數(shù)據(jù)存儲和訪問即可。 從上描述可見，Netapp的ONTAP8CLUSTERMODE存儲系統(tǒng)完全滿足一個ClusterMode在資源分配上的全局化、自動化、透明化和最優(yōu)化的要求。大大簡化了存儲資源的管理、提升了存儲資源的利用率并保證了使用者在數(shù)據(jù)存儲和訪問上的性能。4.4ONTAP8CLUSTERMODE性能和存儲容量的線性擴展ClusterMode作為后端的數(shù)據(jù)集中存儲平臺，必須具備動態(tài)擴展的能力，這樣才能滿足前端應用系統(tǒng)不斷擴展的需求。ClusterMode的這種動態(tài)擴展能力必須體現(xiàn)在性能上的動態(tài)擴展和存儲空間上的動態(tài)擴展兩方面，并且動態(tài)擴展不會影響到前端應用系統(tǒng)的正常運行，也不會增加整個ClusterMode在管理、監(jiān)控和使用上的復雜性。Netapp的ONTAP8CLUSTERMODE存儲系統(tǒng)，不管是在性能方面還是在容量方面，都可以實現(xiàn)在線擴展ONTAP8CLUSTERMODE在性能上的線性擴展能力：Netapp的ONTAP8CLUSTERMODE存儲系統(tǒng)作為一個整體，實現(xiàn)了多個存儲節(jié)點之間的協(xié)同工作和負載均衡，目前的版本最多可以在一個ONTAP8CLUSTERMODE存儲系統(tǒng)里支持24個存儲節(jié)點，這些存儲節(jié)點利用ONTAP8CLUSTERMODE內(nèi)部網(wǎng)絡進行控制信息和數(shù)據(jù)的交換，實現(xiàn)負載均衡。因此，ONTAP8CLUSTERMODE存儲系統(tǒng)從邏輯上來看就是一套單獨的存儲系統(tǒng)，該套單獨的存儲系統(tǒng)的性能就是多套組成這個系統(tǒng)的存儲節(jié)點所能提供的性能總和，當然還需要扣除很小一部分的用來進行存儲節(jié)點之間進行協(xié)調(diào)的消耗。因此ONTAP8CLUSTERMODE存儲系統(tǒng)就能完全根據(jù)用戶的需要，來配置相應個數(shù)的存儲節(jié)點來滿足用戶的存儲性能需求。隨著用戶前端應用系統(tǒng)的擴展，需要后端的存儲系統(tǒng)提供更好的數(shù)據(jù)訪問的性能支持，如果ONTAP8CLUSTERMODE存儲系統(tǒng)內(nèi)原先配置的存儲節(jié)點已不能夠提供足夠的性能支持，ONTAP8CLUSTERMODE存儲系統(tǒng)可以利用如下的方法來在線的平滑擴展整套ONTAP8CLUSTERMODE存儲系統(tǒng)的性能：ONTAP8CLUSTERMODE支持在線的增加新的存儲節(jié)點到集群中，存儲節(jié)點的增加不會對前端應用系統(tǒng)訪問數(shù)據(jù)造成任何影響，并且新增加的存儲節(jié)點可以立即和原有的存儲節(jié)點之間進行負載均衡，這樣，整個ONTAP8CLUSTERMODE存儲系統(tǒng)利用新增加的存儲節(jié)點提供的處理能力提升了整個系統(tǒng)的處理能力，滿足用戶的性能擴展需求ONTAP8CLUSTERMODE支持在線的利用更高端的存儲控制器來替換系統(tǒng)中原有的存儲節(jié)點的存儲控制器，替換可以在線進行，不會對前端應用的訪問數(shù)據(jù)造成任何影響。替換完成后，原有的存儲節(jié)點就具備了更良好的處理性能從而提升了整個ONTAP8CLUSTERMODE存儲系統(tǒng)的處理能力，滿足了用戶的性能擴展需求ONTAP8CLUSTERMODE在存儲容量上的線性擴展能力：Netapp的ONTAP8CLUSTERMODE存儲系統(tǒng)最大可以支持14PB（14112TB）的容量，并支持存儲容量的在線擴充。在ONTAP8CLUSTERMODE存儲系統(tǒng)中，雖然磁盤通過光纖通道被掛接到不同的存儲節(jié)點上，但是所有的存儲節(jié)點通過集群內(nèi)部網(wǎng)絡可以訪問到任何磁盤上的任何數(shù)據(jù)（當然如果用戶需要進行數(shù)據(jù)訪問的隔離，可以通過配置限制某些存儲節(jié)點對某些數(shù)據(jù)的訪問），因此，ONTAP8CLUSTERMODE存儲系統(tǒng)內(nèi)所有磁盤所組成的存儲空間是作為一個整體被系統(tǒng)統(tǒng)一管理和分配的。就像前面所提到的那樣，ONTAP8CLUSTERMODE存儲系統(tǒng)從邏輯上來看就像是一套單獨的存儲系統(tǒng)，其所提供的存儲空間也就是一套完整的存儲空間，用戶在空間的使用和管理上感覺不到這些空間是由多套存儲節(jié)點的磁盤所組成。用戶可以根據(jù)現(xiàn)有的數(shù)據(jù)存儲要求，在現(xiàn)階段先配置一定的容量來滿足現(xiàn)有數(shù)據(jù)存放的需求，如果隨著前端應用系統(tǒng)的擴展需要更多的存儲空間，ONTAP8CLUSTERMODE存儲系統(tǒng)可以利用如下兩種方式來在線的增加整個系統(tǒng)的存儲空間：如果組成ONTAP8CLUSTERMODE存儲系統(tǒng)的現(xiàn)有存儲節(jié)點所配置的硬盤數(shù)量還沒有達到其最大限制，則可以在線的給這些存儲節(jié)點增加磁盤，這些新增加的磁盤空間就可以被ONTAP8CLUSTERMODE統(tǒng)一管理和分配，從而增加了增個ONTAP8CLUSTERMODE存儲系統(tǒng)的存儲空間如果組成ONTAP8CLUSTERMODE存儲系統(tǒng)的現(xiàn)有存儲節(jié)點所配置的硬盤數(shù)量都達到其最大限制，用戶可以在線的往ONTAP8CLUSTERMODE中增加新的存儲節(jié)點，然后在新增加的存儲節(jié)點中掛接新的磁盤，這些新的磁盤空間就可以被ONTAP8CLUSTERMODE統(tǒng)一管理和分配，從而增加了增個ONTAP8CLUSTERMODE存儲系統(tǒng)的存儲空間ONTAP8CLUSTERMODE存儲系統(tǒng)的動態(tài)擴展，不管是增加存儲節(jié)點還是增加存儲空間，這些新增加的存儲資源都會自動的歸屬于ONTAP8CLUSTERMODE統(tǒng)一管理和分配的存儲資源池，由ONTAP8CLUSTERMODE實現(xiàn)全局化、自動化、透明化和最優(yōu)化的管理和分配，因此基本不會增加整個ONTAP8CLUSTERMODE存儲系統(tǒng)的管理復雜性。4.5ONTAP8CLUSTERMODE自動糾錯ClusterMode作為后端的集中存儲平臺，必須保證其能穩(wěn)定可靠的運行，不然就會影響到利用該ClusterMode來進行數(shù)據(jù)存儲和訪問的所有應用系統(tǒng)的正常運行。因此ClusterMode必須具備自動糾錯的能力，當其內(nèi)部發(fā)生軟硬件故障的時候能自動屏蔽該故障從而不影響整個ClusterMode對外提供數(shù)據(jù)存儲和訪問的服務。Netapp的ONTAP8CLUSTERMODE存儲系統(tǒng)作為ClusterMode的一種實現(xiàn)方式，在提升整個系統(tǒng)的可靠性上采用了如下技術(shù)：對于ONTAP8CLUSTERMODE系統(tǒng)內(nèi)部的每個存儲節(jié)點都配置雙控制器，這兩個控制器之間實現(xiàn)故障切換保護和負載均衡，每個控制器都利用Infiniband連接來鏡像另外一個控制器的控制信息，這樣當一個控制器發(fā)生故障的時候，正常的那個控制器會自動的接管故障控制器所負擔的所有工作。通過這種控制器之間的相互保護，整個ONTAP8CLUSTERMODE存儲系統(tǒng)不會因為單個控制器發(fā)生故障而導致數(shù)據(jù)的不可訪問，這樣就大大提升了系統(tǒng)的可靠性底層所有的磁盤均采用了RAIDDP保護，netapp的RAIDDP采用雙校驗的RAID技術(shù)，保證一個RAID組內(nèi)在發(fā)生兩塊磁盤同時失效的情況下，還能保證數(shù)據(jù)的安全性和可訪問性，因此極大的消除了磁盤故障對系統(tǒng)和數(shù)據(jù)的可靠性所帶來的威脅對于那些對數(shù)據(jù)的可靠性要求非常高的應用系統(tǒng)，可以實現(xiàn)在ONTAP8CLUSTERMODE內(nèi)部的兩個存儲節(jié)點之間的數(shù)據(jù)鏡像保護，當發(fā)生重大故障導致ONTAP8CLUSTERMODE內(nèi)部的某個存儲節(jié)點整個不可用時，應用系統(tǒng)可以自動切換到鏡像節(jié)點，利用鏡像數(shù)據(jù)繼續(xù)進行數(shù)據(jù)的訪問通過上述的這些技術(shù)，ONTAP8CLUSTERMODE存儲系統(tǒng)整體具備了非常高的可靠性和可用性，為用戶提供了一個高可用的ClusterMode環(huán)境。4.6NetAppONTAP8CLUSTERMODEClusterMode解決方案優(yōu)勢由于ClusterMode目前還是一個比較新的概念，目前還沒有一個統(tǒng)一的定義，各個廠商對這個概念都有自己的闡述并在此基礎上采用各自的技術(shù)來實現(xiàn)自己定義的ClusterMode系統(tǒng)。盡管對于ClusterMode目前各個廠商有自己的理解，但是他們對ClusterMode系統(tǒng)如下的這個基本功能還是有一個比較統(tǒng)一的認識：對前端使用者來說ClusterMode系統(tǒng)必須為一個黑匣子，使用者通過ClusterMode系統(tǒng)所提供的訪問接口來進行數(shù)據(jù)的存儲和訪問，ClusterMode系統(tǒng)必須屏蔽數(shù)據(jù)存儲和訪問在物理層的實現(xiàn)細節(jié)，整個ClusterMode系統(tǒng)對外以一個整體的存儲系統(tǒng)呈現(xiàn)。Netapp的ONTAP8CLUSTERMODE存儲系統(tǒng)作為ClusterMode系統(tǒng)的一種技術(shù)上的實現(xiàn)，具備了如下的技術(shù)優(yōu)勢和特點：通過全局命名空間這一技術(shù)給外部使用者提供了一個簡單易用的使用接口，對外完全屏蔽了內(nèi)部實現(xiàn)上的技術(shù)細節(jié)，因此大大簡化了外部使用者對ONTAP8CLUSTERMODE存儲系統(tǒng)的使用。并且ONTAP8CLUSTERMODE存儲系統(tǒng)不僅在管理和監(jiān)控上作為一個整體存儲系統(tǒng)來進行，而且在資源的管理和分配上也從全局著眼，因此對外呈現(xiàn)為一套完整的存儲系統(tǒng)。在這點上，ONTAP8CLUSTERMODE完全滿足上面所述的目前存儲界對ClusterMode的比較主流的技術(shù)要求；整體性的管理和監(jiān)控，并提供簡單易用的基于圖形化的管理和監(jiān)控工具，大大簡化了整個ClusterMode的管理和監(jiān)控，降低了管理復雜性，減少了管理成本；全局化的存儲資源管理和分配，提升了存儲資源的利用率；自動化、透明化的存儲資源分配方式簡化了存儲資源的分配過程，加速了對前端應用系統(tǒng)的存儲要求的響應速度，提升了存儲服務水平；最優(yōu)化的存儲資源分配方式，能最好的滿足不同應用在數(shù)據(jù)存儲和訪問性能上的不同需求，提升了它們數(shù)據(jù)存儲和訪問的性能；在存儲性能和存儲容量兩個方面都具備了良好的擴展能力，使得整個ClusterMode具備了良好的動態(tài)擴展能力，能滿足前端應用不斷增加的存儲需求；內(nèi)置的各種容錯能力，使得整個ClusterMode具備了極高的可靠性和可用性，從而為前端應用環(huán)境提供可靠的無中斷的存儲服務打下了堅實的技術(shù)基礎4.7結(jié)合服務器物擬化／集群技術(shù)構(gòu)建ClusterMode平臺上面一章我們介紹了Netapp在ClusterMode上的技術(shù)實現(xiàn)——NetappONTAP8CLUSTERMODE存儲系統(tǒng)，該系統(tǒng)不僅具備了ClusterMode的基本功能，而且還具備了非常明顯的技術(shù)特點和優(yōu)勢。ClusterMode的實現(xiàn)為用戶實現(xiàn)ClusterMode環(huán)境提供了存儲基礎，和ClusterMode的概念類似，ClusterMode環(huán)境為外部用戶屏蔽了內(nèi)部的技術(shù)實現(xiàn)細節(jié)，用戶只需要根據(jù)應用的需求，提出其所需要的計算資源，如：需要幾臺服務器每臺服務器需要幾個多少頻率的CPU、多大的內(nèi)存需要多大的存儲空間整個ClusterMode環(huán)境就能非常快速的為用戶準備好這些計算資源，并提供簡單的接口供用戶使用這些計算資源來運行相應的應用程序。從這個概念上來說，主機虛擬化技術(shù)結(jié)合Netapp的ONTAP8CLUSTERMODE存儲系統(tǒng)所實現(xiàn)的ClusterMode可以很好的為用戶來搭建一個完整的ClusterMode環(huán)境。整個ClusterMode環(huán)境內(nèi)部由兩個組成一個為前面章節(jié)所提到的ClusterMode，為ClusterMode環(huán)境提供數(shù)據(jù)存儲和訪問的服務另外一個為主機，為ClusterMode環(huán)境提供主機資源在主機中，用戶可以利用主機虛擬化技術(shù)，一方面向外部屏蔽了主機內(nèi)部的實現(xiàn)細節(jié)，另外一方面，以虛擬主機的方式向外部使用者提供一個簡單的使用主機資源的使用接口。下面簡單介紹利用主機虛擬技術(shù)所搭建的主機，并結(jié)合ClusterMode技術(shù)搭建的整個ClusterMode環(huán)境利用主機虛擬技術(shù)，把用戶的所有物理主機按需要組織為一個多個主機集群用戶可以根據(jù)需要把處于不同物理位置的所有主機作為一個主機集群，這樣就可以把所有主機資源作為一個整體來管理和分配用戶也可以為處于不同物理位置的主機創(chuàng)建獨立的主機集群，這樣，每個物理位置的所有主機資源作為一個單獨的主機資源池來管理和分配主機利用虛擬主機作為對外提供主機資源的統(tǒng)一使用接口，當外部使用者提供相應的主機資源需求的時候，主機根據(jù)一定的策略，在相應的主機集群上創(chuàng)建滿足外部使用者需求的虛擬主機供外部使用者使用。外部使用者可以非常方便的利用主機所提供的虛擬主機來使用自己所需的計算資源，其也只能通過虛擬主機這一唯一的接口來使用主機所提供的計算資源。同時計算對外部屏蔽了內(nèi)部物理實現(xiàn)的技術(shù)細節(jié)，外部使用者除了利用虛擬主機這一個唯一使用接口和ClusterMode打交道外，根本無需關(guān)心其使用的虛擬主機是如何創(chuàng)建的，是在哪些物理主機上創(chuàng)建的等技術(shù)細節(jié)。因此，這兩點很好的滿足了ClusterMode環(huán)境的如下兩個最基本的技術(shù)要求：整個ClusterMode環(huán)境對外部使用者提供一個統(tǒng)一的且簡單易用的使用接口以供外部使用者使用ClusterMode環(huán)境中的相應計算資源整個ClusterMode環(huán)境對外部使用者屏蔽了內(nèi)部實現(xiàn)的計算細節(jié)對于外部使用者所需要的存儲資源，ClusterMode根據(jù)全局化、自動化、透明化和最優(yōu)化的資源分配原則在ClusterMode內(nèi)部分配外部使用者所需的存儲資源。主機可以利用ClusterMode所提供的統(tǒng)一使用接口來使用這部分存儲資源從上面的描述可以看到，利用主機虛擬化技術(shù)和ClusterMode技術(shù)，就可以很好的實現(xiàn)用戶的ClusterMode環(huán)境，當然上面只是一個提綱性的介紹，要實現(xiàn)整個ClusterMode環(huán)境，還需要結(jié)合用戶的具體需求和環(huán)境考慮很多其它方面的問題，如：主機的自動糾錯機制主機的資源分配策略主機的動態(tài)擴展能力人為參與所需要遵循的規(guī)范和流程4.8ClusterMode環(huán)境建設的幾點建議ClusterMode作為一項新的計算，一方面不管從概念還是技術(shù)上來看都還沒有一個統(tǒng)一的標準和實現(xiàn)，另一方面也沒有多少成功的經(jīng)驗可以借鑒。因此我們建議，ClusterMode環(huán)境的建設最好還是遵循從小到大，從簡單到復雜的循序漸進的原則，如我們可以考慮：先在同一個物理位置上搭建一個小型的ClusterMode環(huán)境，并先在其上運行相對比較簡單的應用系統(tǒng)，通過一段時間的運行以檢驗該環(huán)境是否符合我們的設計目標在前面成功的基礎上，可以把本地的其它應用系統(tǒng)也遷移到該ClusterMode環(huán)境中，從而先在本地實現(xiàn)一個功能和性能都比較全面的ClusterMode環(huán)境在前面成功的基礎上，可以搭建一個跨越不同物理位置的大的ClusterMode環(huán)境，從而實現(xiàn)ClusterMode環(huán)境的最終設計目標

XXClusterMode環(huán)境說明ClusterMode環(huán)境中能夠與之相適應的存儲架構(gòu)必須滿足以下要求：1、靈活的擴展能力。能夠迅速且以最少的開銷分配、增加、減少并重新分配存儲。2、自動化存儲管理。高效的配置、備份和復制等常規(guī)操作的自動化程度。3、測量和匯報存儲設備的空間和性能使用情況。4、能夠在不間斷應用前提下自由移動數(shù)據(jù)。5、提升存儲效率，實現(xiàn)自動精簡配置和消除冗余。6、單一網(wǎng)絡結(jié)構(gòu)上實現(xiàn)所有功能。利用FCoE/10Gb的在單一以太網(wǎng)結(jié)構(gòu)上整合SAN和LAN以獲得更低的成本和更高的靈活性成為可能。7、存儲環(huán)境支持服務器虛擬化，存儲設備對應用透明。基于以上對ClusterMode環(huán)境下存儲基本功能的特點，我們認為需要建立一個運行在以太網(wǎng)存儲技術(shù)下的存儲架構(gòu)，建議的存儲協(xié)議為基于IP的，NAS及FCoE的混合環(huán)境。目前XX應用運行于FC-SAN存儲協(xié)議，服務器平臺以Unix和Linux為主，應用類型以SybaseIQ(SE)等數(shù)據(jù)庫應用為主。我們認為，在ClusterMode環(huán)境基于以太網(wǎng)存儲協(xié)議的存儲技術(shù)是ClusterMode平臺的最佳選擇。以XX應用為例，未來基于ClusterMode的中移增值業(yè)務應用平臺應該是如下圖構(gòu)建方式，以下章節(jié)將基于應用特點對計算節(jié)點、存儲協(xié)議、存儲資源管理、數(shù)據(jù)保護、設備利舊等方面進行描述。5.1計算資源實現(xiàn)方式 計算是具有相當規(guī)模的處理單元有機集成，“”可以賦予用戶前所未有的計算能力；目前構(gòu)建計算大致有兩種手段，分別是基于服務器虛擬化技術(shù)和基于服務器集群并通過專門的計算資源調(diào)度管理系統(tǒng)實現(xiàn)的的計算。通過服務器虛擬化技術(shù)，ClusterMode支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自計算，而不是固定某些設備。應用在計算中運行，用戶無需了解、也不用擔心應用運行的具體位置。同時，計算使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構(gòu)可互換等措施來保障服務的高可靠性。基于XX應用環(huán)境可以選擇服務器虛擬技術(shù)來構(gòu)建ClusterMode平臺，相對集群方式來說，服務器虛擬化廠商(VMWare,Citrix等)在ClusterMode有一整套解決方案，而且技術(shù)應用也比較廣泛。5.2存儲協(xié)議選擇目前XX應用以FC-SAN架構(gòu)為主，ClusterMode環(huán)境下龐大的服務器節(jié)點需要與海量的ClusterMode節(jié)點形成互連,無論從擁有成本還是從整體架構(gòu)成的可擴展性,不書的建議性考慮，我們建議采用基于IP的存儲協(xié)議來提供XX應用的存儲協(xié)議。基于IP的存儲技術(shù)目前有兩種,分別是NAS和iSCSI協(xié)議。NAS（NetworkAttachedStorage）網(wǎng)絡存儲，簡單的說，NAS是通過TCP/IP以太網(wǎng)絡連接的存儲設備。NAS存儲設備通過標準的網(wǎng)絡拓撲結(jié)構(gòu)（Ethernet）連接到一群計算機或者服務器上，而不象FCSAN那樣需要昂貴復雜的光纖交換機，NAS使用普通的以太網(wǎng)絡交換機，即插即用。NAS所使用的是存儲設備自己的文件系統(tǒng)，數(shù)據(jù)傳輸協(xié)議是TCP/IPoverGbE，交換機是EthernetSwitch，資料存取的協(xié)議則有NFS、CIFS、HTTP、DAFS。iSCSI（InternetSmallComputerSystemInterface）是由IETF（（InternetEngineeringTaskForce，國際互聯(lián)網(wǎng)工程任務組））組織在2003年2月11日完成定義的一種基于IP網(wǎng)絡協(xié)議的數(shù)據(jù)存儲協(xié)議標準。其根本點在于應用IP網(wǎng)絡協(xié)議承載SCSI的命令，使數(shù)據(jù)塊得以在廣泛成熟部署的以太網(wǎng)環(huán)境下進行傳輸。通過iSCSI協(xié)議，現(xiàn)有的計算平臺可以從原來使用直連式存儲（DAS）的環(huán)境迅速整合到網(wǎng)絡存儲（FAS）的環(huán)境，并且無需投資昂貴的SAN環(huán)境，和進行復雜的SAN管理。5.3存儲資源管理FlexVol實現(xiàn)存儲資源最優(yōu)化管理NetAppFlexVol技術(shù)提供了真正的存儲虛擬化解決方案，能夠縮減開銷和資本費用，減少業(yè)務中斷并降低風險，同時還具有很高的靈活性，可以快速方便地適應企業(yè)不斷變化的需求。FlexVol技術(shù)可以自動集中存儲資源，便于您在一個大型磁盤池中創(chuàng)建多個靈活的卷。有了這一靈活性，用戶可以簡化操作，最大限度地提高利用率和效率，并可以快速、無縫地進行修改。利用NetApp存儲解決方案，用戶可以隨時隨地根據(jù)需要以最低成本增加存儲容量，并且無需中斷業(yè)務運作。我們將一個Aggregate存儲池定義為給卷（Volumes）分配空間的基本單元。從管理者的角度來看，卷仍保持著對主要項的數(shù)據(jù)管理。但由于是對管理者透明，F(xiàn)lexibleVolumes現(xiàn)在面向的是邏輯項而不是傳統(tǒng)的物理存儲了。FlexibleVolumes因此不再受限于它們存在的磁盤的限制了。你可以在一個存儲的“池”中定義一個你需要多大的空間的FlexVol，而不是由你創(chuàng)建卷所在的磁盤個數(shù)硬性規(guī)定。一個FlexVol也可以不需要