Brocade博科SAN網(wǎng)絡設計實施方案————————————————————————————————作者：————————————————————————————————日期： Brocade網(wǎng)絡項目設計方案

Contents一. 文檔目標 3二. SAN網(wǎng)絡設計原則 3三. SAN網(wǎng)絡架構拓撲建議 4四. SAN總體架構介紹 5五. 設備選型 6六. 交換機高端功能簡介 7七. 數(shù)據(jù)中心SAN的組成及擴展 8八. SAN網(wǎng)絡配置規(guī)范 10九. Firmware建議 12文檔目標為了配合數(shù)據(jù)擴展特制定本技術指引。本指引將會包括以下內(nèi)容：更好地規(guī)劃、合理地使用SAN架構及相關資源針對未來業(yè)務發(fā)展帶來的SAN架構擴展提出原則對現(xiàn)有的設備端口資源以及未來可能投入的新資源進行合理的配置規(guī)劃對SAN設備相關的安全策略和監(jiān)控管理提出相應規(guī)范SAN網(wǎng)絡設計原則對于金融服務環(huán)境等要求最高可靠性、性能和彈性的任何基礎架構來說，存儲網(wǎng)絡架構都是基本的組成要素。事實多次證明，如果在這些方面投機取巧走捷徑，那么將來發(fā)生本可避免的故障時，企業(yè)將付出更大的代價。一旦產(chǎn)生故障除了極高的宕機成本以外，還會導致生產(chǎn)率下降、法律和監(jiān)管合規(guī)性影響、信心和信任度的下降、市場聲譽受損等后果。所以博科對于SAN網(wǎng)絡架構非常重視，根據(jù)博科20多年的存儲網(wǎng)絡經(jīng)驗，建議按以下原則設計存儲網(wǎng)絡。最小化所管理Fabric架構的數(shù)量-Fabric架構越少就越容易管理。最小化每個Fabric架構中交換機數(shù)-使用如大型導向器可簡化管理，將可能的Fabric架構中斷情況降至最低。限制Fabric架構規(guī)模-Fabric架構規(guī)模應加以限制使用高可用性高的交換機-即使SAN擁有冗余架構可用于故障切換，也沒有人希望其中一條數(shù)據(jù)路徑出現(xiàn)問題。避免大負載比，防止造成擁塞或性能降低-任何負載比都應適當?shù)丶右栽O計。大型環(huán)境采用核心-邊緣模式-核心-邊緣設計模式可支持更大型多Fabric架構的創(chuàng)建，有助于簡化日常管理任務，便于解決問題。針對存儲流量進行設計-在SAN環(huán)境中響應時間是以毫秒甚至納秒及進行衡量的，牢靠的SAN設計必須提供可靠且一致的I/O響應。資源就近訪問原則-主機訪問存儲或存儲間訪問因采用就近原則，即使用盡可能少的跳數(shù)完成訪問。SAN網(wǎng)絡架構拓撲建議SAN網(wǎng)絡架構拓撲包括網(wǎng)絡邊緣的設備、網(wǎng)絡核心的交換機以及將它們連接起來的線纜。拓撲結構一般根據(jù)交換機互連方式進行描述，如環(huán)狀、核心-邊緣、邊緣-核心-邊緣或全網(wǎng)狀。邊緣-核心拓撲邊緣-核心拓撲將Initiator（服務器）部署在邊緣層，將存儲（目標）部署在核心層。服務器和存儲設備位于不同的交換機上，這種拓撲可提供管理簡便性和出色的性能，從邊緣到核心的流量只通過一跳。邊緣-核心-邊緣拓撲邊緣-核心-邊緣拓撲將Initiator部署在一個邊緣層，將存儲設備部署在另一個邊緣層，將核心用于交換機互連或連接全網(wǎng)絡范圍的設備，這種架構允許獨立擴展計算和存儲資源，流量只需要經(jīng)過兩跳就可以從邊緣通過核心傳輸?shù)搅硪粋€邊緣設備。全網(wǎng)狀拓撲全網(wǎng)狀拓撲可以將服務器和存儲設備部署在任何地方，因為任意源和目的地之間的通信只需要一跳。Brocade推薦使用核心-邊緣拓撲。這種拓撲提供了以存儲為中心的可擴展基礎設施，F(xiàn)abric的核心端通常是由一個或更多導向器級交換機組成，提供了集中化的存儲連接。邊緣端是由Fabric架構交換機或?qū)蚱鹘M成，通過ISL連接到核心端。見下圖：如圖所示，存儲端口是由核心導向器提供支持，同時邊緣交換機提供多臺服務器到核心資源的扇入。這種設計允許路徑上不同級別服務器進行連接，滿足了不同應用的帶寬需求。架構特點：主機訪問存儲跳數(shù)為1跳，延時較低可實現(xiàn)按需橫向擴展（Core或邊緣）存儲可接入在不同的核心上，實現(xiàn)最大的負載均衡流量分布在不同的核心及邊緣降低的級聯(lián)線的需求，有效的提升了ISL的使用效率網(wǎng)絡中無單點交換機故障SAN總體架構介紹為了適應新一代業(yè)務的增長，在新一代SAN架構設計時，以保證未來五年內(nèi)的業(yè)務增長為前提，為公司定下了核心-邊緣的SAN架構，同時兼顧未來的同城災備中心，為將來的擴展奠定基礎。當前架構為雙機房架構，其中A機房和B機房又分布在同一樓層，存儲會分布在2個機房內(nèi)。數(shù)據(jù)中心SAN網(wǎng)絡架構生產(chǎn)SAN網(wǎng)絡架構為的核心架構，當前使用的設備為博科的6510交換機且為單機應用，無論從性能還是功能上均無法滿足用戶的業(yè)務增長需求。依據(jù)最佳實踐，Brocade提出以核心-邊緣建設生產(chǎn)數(shù)據(jù)中心的SAN網(wǎng)絡，以滿足的業(yè)務擴展，見以下拓撲圖（單邊）：從整個拓撲來看，核心-邊緣架構在提供了極佳的應用冗余性外，SAN網(wǎng)絡同時實現(xiàn)了集中存儲到應用體系的轉(zhuǎn)換，使主機和存儲各自的設計和擴展變的相對獨立。設備選型鑒于機房的設備布局及業(yè)務需求，決定使用6520來作為整個SAN網(wǎng)絡的核心交換機。6520硬件Brocade6520交換機可交付市場領先的16Gbps光纖通道技術和支持高度虛擬化環(huán)境的先進功能，進而滿足超大規(guī)模私有云存儲環(huán)境的需求。Brocade6510設計用于實現(xiàn)最高的靈活性和最有效的投資保護，支持48，62，96端口配置，而且可在高效的2U高度下支持2、4、8、10或16Gbps的速度。交換機高端功能簡介生產(chǎn)設備將會分布在A機房與B機房，因此數(shù)據(jù)傳遞可靠性尤為重要，Brocade傳輸功能保證數(shù)據(jù)快速準確的在數(shù)據(jù)中心中傳遞，業(yè)界首屈一指的FabricVision功能提供了多種工具保證雙數(shù)據(jù)中心的SAN網(wǎng)絡監(jiān)控及管理更簡單，更智能，更有效，確保數(shù)據(jù)安全無憂。FabricVisionSAN管理的目標是希望構建靈活的存儲區(qū)域網(wǎng)絡，靈活滿足高密度虛擬化、閃存和云基礎架構動態(tài)多變的可擴展性和性能要求。為實現(xiàn)這些目標，需要全新的工具來幫助確保不停機運行，快速識別潛在擁塞點，最大限度地提高應用性能并簡化管理。BrocadeFabricVision技術是對第五代光纖通道技術的擴展，可提供無與倫比的存儲網(wǎng)絡洞察力和可視性，利用強大的內(nèi)置監(jiān)控、管理和診斷工具幫助企業(yè)。提供強大的內(nèi)置監(jiān)控、管理和診斷工具，簡化管理、延長正常運行時間并降低成本通過OneTouch方式利用15年的SAN最佳實踐經(jīng)驗，借助預先定義的基于閥值的規(guī)則、操作和策略簡化監(jiān)控解決方案部署利用主動監(jiān)控和高級診斷工具避免50%的常見網(wǎng)絡故障。通過自動化測試和診斷工具消除近50%的維護成本。通過內(nèi)置監(jiān)控和診斷功能消除對昂貴的第三方工具的需求，幫助節(jié)約大量的資本支出。數(shù)據(jù)中心SAN的組成及擴展SAN網(wǎng)絡的組成SAN架構由核心（Core）交換機、邊緣（Edge）交換機及相關線路組成。根據(jù)最佳實踐，我們先定義每個SAN網(wǎng)絡遵循的規(guī)模限制：交換機個數(shù)<=10端口數(shù)<=2000SAN網(wǎng)絡的規(guī)模限制是為了保證網(wǎng)絡的穩(wěn)定性以及更好的進行運維管理服務。SAN網(wǎng)絡的擴展性下圖是目前設計的單邊SAN網(wǎng)絡內(nèi)最大規(guī)模交換機數(shù)連接示意圖，可以看到：網(wǎng)絡內(nèi)交換機采用冗余鏈路設計，每個SAN網(wǎng)絡最大有2臺核心Core交換機（按需擴展）和8臺邊緣Edge交換機（按需擴展）。SAN網(wǎng)絡的擴展原則SAN的設計是按5-7年設計，但是SAN的建設是按需擴展的，隨著未來業(yè)務的發(fā)展可能會帶來SAN網(wǎng)絡的擴展需求，對此Brocade有著如下定義：在既定SAN網(wǎng)絡內(nèi)某體系需要擴展時，如果某SAN網(wǎng)絡仍有相應擴展空間則進行縱向擴展；如某SAN網(wǎng)絡已達規(guī)模上限時則采取橫向擴展。以下為擴展基本原則即流程圖：總結根據(jù)以上內(nèi)容，以下是對SAN網(wǎng)絡擴展的總結：當端口需要擴展時，依據(jù)接入設備（存儲/主機）選擇接入核心還是邊緣交換機。當核心/邊緣交換機端口不足時首先選擇擴展板卡方式進行擴展當核心/邊緣交換機無縱向擴展選擇時，通過橫向擴展方式進行擴展，即新增交換機。所有核心/邊緣交換機接入需采用雙路冗余接入方式。SAN網(wǎng)絡配置規(guī)范管理網(wǎng)絡的界定為了統(tǒng)一起見，我們對管理網(wǎng)絡進行如下界定：管理網(wǎng)絡是指專門開辟一個用于管理的網(wǎng)絡，主要用于SAN網(wǎng)絡設備的管理和調(diào)試、SAN存儲設備的管理和調(diào)試等,包括BNASAN網(wǎng)絡管理系統(tǒng)均使用管理網(wǎng)絡，地址段為X.X.X.X的某個網(wǎng)段。管理網(wǎng)絡區(qū)可以設置有多個網(wǎng)段。SAN網(wǎng)絡設備的管理和調(diào)試、SAN存儲設備的管理和調(diào)試、BNASAN網(wǎng)絡管理系統(tǒng)可以分別使用不同的網(wǎng)段。如果網(wǎng)段之間設備需要相互通信，則需要相關的網(wǎng)段能互連互通。SAN網(wǎng)絡設備管理IP地址規(guī)劃推薦如下管理IP地址規(guī)劃：在同一個SAN網(wǎng)中光纖交換機的管理端口設在同一個網(wǎng)段內(nèi)。使用SAN網(wǎng)當?shù)氐乃接泄芾砭W(wǎng)絡的IP地址，地址段為X.X.X.X的某個網(wǎng)段。對于普通的SAN交換機，一臺交換機分配1個管理IP地址；對于導向器設備，每臺導向器需要3個管理IP地址，2個分配給CP板，1個分配給chassis。在導向器實際管理中，我們使用分配給chassis的IP地址作為管理地址。

SAN交換機級聯(lián)端口利用規(guī)劃SAN交換機端口連接規(guī)劃需要充分考慮過載比和實際使用環(huán)境。所謂的過載比，是指邊緣交換機所連接的服務器的數(shù)量與邊緣交換機到核心交換機的ISL數(shù)量比值，簡稱ISL過載比，或邊緣交換機所連接的服務器的帶寬綜合與邊緣交換機到核心交換機的ISL帶寬總和的比值，簡稱為帶寬過載比，還有一種過載比是服務器與存儲端口數(shù)量的比值。下面我們以ISL過載比進行SAN交換機端口連接規(guī)劃。一般情況下，邊緣交換機到核心交換機之間按7:1過載比進行規(guī)劃。對一般數(shù)據(jù)庫和應用服務器以及文件服務器等，其過載比一般建議7:1。帶寬要求不高的按15:1過載比進行規(guī)劃，一般服務器以及使用FC的客戶端，15：1一般都能勝任。個別帶寬要求較高的按3:1過載比進行規(guī)劃，例如核心數(shù)據(jù)庫和存儲端口的過載比一般建議3:1。別名的規(guī)劃為了日常管理的清晰和方便推薦使用別名賦予別名名稱一定的含義，如服務器SVR,存儲SG，物理磁帶庫LIB等別名名稱的規(guī)定和ZONE的名稱的規(guī)定相同ZONE的規(guī)劃以下是依據(jù)ZONE劃分的最佳實踐提出如下ZONE的設置規(guī)范：對于每臺主機的（initiator）1個端口，對應1個或數(shù)個存儲端口（target）一起構成1個ZONE。采用硬件分區(qū)技術，ZONE的成員要么都是PWWN，要么都是FC端口(DomainID,PortIndex)。推薦在核心交換機上配置ZONE。推薦FOS（FabricOS）版本最高的交換機上配置ZONE。不同的FabricZONE的配置信息可以相同，相互獨立。推薦將交換機的DefaultZONE設置成NoAccess。博科交換機的ZONE的命名為英文字母、阿拉伯數(shù)字和下劃線，必須以英文字母開頭，總長度不能超過64位，要區(qū)分英文字母大小寫。ZONE命名原則如下：Zone名稱由前端設備名稱別名、后端設備名稱2部分構成。名稱依次連接，不留空格，其表示形