1、頁眉內容江蘇有線昆山IDC網絡技術方案1.1 數據中心網絡建設需求1.1.1 現有 IDC 機房網絡分析江蘇有線昆山分公司現有數據中心機房網絡采用傳統以太網技術構建， 基礎 架構為二層組網結構， 核心設備為一臺華為 NE80 路由器， 接入交換機為各種主 流品牌交換機( H3C,HUAWEI,DLINK 等)，網管和非網管交換機都有。隨著各 類業務應用對業務需求的深入發展，業務部門對資源的需求正以幾何級數增長， 傳統的 IT 基礎架構方式給管理員和未來業務的擴展帶來巨大挑戰。具體而言存 在如下問題：維護管理難： 在傳統構架的網絡中進行業務擴容、遷移或增加新的服務 功能越來越困難，每一次變更都將

2、牽涉相互關聯的、不同時期按不同初 衷建設的多種物理設施， 涉及多個不同領域、 不同服務方向， 工作繁瑣、 維護困難，而且容易出現漏洞和差錯。比如數據中心新增加一個業務類 型，需要調整新的應用訪問控制需求，此時管理員不僅要了解新業務的 邏輯訪問策略，還要精通物理的防火墻實體的部署、連接、安裝，要考 慮是增加新的防火墻端口、還是需要添置新的防火墻設備，要考慮如何 以及何處接入， 有沒有相應的接口， 如何跳線，以及隨之而來的 VLAN 、 路由等等。當這樣的網絡資源需求在短期內累積，將極易在使得系統維 護的質量和穩定性下降，同時反過來減慢新業務的部署，進而阻礙公司 業務的推進和發展。資源利用率低：

3、傳統架構方式對底層資源的投入與在上層業務所收到的 效果很難得到同比發展，最普遍的現象就是忙的設備不堪重負，閑的設 備資源儲備過多，二者相互之間又無法借用和共用。這是由于對底層網 絡建設是以功能單元為中心進行建設的， 并不考慮上層業務對底層資源 調用的優化， 這使得對網絡的投入往往無法取得同樣的業務應用效果的 改善，反而浪費了較多的資源和維護成本。服務策略不一致： 傳統架構最嚴重的問題是這種以孤立的設備功能為中 心的設計思路無法真正從整個系統角度制訂統一的服務策略， 比如安全 策略、高可用性策略、業務優化策略等等， 造成跨平臺策略的不一致性， 從而難以將所投入的產品能力形成合力為上層業務提供強大

4、的服務支 撐。因此，按傳統底層基礎設施所提供的服務能力已無法適應當前業務急劇擴展 所需的資源要求， 本次數據中心建設必須從根本上改變傳統思路， 遵照一種嶄新 的體系結構思路來構造新的數據中心 IT 基礎架構。1.1.2 IDC 機房網絡目標架構面向服務的設計思想已經成為 Web2.0 下解決來自業務變更、 業務急劇發展 所帶來的資源和成本壓力的最佳途徑。 從業務層面上主流的 IT 廠商如 IBM 、BEA 等就提出了摒棄傳統的“面向組件( Component )”的開發方式，而轉向“面 向服務”的開發方式， 即應用軟件應當看起來是由相互獨立、 松耦合的服務構成， 而不是對接口要求嚴格、 變更復

5、雜、 復用性差的緊耦合組件構成， 這樣可以以最 小的變動、 最佳的需求溝通方式來適應不斷變化的業務需求增長。鑒于此，江蘇有線昆山分公司數據中心業務應用正在朝“面向服務的架構 Service Oriented Architecture (SOA )”轉型。與業務的 SOA 相適應，支撐業務運行的底層基礎 設施也應當向“面向服務”的設計思想轉變，構造“面向服務的數據中心”(Service Oriented Data Center ， SODC )。傳統組網觀念是根據功能需求的變化實現對應的硬件功能盒子堆砌而構建 企業網絡的， 這非常類似于傳統軟件開發的組件堆砌， 被已經證明為是一種較低 效率的資源

6、調用方式， 而如果能夠將整個網絡的構建看成是由封裝完好、 相互耦 合松散、但能夠被標準化和統一調度的“服務”組成，那么業務層面的變更、物 理資源的復用都將是輕而易舉的事情。 SODC 就是要求當 SOA 架構下業務的變 更，導致軟件部分的服務模塊的組合變化時， 松耦合的網絡服務也能根據應用的 變化自動實現重組以適配業務變更所帶來的資源要求的變化， 而盡可能少的減少 復雜硬件的相關性， 從運行維護、 資源復用效率和策略一致性上徹底解決傳統設 計帶來的頑疾。具體而言 SODC 應形成這樣的資源調用方式：底層資源對于上層應用就象 由服務構成的 “資源池” ，需要什么服務就自動的會由網絡調用相關物理資

7、源來 實現，管理員和業務用戶不需要或幾乎可以看不見物理設備的相互架構關系以及 具體存在方式。 SODC 的框架原型應如下所示：在圖中，隔在物理架構和用戶之間的“交互服務層”實現了向上提供服務、 向下屏蔽復雜的物理結構的作用， 使得網絡使用者看到的網絡不是由復雜的基礎 物理功能實體構成的， 而是一個個智能服務安全服務、 移動服務、計算服務、存儲服務等等，至于這些服務是由哪些實際存在的物理資源所提供，管理員和上層業務都無需關心，交互服務層解決了一切資源的調度和高效復用問題。SODC 和 SOA 構成的數據中心 IT 架構必將是整個數據中心未來發展的趨 勢，雖然實現真正理想的 SODC 和 SOA

8、融合的架構將是一個長期的歷程， 但在 向該融合框架邁進的每一步實際上都將會形成對網絡靈活性、 網絡維護、資源利 用效率、投資效益等等方面的巨大改善。因此 ADC 公司本次數據中心的網絡建 設，要求盡可能的遵循如上所述的新一代面向服務的數據中心設計框架。1.2 IDC機房網絡設計目標在基于 SODC 的設計框架下，江蘇有線昆山分公司新一代數據中心應實現 如下設計目標：簡化管理： 使上層業務的變更作用于物理設施的復雜度降低，能夠最低 限度的減少了物理資源的直接調度，使維護管理的難度和成本大大降 低。高效復用：使得物理資源可以按需調度， 物理資源得以最大限度的重用， 減少建設成本，提高使用效率。即能

9、夠實現總硬件資源占用量降低了， 而每個業務得到的服務反而更有充分的資源保證了。策略一致： 降低具體設備個體的策略復雜性，最大程度的在設備層面以 上建立統一、抽象的服務，每一個被充分抽象的服務都按找上層調用的 目標進行統一的規范和策略化，這樣整個 IT 將可以達到理想的服務規 則和策略的一致性。1.3 IDC 機房技術需求SODC 架構是一種資源調度的全新方式，資源被調用方式是面向服務而非 象以前一樣面向復雜的物理底層設施進行設計的， 而其中交互服務層是基于服務 調用的關鍵環節。 交互服務層的形成是由網絡智能化進一步發展而實現的， 它是 底層的物理網絡通過其內在的智能服務功能， 使得其上的業務層

10、面看不到底層復 雜的結構， 不用關心資源的物理調度， 從而最大化的實現資源的共享和復用。 要 形成 SODC 要求的交互服務層，必須對網絡提出以下要求：1.3.1 整合能力SODC 要求將數據中心所需的各種資源實現基于網絡的整合，這是后續上 層業務能看到底層網絡提供各類 SODC 服務的基礎。整合的概念不是簡單的功 能增多，雖然整合化的一個體現是很多獨立設備的功能被以特殊硬件的方式整合 到網絡設備中，但其真正的核心思想是將資源盡可能集中化以便于跨平臺的調 用，而物理存在方式則可自由的根據需要而定。數據中心網絡所必須提供的資源包括：智能業務網絡所必須的智能功能，比如服務質量保證、安全訪問控制、

11、設備智能管理等等；數據中心的三大資源網絡：高性能計算網絡；存儲交換網絡；數據應用 網絡。這兩類資源的整合將是檢驗新一代數據中心網絡 SODC 能力的重要標準。1.3.2 虛擬化能力虛擬化其實就是把已整合的資源以一種與物理位置、 物理存在、物理狀態等 無關的方式進行調用， 是從物理資源到服務形態的質變過程。 虛擬化是實現物理 資源復用、 降低管理維護復雜度、 提高設備利用率的關鍵， 同時也是為未來自動 實現資源協調和配置打下基礎。新一代數據中心網絡要求能夠提供多種方式的虛擬化能力， 不僅僅是傳統的網絡虛擬化（比如 VLAN 、VPN 等），還必須做到：交換虛擬化 智能服務虛擬化 服務器虛擬化第

12、2章 IDC 機房網絡技術實現根據以上新一代數據中心網絡的技術要求， 必須對傳統數據中心所使用的常 規以太網技術進行革新， 數據中心級以太網 （Data Center Ethernet ，簡稱 DCE） 技術由此誕生。DCE 之前也被一些廠商稱為匯聚型增強以太網技術 （Converged Enhanced Ethernet ,簡稱CEE）,是兼容傳統以太網協議并按新一代數據中心的傳輸要求， 對其進行全面革新的一系列標準和技術的總稱。 因此，為達到江蘇有線昆山分公 司的新一代數據中心的建設目標，必須摒棄傳統以太網技術，而采用新一代的 DCE （CEE ）技術進行組網。具體而言，本次江蘇有線昆山分

13、公司數據中心所采用的 DCE 技術，可以達 到以下的技術目標。2.1 整合能力2.1.1 一體化交換技術DCE 技術的重要目標是實現傳統數據中心最大程度的資源整合，從而實現 面向服務的數據中心 SODC 的最終目標。在傳統數據中心中存在三種網絡：使 用光纖存儲交換機的存儲交換網絡（ Fiber Channel SAN ），便于實現 CPU 、內 存資源并行化處理的高性能計算網絡 （多采用高帶寬低延遲的 InfiniBand 技術）， 以及傳統的數據局域網。 DCE 技術將這三種網絡實現在統一的傳輸平臺上，即 DCE 將使用一種交換技術同時實現遠程存儲、遠程并行計算處理和傳統數據網 絡功能。這樣

14、才能最大化的實現三種資源的整合， 從而便于實現跨平臺的資源調 度和虛擬化服務，提高投資的有效性，同時還降低了管理成本。江蘇有線昆山分公司業務的特點不需要超級計算功能， 因此本次項目要實現 存儲網絡和傳統數據網絡的雙網合一，使用 DCE 技術實現二者的一體化交換。 當前在以太網上融合傳統局域網和存儲網絡唯一成熟技術標準是 Fiber Channel Over Ethernet技術（FCoE），它已在標準上給出了如何把存儲網（SAN）的數據 幀封裝在以太網幀內進行轉發的相關技術協議。 由于該項技術的簡單性、 高效率、 經濟性，目前已經形成相對成熟的包括存儲廠商、網絡設備廠商、主機廠商、網 卡廠商的

15、生態鏈。本次數據中心建設將做好FCoE的基礎設施準備，并將在下一階段完成基于 FCoE技術的雙網融合。2.1.2無丟棄以太網技術為保證一體化交換的實現，DCE改變了傳統以太網無連接、無保障的 Best Effort傳輸行為，即保證主機在通過以太網進行磁盤讀寫等操作、高性能計算所 要求的遠程內存訪問、并行處理等操作，不會發生任何不可預料的傳輸失敗， 達 到真正的“無丟包”以太網目標。 DCE在網絡中以硬件及軟件的形式實現了以 下技術：能來提供基于數據流類別的流量控制通過基于IEEE 802.1 P 類別通道的PAUSE功流量類別的帶寬管理以及這些流量的優先級別定義IEEE 802.1Qaz 標準

16、定義基于 IEEE 802.1p擁塞（BCN/QCN）IEEE 802.1Qau 標準定義如何管理網絡中的基于優先級類別的流控在DCE的理念中是非常重要的一環，通過它和 擁塞管理的相互合作，我們可以構造出“不丟包的以太網”架構；這對 今天的我們來說，它的誘惑無疑是不可阻擋的。不丟包的以太網絡提供 一個安全的平臺，它讓我們把一些以前無法安心放置到數據網絡上的重 要應用能安心的應用到這個DCE的數據平臺。帶寬管理在以太網絡中提供類似于類似幀中繼(Frame Relay)的帶寬控 制能力，它可以確保一些重要的業務應用能獲得必須的網絡帶寬；同時 保證網絡鏈路帶寬利用的最大化。擁塞管理可以提供在以太網絡

17、中的各種擁塞發現和定位能力，這在非連 接的網絡中無疑是一個巨大的挑戰； 可以說在目前的所有非連接的網絡 中，這是一個嶄新的應用；目前的研究方向主要集中在后向擁塞管理 (BCN)和量化擁塞管理(QCN)這兩個方面。2.1.3 性能支撐能力為保證實現一體化交換和資源整合， DCE 還必須對傳統以太網的性能和可 擴展性的進行革新。首先為保證三網合一后的帶寬資源，萬兆以太網技術只是 DCE 核心層帶寬 的起點。而正在發展中的 40G/100G 以太網才是 DCE 技術將來的主流帶寬。因 此，要保證我們今天采購的設備能有 5年以上的生命周期， 就必須考慮硬件的可 擴展能力。這也就是說從投資保護和工程維護

18、的角度出發， 我們需要一個 100G 平臺的硬體設備，即每個設備的槽位至少要支持 100G 的流量（全雙工每槽位 200Gbps ），只有這樣才能維持該設備 5 年的生命周期。同時從經濟性的角度 來考慮，如果能達到 400G 的平臺是最理想的。另外存儲網絡和高性能計算所要求的通過網絡實現的遠程磁盤讀寫、 內存同 步的性能需求， DCE 設備必須提供比傳統以太網設備低幾個數量級的端口間轉 發延遲。 DCE 要求的核心層的三層轉發延遲應可達到 30us 以下，接入層的二層 轉發延遲應可在34us以下。這都是傳統以太網技術無法實現的性能指標要求。2.1.4 智能服務的整合能力眾所周知， 應用的復雜度

19、是在不斷的提升， 同時伴隨著網絡的融合， 應用對 網絡的交互可以預見的是網絡的復雜度也將不斷的提升。這也印證我們的判 斷：應用對網絡的控制將逐步增強，網絡同時也在為應用而優化。因此構建一個單業務的簡單 L2 轉發網絡并不是網絡設備的設計方向； 全業 務的設備和多業務融合的網絡 才是我們所需要的環境。那么我們需要什么樣的全業務呢，很明顯 Data Center Ethernet 是一個必 備的項目，同時我們至少還需要其它的基本業務屬性來保障一個多業務網絡的運 行，如：服務質量保證 訪問列表控制 虛擬交換機的實現 網絡流量分析 CPU 抗攻擊保護QoSACLVirtual SwitchNetflo

20、wCoPP遠程無人值守管理 CMP 嵌入式事件管理 EEM當然，所有這些業務的實現都是在不影響轉發性能的前提條件下的。 失去這 個大前提，多業務的實現就變得毫無意義。所以設計一個好的產品就必須顧全 多業務、融合網絡這個大前提 。如何使這 些復雜的業務處理能夠在高達 100G 甚至是 400G 的線路卡上獲得線速處理的性 能是考驗一個硬件平臺的重要技術指標。最終的勝出者無疑就是能夠用最小的代價來換取最大業務實現和性能的設 備平臺。2.2 虛擬化能力DCE 對網絡虛擬化不僅僅是傳統意義上的 VLAN 和 VPN ，為實現 SODC 的交互服務層資源調度方式， DCE 還能夠做到以下的虛擬化能力。2

21、.2.1 虛擬交換技術虛擬交換技術可以實現當我們使用交換機資源時， 我們可以不用關心交換服 務的物理存在方式， 它可能是由一臺交換機提供， 也可能是兩臺交換機設備， 甚 至可以是一個交換機中的幾個虛擬交換機之一。思科的 DCE 技術就提供了將兩 個物理交換機虛擬為一臺交換機的虛擬交換系統 （VPC ）技術，以及將一個交換 機虛擬化為多個交換機的虛擬設備（ VDC ）技術。一）虛擬交換系統（ VPC ）VPC 技術可將網絡的雙核心虛擬化為單臺設備，虛擬交換機性能倍增、管 理復雜度反而減半。具體有如下優勢：單一管理界面： 管理界面完全為單臺設備管理方式，管理和維護工作量 減輕一半；性能翻倍： 虛擬

22、交換系統具備兩臺疊加的性能，與其它交換機通過跨物 理機箱的雙千兆以太網或雙萬兆以太網捆綁技術， 遠比依靠路由或生成 樹的負載均衡更均勻，帶寬和核心吞吐量均做到真正的翻倍。協議簡單： 虛擬交換系統與其它設備間的動態路由協議完全是單臺設備與其它設備的協議關系，需維護的路由鄰居關系數以二次方根下降，在 本系統中可達45倍下降，工作量和部署難度大大降低；虛擬交換系 統同時作為單臺設備參與生成樹計算關系， 生成樹計算和維護量以二次 方根下降， 在本系統中可達 45倍下降， 工作量和部署難度大大降低。 冗余可靠： 虛擬交換系統形成虛擬單機箱、物理雙引擎的跨機箱冗余引 擎系統，下連接入交換機原來需要用動態路

23、由或生成樹實現冗余切換 的，在 VPC 下全都可以用簡單的鏈路捆綁實現負載均衡和冗余，無論 是鏈路還是引擎，冗余切換比傳統方式更加迅捷平滑，保持上層業務穩 定運行。以前兩個單引擎機箱的其中一臺更換引擎，一定會導致數據的 丟失，而虛擬交換系統里任意一臺更換引擎，數據可以保證 0 丟失。二）虛擬設備系統（ VDC ）VDC 技術則可以實現將一臺交換機劃分為多個虛擬的子交換機，每個交換 機擁有獨立的配置界面，獨立的生成樹、路由、 SNMP、 VRRP 等協議進程，甚 至獨立的資源分配（內存、TCAM、轉發表等等）。它與 VSS配合，將在實現 更加靈活的、 與物理設備無關的跨平臺資源分配能力， 為數據

24、中心這種底層設施 資源消耗型網絡提供更經濟高效的組網方式， 也為管理和運營智能化自動化創造 條件。物理設備虛擬成若干個邏輯上的獨立設備的圖示：2.2.2 網絡服務虛擬化在服務資源整合以及設備虛擬化的基礎之上， DCE 要求每個虛擬化的網絡 應用區都有自己的業務服務設施，比如自己的防火墻、IDS、負載均衡器、SSL加速、網絡服務，這些如果都是物理上獨占式分配的，將是高成本、低效率 且難于維護管理的。 DCE 網絡在提供這些網絡智能服務時都可以以虛擬化的方 式實現各類服務的資源調用，思科的 DCE 網絡中就可以實現虛擬防火墻、虛擬 IDS、虛擬負載均衡器、虛擬SSL VPN網絡等等，從而實現網絡智

25、能服務 的虛擬化。2.2.3 服務器虛擬化服務器虛擬化可以使上層業務應用僅僅根據自己所需的計算資源占用要求來對CPU、內存、I/O和應用資源等實現自由調度，而無須考慮該應用所在的物 理關聯和位置。當前商用化最為成功的服務器虛擬化解決方案是 VMWare 的 VMotion 系列，微軟的 Virtual Server 和許多其它第三方廠商 （如 Intel 、AMD 等） 也正在加入，使得服務器虛擬化的解決方案將越來越完善和普及。然而人們越來越意識到服務器虛擬化的系統解決方案中除了應用、 主機、操 作系統的角色外， 網絡將是一個更為至關重要的角色。 網絡將把各個自由聯系成 為一個整體，網絡將是實

26、現自由虛擬化的橋梁。服務器虛擬化需要 DCE 能夠提 供以下能力：資源的整合： 業務應用運行所依賴的物理計算環境都需要網絡實現連 接，然而在傳統網絡中，傳輸數據的數據網、互連 CPU 和內存的計算 網、互連存儲的存儲網都是孤立的，這就無法真正實現與物理無關的服 務器資源調度，因此實現真正意義上徹底的服務器虛擬化，前面提到的 DCE 三網一體化交換架構是必須的條件。網絡的虛擬機意識： 傳統網絡是不具備虛擬機意識的，即在網絡上傳遞 的信息是無法區別它是來自于哪個虛擬機， 也無法在網絡上根據虛擬機 來提供相應的網絡服務，當虛擬機遷移，也沒有相應的網絡跟蹤手段保 證服務的全局一致性。不過這些都是 DC

27、E 正在解決的問題，一些 DCE 的領導廠商，比如思科，已經在推出的商用化 DCE 產品中提供了相應 的虛擬機標識機制， 并且思科已經聯合 VMware 等廠商將這些協議提交 IEEE 實現標準化。虛擬機遷移的網絡環境： 服務器虛擬化是依靠虛擬機的遷移技術實現與 物理資源無關的資源共享和復用的。虛擬機遷移需要一個二層環境，這 導致遷移范圍被局限在傳統的 VLAN 內。我們知道 Web2.0 、云計算等 概念都需要無處不在的數據中心， 那么如何實現二層網絡的跨地域延展 呢？傳統的L2 MPLS技術太復雜，于是IEEE和IETF正在制定二層多 路徑（即二層延展）的新標準， DCE 的領導廠商思科公

28、司也提出了一 種新的協議標準 Cisco Over the Top Virtualization（OTV） 來解決跨城域 或廣域網的二層延展性問題， 從而為服務器虛擬化提供可擴展的網絡支 撐。2.3 自動化自動化是 SODC 架構中上層自動優化的實現服務調用必須條件。在高度整 合化和虛擬化的基礎上， 服務的部署完全不需要物理上的動作， 資源在虛擬化平 臺上可以與物理設施無關的進行分配和整合， 這樣我們只需要將一定的業務策略輸入給智能網絡的策略服務器， 一切的工作都可以按系統自身最優化的方式進行 計算、評估、決策和調配實現?，F在商用的 DCE 自動化解決方案包括管理自動 化和業務部署自動化。江蘇

29、有線昆山分公司數據中心將在后續的建設中逐步完善自動化管理和自 動化業務部署，但需要在本期通過 DCE 技術的實施打下未來自動化部署的堅實 基礎。2.4 綠色數據中心DCE 技術的整合化、虛擬化和自動化本身就是在達到同樣業務能力的要求 下實現高效率利用硬件資源、 減少總硬件投入、 節約維護管理成本等方面的最佳 途徑，這本身也是綠色數據中心的必要條件。另外 DCE 產品必須在硬件實現上實現低功耗、高效率，包括越小納米的芯片要比大納米的芯片省電）（在接入層使用二層設備往往要比三層設使用定制化的專業設計的芯片往往比通利用最新半導體工藝 降低邏輯電路的復雜度 備省電） 減少通用集成電路的空轉 用芯片省電

30、）等等在業務能力相當的前提條件下， 越小的功耗由此可見，對于一臺網絡設備，就代表越先進的技術。在 DCE 設備一般可以做到維持三層的全業務萬兆吞吐功 耗小于 25W 、二層的萬兆吞吐功耗小于 13W綜上所述，在本次江蘇有線昆山分公司新一代數據中心網絡的建設中， 將采 用不同于傳統以太網技術的 DCE 以太網技術，構建面向服務的高效能數據中心 網絡平臺。第 3章 數據中心網絡改造建議3.1 總體網絡結構本次江蘇有線昆山分公司數據中心網絡的建設將采用新一代的 DCE 技術， 并使用 DCE 技術的代表廠商 Cisco 公司的 Nexus 系列產品。網絡結構將采用大 型數據中心典型的層次化、模塊化組

31、網結構。3.1.1 層次化結構的優勢采用層次化結構有如下好處：節約成本： 園區網絡意味著巨大的業務投資正確設計的園區網絡可以提 高業務效率和降低運營成本。便于擴展：一個模塊化的或者層次化的網絡由很多更加便于復制、改造 和擴展的模塊所構成，在添加或者移除一個模塊時，并不需要重新設計 整個網絡。 每個模塊可以在不影響其他模塊或者網絡核心的情況下投入 使用或者停止使用。加強故障隔離能力：通過將網絡分為多個可管理的小型組件，企業可以 大幅度簡化故障定位和排障處理時效。3.1.2 標準的網絡分層結構層次化結構包括二個功能部分，即接入層、核心層，各層次定位分別如下核心層：是企業數據交換網絡的骨干，本層的設

32、計目的是實現快速的數 據交換，并且提供高可靠性和快速的路由收斂。接入層：負責提供服務器、用戶終端、存儲設施等等的網絡第一級接入 功能，另外網絡智能服務的初始分類， 比如安全標識、 QoS 分類將也是 這一層的基本功能。3.1.3 IDC 機房網絡結構根據業界企業網絡最佳設計實踐參考，在邊緣節點端口較少的小型網絡中，可以考慮將核心層與分布層合并，小型網絡的網絡規模主要由接入層交換機決定。江蘇有線昆山分公司的業務應用特點又決定了核心層將相對接入的網絡模塊 較少，只有VOD服務器接入、數據中心匯聚接入、廣域網接入等三塊，如果采 用單獨的大容量物理核心設備將造成浪費，而如果采用低端核心設備則會對業務

33、相對繁忙的數據中心匯聚形成瓶頸，也影響網絡整體的穩定性。鑒于此，我們采用核心層設備Cisco Nexus 7000（ IDC機房已有）作為核心，但虛擬化為兩套交換機，一套用于全網核心，一套用于數據中心匯聚。這樣做的優勢如下：邏輯上仍然是清晰的兩套設備，完全保持了前述網絡分層結構的優勢。 在性能上實現了網絡核心和數據中心匯聚交換機資源的共享和復用，非常好的解決了核心層數據量和數據中心數據量可能存在較大差異的問 題。以較低的投入升級了數據中心匯聚交換機的能力 （相當于可以與核心層 復用4Tbps以上的交換能力），適于下一階段要進行的數據中心雙網融 合的資源需求。減少了設備數量，降低了設備投入成本、

34、功耗開銷和維護管理的復雜度。 充分利用原有的NEXUS 7000交換機，發揮最大使用效率。3.1.4 IDC機房網絡設備統計與規劃位置業務功能網絡交換機規劃數量備注機架1DHCP,網站32 口千兆萬兆自 適應電口接入交 換機2機架2智慧昆山等32 口千兆萬兆自 適應電口接入交 換機2機架3華數老系統32 口千兆萬兆自 適應電口接入交 換機2機架4華數老系統32 口千兆萬兆自 適應電口接入交 換機2機架5VOD服務器原有 nexus 7018核心交換機2機架6托管服務器無機架7托管服務器無機架8業務系統服務器原有 nexus 7018核心交換機2機架9托管服務器無3.2 IDC機房網絡設計本次我

35、們采用原有的Cisco Nexus 7018系列大型DCE交換機，每臺 Nexus7000劃分為兩個VDC (虛擬交換機)，一個虛擬交換機作為 ADC公司 全網核心，另一個虛擬交換機作為數據中心的分布匯聚層交換機。本次每臺N7018實配48個萬兆端口，這些端口都可在物理上劃分為屬于全 網核心的虛擬交換機和屬于數據中心匯聚的虛擬交換機，每個虛擬交換機從軟件 進程到配置界面都各自獨立，但可以共享和復用總的交換機資源。每個虛擬交換機都支持vPC技術(Virtual Port-Channel )，即可以實現跨 交換機的端口捆綁，這樣在下級交換機上連屬于不同機箱的虛擬交換機時，可以把分別連向不同機箱的萬

36、兆鏈路用與IEEE 802.3ad兼容的技術實現以太網鏈路 捆綁，提高冗余能力和鏈路互連帶寬的同時，大大簡化網絡維護。核心層虛擬交換機與其它設備互連都采用路由端口和三層交換方式，因此采用vPC進行鏈路捆綁時使用三層端口鏈路捆綁技術。如圖所示：使用Cisco Nexus 2000系列DCE接入交換機，可以實現數據中心接入層 的分級設計。本次建議IDC使用具備32個1G/10G以太網端口、8個萬兆上連端口的Nexus 2232FT 。 Nexus 2000是NEXUS 7018系列的交換矩陣延展器，通過部 署在機柜(Top of the Rack，ToR )的Nexus 2232FT，可以將本地接

37、入的高密 度服務器上連到nexus 7018上，通過連接多臺Nexus 2232FT ,NEXUS 7018 可 以將驚人交換能力延展到多個機柜，實現高性能、高密度、低延遲的DCE服務器群接入能力。而且作為 NEXUS 7018的延展設備，Nexus 2232FT無需自身 進行復雜配置，所有管理和配置都可在其上游的NEXUS 7018上完成，大大簡化了多機柜、高密度服務器接入設備的管理復雜度。Nexus 2000都是按柜頂(Top of the Rack , ToR)交換機的尺寸設計，12U的高度內緊湊的集成了高密度的 DCE端口，但同時提供可熱插拔的冗余風 扇組和冗余電源系統，其可靠性遠非其

38、它傳統以太網中固定接口小交換機所可 比。3.3數據中心地址路由設計核心層和接入層之間使用交換端口， 實現二層交換。如前所述，當前的主流 虛擬機軟件，如VMware、Virtual Server等都需要在二層交換下實現虛擬機遷 移，因此在數據中心接入層使用二層交換將方便虛擬機的遷移和調度。當前由于Cisco獨特的虛擬交換機技術和vPC跨設備端口捆綁技術的使用，可以實現在 二層結構下完全沒有環路，從根本上解決了生成樹算法收斂慢、不穩定、故障多 的問題，也使得在一個數據中心內二層結構下的可擴展性與三層結構沒有根本的 區別。如下圖所示，只要經過適當設計，本項目接入層的二層部分將沒有環路， 快速生成樹算

39、法將只用于在誤操作等極端情況下的防范手段。當IEEE的改進生成樹協議或者IETF的二層路由協議技術成熟，或者直接 使用思科當前就可以提供的OTV技術，二層結構還可以擴展到城域和廣域網中 去，擴大服務器虛擬化的調度范圍，向云計算的理想邁進。分布匯聚層的智能服務機箱相關的地址和邏輯設計將在后面專項的智能服 務介紹中詳細闡述。3.3.1 VLAN/VSAN和地址規劃Nexus 7018和2000將可以把主機服務器和存儲設備一并接入統一交換, 其中數據網絡部分實現傳統的 VLAN設計，而存儲網絡則支持 VSAN 。在DCE的一體化交換架構下，數據網絡部分的邏輯結構設計（地址和路由） 與分層設計的傳統網

40、絡完全兼容，因此用戶現有的主機、服務器在割接到新數據 中心時無需變更地址，實現平滑過度。3.4數據中心設計技術優勢類別DCE方案性能核心和匯聚的性能- N7000 是 16Tbps ；-100G以太網平臺；- 每插槽550Gbps ；接入層性能- 萬兆端口全線性；-千兆端口基本線性（1.2:1）；總體服務質量- 先進的軟硬件機制，保證不丟 包的以太網可靠性核心-NX-OS操作系統的穩定性， 更徹底的多線程保護機制；- 支持vPC技術保證雙核心可 靠性；接入層- 所有接入層支持雙電源、可在 線更換的風扇系統；-NX-OS操作系統，穩定的模 塊化操作系統安全性核心- 分布式控制平面保護能力接入層-

41、 豐富的二層安全機制- 不支持三層安全保護機制可管理 性核心和匯聚-vDC能力-vPC能力- 普通終端Con sole 口- 特殊的無需協議棧的網管端口- 被管理物理實體2套，管理簡 單接入層- 采用FEX （虛擬交換矩陣延 展），通過N7000管理N2000- 被管理實體4套，管理簡單可選管理系統-CiscoWorks- Cisco Fabric Man ager- Cisco Data Center Network Man ager管理成熟性- 已部署1000多套，正逐步成 熟3.4.1下一代數據中心技術優勢類別DCE方案整合化一體化交換能力- 支持一體化交換技術：數據以太網、 高性能計算

42、網絡、存儲局域網（SAN） 三網整合- 支持ANSI FCoE標準- 實現高帶寬、大容量、低延遲、無丟 棄技術，整合SAN網絡- 實現咼帶寬、大容量、低延遲、無丟 棄技術，代替InfiniBand技術無丟棄的以太網技術- 支持優先流量控制（根據優先級的暫停幀支持）- 支持IEEE 802.1Qaz （帶寬管理）- 移植SAN Credit技術實現幀流控-IEEE 802.1Qau 標準的擁塞管理 （BCN/QCN）低延遲- 端口到端口的低延遲能力（二層3us , 三層30us）高吞吐能力- 面向100G以太網的技術-16T吞吐能力虛擬化系統虛擬化- 使用VDC （虛擬設備）和VPC （虛擬 交

43、換系統）兩種技術? 核心和匯聚采用VDC? 智能服務機箱使用VPC網絡虛擬化- 支持VDC和VPC網絡智能服務虛擬化- 防火墻系統、負載均衡系統等支持虛 擬化服務器虛擬化-一體化交換保證存儲和計算資源整合 程度咼- 網絡支持VN-link ,有虛擬機策略遷移 能力- 提供高吞吐、低延遲、可擴展的二層 接入環境，利于虛擬機遷移自動化業務部署自動化- 一體化交換、資源整合能力，具備虛 擬機意識的虛擬化能力，保證基于服 務器和應用業務部署的自動化實現綠色數 據中心資源利用率-VDC技術減少核心和匯聚設備的硬 件數量，資源復用率高- 支持一體化交換技術，減少網絡硬件 和服務器網卡數量，提高硬件復用率，

44、 減少能耗低能耗半導體工乙- 基本米用專業設計定制的芯片，不使 用通用芯片，避免通用器件中大量無 用器件的能耗- 采用更新的低能耗半導體工藝，整合 FCoE的Nuova芯片以太網網卡比分 立的以太網卡和存儲 HBA卡能耗更 低設備送風方式- 專為高密度數據中心機房設計，從核 心到接入都按取新的數據中心機房制 冷方式優化萬兆端口能耗- 專為咼密度萬兆端口設計，接入層米 用分布式交換矩陣延展技術，減少萬 兆布線距離，可大量采用低能耗、低 成本的10GE BASE - CU SFP+線纜接入層產品定位按新一代虛擬化數據中心優化，其接 入層設備具備高密度萬兆線和千兆的 線性處理能力，適于運行VMwar

45、e等 平臺，但去掉功耗較大、接入層不需 要的功能，如三層交換、復雜的路由 協議、MPLS等3.5相關網絡設備介紹Cisco Nexus 2000系列交換機介紹為了將Nexus 7018的服務延展到更多機柜，提供更高密度的DCE接入，但又無需增加管理上的負擔，思科提供了Nexus 2000 Nexus7000專用的延展器，它提供高密度的千兆或萬 兆本地接入，然后用幾乎線性的性能完成萬兆的上連，而所有管理則完全放在上連的Nexus5000上，從而提供了最佳性價比、且支持 VN-link等高級DCE功能的數據中心接入解 決方案。Cisco NX-OS數據中心級操作系統簡介產品概述Cisco NX-O

46、S是一個數據中心級的操作系統，該操作系統體現模塊化設計、永續性和可維護 性。在業界成熟的 Cisco SAN-OS軟件的基礎上，Cisco NX-OS確保持續的可用性，并為承擔關鍵業務的數據中心環境設立標準。Cisco NX-OS的自行恢復和高度模塊化的設計實現對 業務無影響的運行，提供出色的運營靈活性。XMLCisco NX-OS是面向數據中心的需要而設計的，它所提供的強大、豐富的特性集，不僅能滿 足當前數據中心的路由、交換和存儲網絡要求，還能滿足未來的數據中心需求。憑借 界面和類似Cisco IOS?軟件的CLI，Cisco NX-OS為相關網絡標準和各種真正數據中心級思 科創新的實施提供

47、鼎力支持。特性和優勢靈活性和可擴展性? 軟件兼容性：Cisco NX-OS 4.0能與運行各種Cisco IOS軟件操作系統的思科產品互操OS互操作。作。 Cisco NX-OS 4.0 也能與遵循本產品簡介中所列舉的網絡標準的網絡? 整個數據中心通用的軟件： Cisco NX-OS 簡化數據中心的操作環境， 提供一個統一的 OS， 能夠在數據中心網絡的各個區域運行，包括局域網、SAN 和第四到七層網絡服務。? 模塊化軟件設計：Cisco NX-OS能夠在SMP、多核CPU和分布式線卡處理器上支持分布 式多線程處理功能。硬件表編程等需要大量計算的任務能卸載給分布在多個線卡上的專 用處理器。 C

48、isco NX-OS 模塊化進程在獨立受保護內存空間中逐個按需啟用。因此，只 有當一個特性啟用后，進程才會啟動，開始分配系統資源。模塊化進程由實時預先排程 器管理，有助于確保及時處理關鍵功能。? 虛擬設備環境（VDC） : Cisco NX-OS能夠將OS和硬件資源劃分為模擬虛擬設備的虛擬環 境。每個VDC擁有其自身的軟件進程、專用硬件資源（接口）和獨立的管理環境。 VDC有助于將分立網絡整合為一個通用基礎設施，保留物理上獨立的網絡的管理界限劃分和故 障隔離特性，并提供單一基礎設施所擁有的多種運營成本優勢?？捎眯? 持續系統運營： Cisco NX-OS 提供持續的系統運營，維護、升級和部署軟

49、件認證，同時不會造成服務中斷。通過將進程模塊化、模塊化修補、思科運行中軟件升級（ISSU ）功能和不間斷轉發（NSF）平穩重啟相結合，極大地降低軟件升級和其他操作所帶來的影響。? 思科ISSU :思科ISSU利用冗余引擎在平臺上提供透明的軟件升級功能，極大地縮短停 機時間，使客戶能夠在極少影響或不影響網絡運營的情況下，集成最新的特性和功能。? 迅速開發增強特性和故障修復： Cisco NX-OS 的模塊化特性使新的特性、增強特性和故 障修復能夠迅速地集成入軟件。因此，模塊化修復功能能夠在極短的時間內完成開發、 測試和交付使用，滿足緊迫的時間要求。利用ISSU，這些更新鏡像能在不干擾正常運行的情

50、況下安裝。? 進程應急啟動： 關鍵進程在受保護的內存空間中運行，獨立于其他進程和內核，從而提 供精確的服務分隔和故障隔離，支持模塊化修補和升級，以及快速重啟功能。各進程能 夠分別重啟，不會丟失狀態信息，不會影響數據轉發，因此，在升級或故障后，進程會 在數毫秒內重啟，而不會影響鄰近的設備或服務。利用基于標準的NSF平穩重啟機制，擁有大量狀態信息（如IP路由協議）的進程能夠得以重啟；其他進程則借助本地永久存 儲服務（PSS）維持其狀態。? 狀態化引擎故障切換： 冗余引擎始終保持同步，支持快速的狀態化引擎故障切換。它具 有先進的檢驗功能，有助于確保故障切換后整個分布式架構中狀態的統一性和可靠性。?

51、可靠的進程間通信： Cisco NX-OS提供進程間可靠的通信功能，能夠確保故障過程中和 出現不利情況下，所有信息都得以傳送和正確地發揮作用。該通信功能有助于確保進程 同步化和狀態的一致性，這些進程能夠在分布于多個引擎和I/O模塊上的處理器上啟用。? 冗余交換以太網帶外信道 （EOBC） : Cisco NX-OS能充分利用冗余EOBC來支持控制和I/O 模塊處理器間的通信。? 基于網絡的可用性： 通過提供工具和功能，使故障切換和回退透明、迅速，從而優化網 絡收斂。例如， Cisco NX-OS 提供生成樹協議增強特性，如 BPDU 防護、環路防護、根防 護、 BPDU 過濾器和網橋保證，以確

52、保生成樹協議控制平面的狀態正常；UDLD 協議；路由協議NSF平穩重啟；毫秒間隔的 FHRP; SPF優化，女0 LSA Pacing和iSPF;以及帶可 調整計數器的IEEE 802.3ad鏈路匯聚。可維護性? 故障排除和診斷： Cisco NX-OS 擁有獨特的可維護性功能，使網絡操作員能夠根據網絡 趨勢和事件提前采取行動，從而增強網絡規劃，縮短網絡運營中心（NOC）和廠商的響應時間。呼叫到家、思科通用在線診斷（GOLD）和Cisco NX-OS嵌入式事件管理器（EEM）是Cisco NX-OS 用于提高可維護性的部分特性。? 交換端口分析器（SPAN） : SPAN特性允許管理員在不對運

53、營造成影響的情況下，將SPAN進程流量導向連接一個外部分析器的SPAN目的地端口，從而對端口 （稱為SPAN源端口）間的所有流量進行分析。? 嵌入式數據包分析器：Cisco NX-OS擁有一個內置數據包分析器，用于控制平面流量的監控和故障排除。該數據包分析器以常用的 Wireshark開放源網絡協議分析器為基礎而構 建。? 智能呼叫到家： 智能呼叫到家特性能夠持續監控軟硬件，并通過電子郵件發送關鍵系統 事件通知。它擁有多種消息格式，能與尋呼機服務、標準電子郵件和基于XML 的自動分析應用等出色兼容。它提供報警分組功能和可定制目的地功能。該特性有多種用途，例 如直接尋呼網絡支持工程師、發送電子郵

54、件給NOC，以及利用思科自動通知服務直接開啟一個思科技術支持中心 （TAC） 案例等。 這一特性向實現自治系統運營邁出重要的一步， 使網絡設備在出現問題時能通知IT,確保故障得以迅速地解決，縮短解決時間，最大限度地延長系統正常運行時間。? 思科GOLD:思科GOLD是一個診斷套件，負責檢驗硬件和內部數據路徑是否按設計要 求運行。思科 GOLD 特性集包括引導時間診斷、持續監控,以及按需和定期測試等。這 個業界領先的診斷子系統能夠執行對當今連續運行環境十分重要的快速故障隔離和持 續系統監控功能。? 思科EEM:思科EEM是一項強大的設備和系統管理技術，集成在Cisco NX-OS之中。思科EEM

55、能夠幫助客戶充分利用思科軟件的網絡智能優勢，使其能根據發生的網絡事件， 定制所采取的行動。? Cisco Netflow: Netflow是Cisco NX-OS中的一個組件，它支持版本 5和版本9輸出，以及 靈活 Netflow 配置模式和基于硬件的樣本 Netflow ,提高可擴展性。可管理性? 可編程XML界面：在NETCONF業界標準的基礎上，Cisco NX-OS XML界面為設備提供一個統一的 API ,使客戶能快速開發和創建工具,增強網絡性能。? SNMP協議：Cisco NX-OS符合SNMP版本1、2和3的規定，支持廣泛的管理信息庫 （MIB）。? 配置驗證和回退： 憑借 Cisco NX-OS ,系統操作員能夠在應用配置前,驗證配置的一致 性和所需硬件資源的可用性。因此,設備能預配置,之后再應用經過驗證的配置