1、公司數(shù)據(jù)中心建設(shè)服務(wù)質(zhì)量保證設(shè)計(jì)方案1.1服務(wù)質(zhì)量保證設(shè)計(jì)分類XXX公司本次網(wǎng)絡(luò)的服務(wù)質(zhì)量保證 （QoS ）設(shè)計(jì)主要包 括兩個(gè)方面：數(shù)據(jù)中心服務(wù)質(zhì)量設(shè)計(jì)：由于采用Data CenterEthernet技術(shù)，因此主要是 DCE以太網(wǎng)QoS設(shè)計(jì)；傳統(tǒng)局域網(wǎng)廣域網(wǎng)服務(wù)質(zhì)量設(shè)計(jì)：這一部分業(yè)務(wù)類型復(fù)雜，包括業(yè)務(wù)數(shù)據(jù)、IP電話、視頻會(huì)議等等，加上 傳統(tǒng)局域網(wǎng)和廣域網(wǎng)技術(shù)都有自身機(jī)制和帶寬資源的 制約，因此是 QoS設(shè)計(jì)的重點(diǎn)，這部分將主要是IPQoS設(shè)計(jì)。1.2數(shù)據(jù)中心服務(wù)質(zhì)量設(shè)計(jì)本次數(shù)據(jù)中心采用 Data Center Ethernet （ DCE）技術(shù)，DCE的設(shè)計(jì)目標(biāo)之一就是為未來大型數(shù)據(jù)中心的業(yè)務(wù)

2、提供傳輸保障。我們知道衡量 QoS質(zhì)量的四個(gè)要素是：帶寬， 延遲，延遲抖動(dòng)和丟棄率。在資源整合后的面向服務(wù)的數(shù)據(jù)中心中，對(duì)帶寬、延遲和丟棄率的要求是非常苛刻的，因此 要達(dá)到新一代數(shù)據(jù)中心的設(shè)計(jì)目標(biāo)，必須使DCE能夠滿足對(duì)帶寬、延遲和抖動(dòng)的服務(wù)質(zhì)量要求。帶寬及設(shè)備吞吐量設(shè)計(jì)保證在資源整合后的網(wǎng)絡(luò)傳輸帶寬和網(wǎng)絡(luò)設(shè)備吞吐能力，必須實(shí)現(xiàn)以下 DCE設(shè)計(jì)：121.1.設(shè)備吞吐能力選擇的設(shè)備必須能夠提供足夠的交換容量，Nexus 7000具備4Tbps的交換吞吐能力，每插槽 230Gbps （可擴(kuò)展 500Gbps ）;在接入層設(shè)備選擇上采用接近1.2Tbps交換能力的Nexus 5000，并使用交換延展

3、設(shè)備 Nexus 2000 將這一 交換能力線性延展到每個(gè)服務(wù)器機(jī)柜。1212帶寬設(shè)計(jì)首先要在數(shù)據(jù)中心的拓?fù)湓O(shè)計(jì)中規(guī)劃好帶寬。在本次設(shè)計(jì)中接入層的每列機(jī)柜基本上保證每服務(wù)器接入網(wǎng)絡(luò)的線 速，這是依靠每臺(tái)柜頂交換機(jī)（Nexus 2000 ）上連時(shí)的4個(gè)萬兆鏈路捆綁后所提供的帶寬保證，另外Nexus 5000的1.2Tbps交換能力也保證了所有萬兆匯聚后的無瓶頸處理。數(shù)據(jù)中心當(dāng)前最大規(guī)模的帶寬占用還是在服務(wù)器之間 的內(nèi)存同步、并行計(jì)算、數(shù)據(jù)備份和融合SAN之后的存儲(chǔ)訪問，如果能夠?qū)⑽磥碇С?FCoE的存儲(chǔ)機(jī)柜設(shè)計(jì)在 Nexus 5000接入，其它萬兆網(wǎng)卡的高性能服務(wù)器直接在Nexus5000所在機(jī)

4、柜接入，并保證服務(wù)器機(jī)柜分配得當(dāng)?shù)臈l件下， 以上大量資源耗費(fèi)的處理都可以在接入層的同一對(duì)Nexus5000內(nèi)完成，因此基本可以保證帶寬的線性處理。而接入層到數(shù)據(jù)中心匯聚層（Nexus 7000的VDC ）的 連接中是有一定過載，這些過載也只針對(duì)跨越兩對(duì)Nexus 5000即兩個(gè)列（也可稱為 POD ）之間的流量，當(dāng)前每對(duì)Nexus 5000到7000之間采用4個(gè)萬兆，在萬兆端口數(shù)量不緊張的情況下還可以擴(kuò)容并保證跨機(jī)箱的vPC技術(shù)實(shí)現(xiàn)充分負(fù)載均衡的端口捆綁。而考慮到當(dāng)前服務(wù)器數(shù)量遠(yuǎn)沒有達(dá) 到完全過載數(shù)量（充分過載是640臺(tái)全線性1G的服務(wù)器接入），而且在適當(dāng)安排服務(wù)器后兩列之間的流量基本上非常

5、少，大部分帶寬消耗型應(yīng)用將在列內(nèi)完成，因此當(dāng)前的過載 比是完全滿足當(dāng)前和至少今后5年內(nèi)的數(shù)據(jù)處理量要求的。數(shù)據(jù)中心服務(wù)機(jī)箱（Catalyst 6500 ）和數(shù)據(jù)中心匯聚（Nexus 7000 VDC ）之間當(dāng)前的設(shè)計(jì)帶寬是每機(jī)箱雙萬兆 上連（40Gbps全雙工吞吐量），這個(gè)數(shù)值已經(jīng)超過當(dāng)前每 個(gè)機(jī)箱內(nèi)的單防火墻模塊在引擎加速特性下的吞吐能力（32Gbps ）和單ACE模塊的最大處理性能（16Gbps）， 因此也沒有連接瓶頸。在以后智能服務(wù)擴(kuò)容時(shí)，互連的帶寬 還可以繼續(xù)擴(kuò)容，通過 vPC和VSS技術(shù)保證跨機(jī)箱捆綁的充分負(fù)載均衡 從數(shù)據(jù)中心匯聚到全網(wǎng)核心 （Nexus 7000的VDC之間）則可以

6、通過靈活的萬兆線路跳接方便的擴(kuò)容互連帶寬，根據(jù)整個(gè)股份公司對(duì)數(shù)據(jù)中心訪問量的評(píng)估，當(dāng)前的互連方式（全雙工超過80Gbps ）也是完全滿足至少 5年的業(yè)務(wù)發(fā)展 需求的。1.2.1.3.DCE 帶寬管理：在以上的理論分析中，帶寬設(shè)計(jì)已經(jīng)完全滿足本次設(shè)計(jì)的需要，但是我們可以看到即使最完美的設(shè)計(jì)也不可能保證 網(wǎng)絡(luò)中處處線性、沒有過載，這是不必要也不經(jīng)濟(jì)的。在出 現(xiàn)過載的位置，我們可以通過技術(shù)手段使得最需要帶寬的服 務(wù)能夠保證優(yōu)先獲得資源，這也是服務(wù)質(zhì)量保證設(shè)計(jì)的重 點(diǎn)。在本次推薦的DCE網(wǎng)絡(luò)技術(shù)中已經(jīng)完全支持IEEE最新的帶寬管理技術(shù) 802.1Qaz ETS （Enhanced Transmissi

7、on Selection ），該技術(shù)可以保證在過載情況下優(yōu)先保證如高性 能計(jì)算網(wǎng)、存儲(chǔ)網(wǎng)流量的帶寬，而一般數(shù)據(jù)業(yè)務(wù)可以靈活、高效的使用剩余有效帶寬，如下圖所示11G對(duì)10G過載情況下的QoS優(yōu)化帶寬分配：Offered Trtffittlt2門H?C Traffk3C/s2 G/sStorage T raff i<3C/s3G/5£5LAN Traffick10 GE Link Eslized Trfic (Jtilhtf iontlt2巧122低延遲設(shè)計(jì)DCE的資源匯聚使得存儲(chǔ)業(yè)務(wù)和高性能計(jì)算業(yè)務(wù)都將 在一個(gè)交換平臺(tái)上傳送，DCE的一個(gè)重要要求就是保證這些 網(wǎng)絡(luò)原來的低延遲、

8、低抖動(dòng)能力一樣可以在以太網(wǎng)上獲得， 這主要依靠設(shè)備的低延遲轉(zhuǎn)發(fā)特性和在擁塞情況下高級(jí)的 隊(duì)列調(diào)度來實(shí)現(xiàn)。在本期所推薦采用的 Nexus系列交換機(jī)最大特點(diǎn)就是使用了 Cisco在MDS系列存儲(chǔ)交換機(jī)上實(shí)現(xiàn)的SAN網(wǎng)絡(luò)低延遲技術(shù)和專利，使以太網(wǎng)交換機(jī)獲得了極低的轉(zhuǎn)發(fā)延遲， 三層端口對(duì)端口的轉(zhuǎn)發(fā)延遲可在1020us，而二層的端口見轉(zhuǎn)發(fā)延遲可在3個(gè)us以下。充分保證遠(yuǎn)程存儲(chǔ)讀寫、遠(yuǎn) 程內(nèi)存訪問的流暢性。與帶寬設(shè)計(jì)時(shí)一樣，網(wǎng)絡(luò)不可能在任何位置都通過充裕 的資源，在適當(dāng)?shù)倪M(jìn)行帶寬分配和設(shè)計(jì)后，在許多關(guān)鍵的位 置雖然存在過載，但仍不會(huì)帶來資源的緊張。但仍可能出現(xiàn) 突發(fā)和不可預(yù)測(cè)的資源分配不夠的問題，這時(shí)就需

9、要采用高 級(jí)的隊(duì)列管理和調(diào)度，對(duì)延遲不敏感的業(yè)務(wù)主動(dòng)出讓一些資 源，以保證對(duì)延遲極為敏感的業(yè)務(wù)服務(wù)質(zhì)量不受影響。在以 太網(wǎng)上協(xié)調(diào)資源實(shí)現(xiàn)類似流量控制的很早就有，比如最常見 的端口暫停幀機(jī)制(IEEE 802.3 Annex 31B)，當(dāng)有擁塞發(fā)生時(shí)通過互連端口信息的傳遞，讓端口流量發(fā)送暫緩，以保 證自己有足夠的資源處理關(guān)鍵業(yè)務(wù)。而這種傳統(tǒng)的控制方式 將導(dǎo)致一個(gè)物理端口內(nèi)的所有業(yè)務(wù)的暫停，導(dǎo)致不可預(yù)料的 延遲。本次我們采用的DCE網(wǎng)絡(luò)支持IEEE最新的PriorityFlow Control (IEEE 802.1Qbb)技術(shù)，如下圖所示，可以對(duì)多達(dá)8種不同業(yè)務(wù)給與完全不同的流量區(qū)別，從而保證迫

10、切 需要資源的存儲(chǔ)、訪存類業(yè)務(wù)流的低延遲優(yōu)先性。Transmit QueuesEthernet Linkml種丨|STUPTwojnn啊FHrhiinSIIIIIIIIIII 1 HlReceive QueuesEight PrioritiesSwitch BSwitch A8類業(yè)務(wù)可以常規(guī) QoS的802.1Q優(yōu)先標(biāo)識(shí)和IP Precedence優(yōu)先標(biāo)識(shí)進(jìn)行統(tǒng)一定義。無丟棄設(shè)計(jì)資源缺乏會(huì)導(dǎo)致系統(tǒng)對(duì)業(yè)務(wù)進(jìn)行丟棄，而存儲(chǔ)業(yè)務(wù)、高性能計(jì)算業(yè)務(wù)等是對(duì)丟棄極為敏感的，由于業(yè)務(wù)機(jī)制對(duì)延遲 和成功率的苛刻要求，即使少量的丟棄也會(huì)對(duì)業(yè)務(wù)效率產(chǎn)生極為嚴(yán)重的影響。DCE有“無丟棄以太網(wǎng)”的別稱，就是在 許多方面

11、改善了傳統(tǒng)以太網(wǎng)易于丟棄的簡(jiǎn)單流控行為。主要 表現(xiàn)在以下方面：Switch Fabric VoQ :這是SAN交換機(jī)的交換矩陣以 及運(yùn)營(yíng)商核心設(shè)備所廣泛采用的矩陣隊(duì)列調(diào)度方式， 現(xiàn)在該技術(shù)廣泛使用在 DCE的各級(jí)設(shè)備，有效的避免 在設(shè)備交換處理時(shí)的頭端堵塞現(xiàn)象，保證高優(yōu)先級(jí)流 量的無丟棄。硬件化的Credit機(jī)制：這也是傳統(tǒng) SAN交換機(jī)在硬 件上保證的傳輸無丟棄技術(shù)，它通過收發(fā)雙方能有一 個(gè)互相溝通收發(fā)能力的計(jì)數(shù)器相互協(xié)商對(duì)方的發(fā)送和 接收能力，以一種高效溝通的方式保證在底層傳輸上 的無丟棄。現(xiàn)在該技術(shù)以在DCE的各級(jí)交換機(jī)上采用，保證收發(fā)以太網(wǎng)幀可以象過去收發(fā)存儲(chǔ)FC幀一樣做到無丟棄。Pe

12、r Virtual Lane (VL) Credit:上面的技術(shù)是物理端口級(jí)別的，在DCE中還將這種硬件 Credit技術(shù)用在端 口內(nèi)的Virtual Lane級(jí)別，這意味著在同一收發(fā)雙方 的物理口內(nèi)，可以實(shí)現(xiàn)不同業(yè)務(wù)采用不同 Credit參數(shù)， 實(shí)現(xiàn)不同的流控要求，比如傳統(tǒng)數(shù)據(jù)不進(jìn)行這種機(jī)制 以節(jié)約資源，而FCoE幀則必須使用該機(jī)制，而它們 都將在一對(duì)收發(fā)物理接口內(nèi)共存。BCN/QCN (IEEE 802.1Qau):這是一種后向擁塞控制機(jī)制，它最大的特點(diǎn)是可以在網(wǎng)絡(luò)中檢測(cè)出擁塞，然 后發(fā)信令到源頭，來降低過載的流量，使擁塞得以緩 解，并保證優(yōu)先業(yè)務(wù)無丟包。該技術(shù)曾用于 ATM等精細(xì)流量管理

13、的網(wǎng)絡(luò)中。如下圖所示Lr r Nikm LI1.3非數(shù)據(jù)中心網(wǎng)絡(luò)的服務(wù)質(zhì)量設(shè)計(jì)IP為了保證XXX公司非數(shù)據(jù)中心網(wǎng)絡(luò)部分的關(guān)鍵應(yīng)用， 將對(duì)應(yīng)用按重要等級(jí)進(jìn)行分類，在網(wǎng)絡(luò)上，實(shí)現(xiàn)對(duì)不同等級(jí) 的應(yīng)用提供優(yōu)先權(quán)不同的質(zhì)量服務(wù)。實(shí)時(shí)多媒體應(yīng)用如 電話、視頻會(huì)議等應(yīng)用將給予絕對(duì)的保證，而對(duì)一些不十分 緊要的應(yīng)用，在網(wǎng)絡(luò)帶寬充足的情況下將予以保證，在網(wǎng)絡(luò) 帶寬不足的情況下，將預(yù)先舍棄，以保證關(guān)鍵應(yīng)用。XXX公司局域網(wǎng)和廣域網(wǎng)需要具備提供數(shù)據(jù)、圖像、語(yǔ) 音、傳真和各種多業(yè)務(wù)綜合承載和接入能力。信息傳遞的服 務(wù)質(zhì)量保證和性能優(yōu)化設(shè)計(jì)將是最為關(guān)鍵的一個(gè)環(huán)節(jié)，它直接影響到華能系統(tǒng)應(yīng)用的穩(wěn)定實(shí)際上IP網(wǎng)的兩個(gè)技術(shù)根源一一以太網(wǎng)和 TCP/IP是眾 所周知的“無服務(wù)質(zhì)量保證技術(shù)”，所謂無服務(wù)質(zhì)量保證不是指服務(wù)的質(zhì)量一定不好，而是在技術(shù)本質(zhì)上只考慮數(shù)據(jù)的 可達(dá)性、正確性，并沒有機(jī)制去考慮數(shù)據(jù)遞送中諸如延遲、 延遲抖動(dòng)等服務(wù)質(zhì)量要素，因而又稱之為“盡最大努力”(Best Effort)的傳送方式。隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，今天的華能網(wǎng)絡(luò)已從單一的數(shù)據(jù)傳輸應(yīng)用轉(zhuǎn)