數據中心解決方案2023/6/16數據中心項目解決方案全文共37頁，當前為第1頁。Page2Contents總體網絡概述數據中心業務實現高可靠性安全保護數據中心項目解決方案全文共37頁，當前為第2頁。數據中心網絡概覽Page3互聯網

防火墻匯聚交換機核心路由器IDS/IPS備份數據中心服務器群網絡運維中心SAN交換機磁盤陣列…DWDM負載均衡器IDC業務區企業應用區

電信業務區

NMSKVMSW管理網絡

接入層交換機業務網絡

備份和存儲網絡

數據中心網絡模塊SAN存儲備份服務器MPLS骨干網

數據中心項目解決方案全文共37頁，當前為第3頁。三網分離的數據中心網絡業務網絡、管理網絡和備份網絡流量分離，服務器通過不同的網卡分別接入不同的網絡，通過數據中心骨干網絡進行互聯分離的網絡可以保證數據中心網絡的高性能及高安全性，同時方便管理Page4業務網絡NAS/備份網絡SAN存儲網絡網管網絡HBA帶內網管帶外網管網管網絡業務網絡備份存儲網絡DC骨干網數據中心項目解決方案全文共37頁，當前為第4頁。數據中心管理網絡管理網絡全部采用單鏈路實現服務器支持帶內管理（網卡）和帶外管理（KVM網絡）運維中心可以通過KVM直接管理數據中心里的服務器，也可以通過KVM操作網管系統，通過帶內網管間接管理數據中心里的服務器Page5IDC業務區企業應用區

電信業務區

網管系統防病毒服務器KVM認證中心KVM交換機匯聚數據交換機網絡運維中心Internet

KVM交換機數據中心項目解決方案全文共37頁，當前為第5頁。數據中心存儲備份網絡存儲支持SAN和NAS存儲，滿足不同的業務需要（數據庫和文件級）備份時，服務器使用一個網卡連接備份網絡，使用NAS存儲時，可復用此網卡備份網絡一般通過GE/10GE/DWDM光纖網絡連接二級數據中心進行異地數據備份，當然也可以直接進行本地備份Page6SAN交換機磁盤陣列備份服務器磁帶庫磁盤陣列備份數據中心DWDMZone1Zone2Zone3存儲網絡NAS/備份網絡數據中心項目解決方案全文共37頁，當前為第6頁。數據中心業務網絡典型組網模式網絡架構采用業界成熟的三層架構：接入、匯聚、核心防火墻和負載均衡器采用外掛匯聚層交換機的方式進行部署，網絡層次簡單，高靠性Page7AggregationAccessCoreInternet

MPLSbackbone

Tbit路由交換平臺10G接口連接外網:9300/NE40EFW、負載均衡器IPS/IDS在此部署，保證網絡安全，提高網絡效率:5300/9300Gbit數據接入，大容量考慮引入堆疊及上行端口聚合：5300系列數據中心項目解決方案全文共37頁，當前為第7頁。彈性的網絡架構接入層和匯聚層可以根據需要進行擴展大型網絡采用分區設計，共享一個核心層；整個網絡分步建設、方面數據中心擴容及管理交換機堆疊、鏈路聚合技術使網絡擴容更加方便Page8Internet

MPLSbackbone

AggregationModule1AggregationModule2AggregationModulenScalingScalingServerFarmAccessLayer數據中心項目解決方案全文共37頁，當前為第8頁。交換與路由層次劃分匯聚層交換機二層和三層網絡的分界點，上面為三層路由，下面為二層交換使用負載均衡的服務器，網關在負載均衡器，不使用負載均衡的服務器，網關在防火墻Page9Internet

MPLSbackbone

L3路由L2交換數據中心項目解決方案全文共37頁，當前為第9頁。服務器的分區設計服務器群根據業務的不同分為不同的業務區域，邏輯進行業務隔離保障安全，防止跨區的越權訪問和入侵、病毒感染根據業務重要性的不同進行分區，可以提供不同的網絡服務水平，提供QOS保障多個業務區可共享一個匯聚層模塊，也可能一個業務區應用多個匯聚層模塊Page10Internet

MPLSbackbone

防火墻聚合交換機核心路由器IDS/IPSIDC業務區

企業應用業務區

電信業務區

網絡模塊服務器群接入交換機接入交換機負載均衡器接入交換機數據中心項目解決方案全文共37頁，當前為第10頁。不同類型服務器的接入位置中低端機架服務器，數量眾多，通過接入層交換機接入；高端服務器/大型機，數量較少且重要性高，直接接在匯聚層交換機上，保證帶寬；沒有內置交換機的刀片服務器，通過接入層交換機接入；內置交換機的刀片服務器，直接接在匯聚層交換機上，減少交換網絡的層級，提升網絡性能；Page11Internet

MPLSbackbone

沒有內置交換機的刀片服務器內置交換機的刀片服務器中低端機架服務器高端服務器/大型機數據中心項目解決方案全文共37頁，當前為第11頁。服務器的三層架構基于Web的應用程序一般采用Web、application、database三層架構，各層之間通過防火墻進行安全隔離；處于性能考慮，web->app->db之間可以采取ACL實現三種不同類型的服務器網絡連接采用不同的VLAN來識別三個VLAN的流量都經過負載均衡和防火墻，所以負載均衡和防火墻可以為三個層次所共用三個層次也可以直接用物理網絡進行劃分，服務器之間部署交換機，同時附帶防火墻和均衡器，網絡層次過多，成本高，不推薦使用Page12WEBVLANAPPVLANDBVLANWEBAPPDB數據中心核心

Internet數據流WEBAPPDB物理防火墻ACL實現ACL實現數據中心項目解決方案全文共37頁，當前為第12頁。Page13Contents總體網絡概述數據中心業務實現高可靠性安全保護數據中心項目解決方案全文共37頁，當前為第13頁。統一的數據業務承載在同一組網模型下滿足3種不同用戶對防火墻和負載均衡器的需要Page14邏輯圖物理連接圖L3linkTrunkTrunkTrunk匯聚交換機心跳線心跳線心跳線（1）不需要（3）只需要FW（2）需要FW和LB①②③④⑤⑥⑦⑧⑨接入交換機①①①④②⑤③⑥⑤⑦⑧⑨黃線：Trunk鏈路黑線：L3鏈路（1）不需要（3）只需要FW（2）需要FW和LB數據中心項目解決方案全文共37頁，當前為第14頁。防火墻和負載均衡部署防火墻對內隔離不同的VLAN，提供三個VLAN接口（子接口），分別對應WEB、APP和DB,對外隔離不同的分區，通常有一個或多個接口（子接口），對應所屬的分區VPN，如IDC分區的IDCVPN或Internet負載均衡對內對外都只有3接口（或子接口），分別對應WEB、APP、DB三個VLAN負載均衡根據需要進行部署，單臺服務器時或者APP與DB之間可能APP本身就進行了均衡操作，此時數據流不需要通過物理負載均衡器Page15WEBAPP對應各VLAN的接口對應各VLAN的接口DBWEBAPPDB對應各VLAN的接口對應各VPNInstance的接口VPN1Internet………虛擬化設備數據中心項目解決方案全文共37頁，當前為第15頁。業務流流程邏輯設計Internet→Web，經過物理防火墻和負載均衡器 9→7→6→2Web→App，ACL作安全，經過負載均衡器 1→8→3App→DB，ACL作安全，不經過負載均衡 4→5Page16匯聚交換機接入交換機心跳線心跳線WebserverDatabaseserverApplicationserver①②③④⑤⑥⑦⑧互連Trunk⑩9邏輯連接圖黃線：Trunk鏈路1112數據中心項目解決方案全文共37頁，當前為第16頁。業務流流程物理設計Page17物理連接圖①④②⑤③⑥⑦⑧⑨WebserverDatabaseserverApplicationserver⑩黃線：Trunk鏈路互連Trunk12116’8’6’’匯聚交換機接入交換機Internet→Web，經過物理防火墻和負載均衡器 9→7→6→6’→6’’→2Web→App，ACL作安全，經過負載均衡器 1→8→8’→3App→DB，ACL作安全，不經過負載均衡 4→5數據中心項目解決方案全文共37頁，當前為第17頁。MPLSVPN實現區域隔離和多站點互訪不同站點的同一分區間可以可以實現安全的互連互通，與在同一局域網無差別。這樣可以連通位于不同城市的機房，消除信息孤島。同一類型的業務可以分布式部署在不同的站點，增加業務部署的靈活性不同的分區間通過MPLSVPN實現路由的隔離，比只采用防火墻做隔離大大增加了安全性Page18Internet/MPLSbackbone

IDCVPNDataCenterADataCenterBIDCVPNEnterpriseVPNTelecomVPNManagementVPNEnterpriseVPNTelecomVPNManagementVPN數據中心項目解決方案全文共37頁，當前為第18頁。同一站點和不同站點間的跨區域訪問同一站點及不同站點的不同分區間的相互訪問必須繞行Internet（物理上繞行核心路器）和經過防火墻的安全過濾將來自其它區域訪問當作來自Internet的訪問，由防火墻過濾，確保安全Page19Internet/MPLSbackbone

IDCVPNDataCenterAEnterpriseVPNTelecomVPNManagementVPNInternet/MPLSbackbone

IDCVPNDataCenterADataCenterBIDCVPNEnterpriseVPNTelecomVPNManagementVPNEnterpriseVPNTelecomVPNManagementVPN數據中心項目解決方案全文共37頁，當前為第19頁。數據中心虛擬化實現分區的服務器屬于不同的MPLSVPN，匯聚層的防火墻、負載均衡器通過虛擬化分別對應不同的MPLSVPN，實現同一設備為多個分區所共享虛擬化實現資源合理分配，加強了可靠性，在某一分區遭受攻擊，資源緊張的情況下，其它分區仍可以正常工作Page20MPLSBackboneAggregationModule1BlueVRFRedVRFGreenVRFPEPEDCCoreInternetAggregationModulen數據中心項目解決方案全文共37頁，當前為第20頁。交換機虛擬化multi-VRF（MCE）匯聚交換機通過部署multi－VRF，把路由表分成多個邏輯路由，實現不同分區的三層業務隔離轉發引擎通過VPNID索引不同的路由表，根據目的IP轉發到上行口配合防火墻和負載均衡的虛擬化實現匯聚層不同業務分區的業務隔離Page21分區2分區3分區1MPLSCOREVRF1VRF2VRF3MPLSVPN起始點數據中心項目解決方案全文共37頁，當前為第21頁。QOS設計總體上分6個優先級。管理流量最高標記為5（EF）其他按照業務重要程度和與客戶簽訂的SLA來確定優先級等級自有業務標記4（AF4）、3（AF3）大客戶金牌2（AF2）

、銀牌1（AF1）

其他為0（BE）Page22增值業務自有業務大客戶其他接入設備端口根據所接業務標記Internet/MPLSbackbone

入口根據源和目的IP標記數據中心項目解決方案全文共37頁，當前為第22頁。Page23Contents總體網絡概述數據中心業務實現高可靠性安全保護數據中心項目解決方案全文共37頁，當前為第23頁。接入層可靠性設計接入交換機到匯聚采用三角型的組網匯聚層的防火墻、負載均衡器等設備可以為多個接入層交換機對所共用冗余鏈路，倒換時間短VLAN可以跨接入交換機，靈活性高，方便部署可靠性：STP/RSTP/MSTPSmartLink/MonitorLinkLoopbackdetection服務器多網卡接入Page24AggregationLayer3Layer2三角環路.1QTrunkVlan2Vlan3Vlan2MSTPSmartlinkSmartlinkLoopbackdetectionLoopbackdetection數據中心項目解決方案全文共37頁，當前為第24頁。STP二層可靠性保護VLANtrunk實現接入交換機之間的二層互通MSTP破環防止轉發風暴，同時應用多生成樹實例，實現負載均衡秒級的故障恢復BPDU保護，防止邊緣端口惡意攻擊導致重新計算生成樹環路保護，防止由于網絡擁塞導致BPDU沒有及時傳送引起端口狀態切換產生環路根橋保護，保護根橋的指定端口免受虛假BPDU攻擊導致狀態切換TC（topology

change）保護，防止頻繁的TC_BPDU報文導致ARP和MAC反復刪除，引起CPU過載Page25802.1QTrunkSTProotprimaryActiveActiveDCCoreSTProot-protectionSTPloop-protectionSTPBPDU-protection數據中心項目解決方案全文共37頁，當前為第25頁。Smartlink雙歸可靠性保護Page26接入交換機雙鏈路上行到匯聚交換機，實現雙歸保護50ms的鏈路切換，雙歸應用場景可取代MSTP實現高可靠鏈路保護獨有的monitorlink特性，可檢測到匯聚交換機上行鏈路的端口狀態（port3故障）多Smartlink實例實現業務的負載均衡Port1Port2Port3Port4Port5Smartlinkgroup:port1,2Monitorlink

group:port3,4,5Layer3Layer2數據中心項目解決方案全文共37頁，當前為第26頁。DLDP和環路檢測二層網絡交換機各端口之間部署DLDP（devicelinkdetectionprotocol），用于檢測單向鏈路是否存在在部署STP的情況下，推薦部署，用于確保生成樹正確，不發生環路端口環路檢測（Loopbackdetection），部署在接入交換機與服務器相連端口，防止用戶組網或配置出現錯誤Page27DCCoreLoopbackdectionDLDP數據中心項目解決方案全文共37頁，當前為第27頁。NICTeaming實現服務器多網卡捆綁服務器雙鏈路上行，實現雙歸保護網絡驅動程序將多個網卡捆綁成一個網卡一個網卡失效，另一個接管它的MAC地址服務器使用同一個IP進行訪問Page28ActiveStandbyActiveDisableIP=192.168.1.1MAC=00e0.fc00.1111IP=192.168.1.1MAC=00e0.fc00.1111NormalFailure數據中心項目解決方案全文共37頁，當前為第28頁。匯聚層可靠性VRRP匯聚交換機之間配置多個VRRP組實現備份和負載分擔負載均衡設備和防火墻之間分別建立VRRP組實現備份上述VRRP組的心跳通過匯聚交換機之間的Trunk鏈路進行交互BFD實現加快VRRP組心跳檢測，實現50ms快速倒換Page29DCCoreVRRP1VRRP1VRRP2VRRP3VRRP3VRRP4VRID2masterVRID4backupVRID2backupVRID4master數據中心項目解決方案全文共37頁，當前為第29頁。VRRP條件下的故障切換二層雙歸保護可以是MSTP或者Smartlink防火墻故障處理同負載均衡器防火墻和負載均衡器同匯聚交換機之間的保護通過鏈路聚合完成Page30（A）（C）（B）（D）數據中心項目解決方案全文共37頁，當前為第30頁。鏈路聚合聚合分為兩種：靜態聚合，動態聚合（LACP）提供更高的帶寬，同時進行負載分擔鏈路備份，提高可靠性Page31FE/GELACPWhenbandwidthisnotenough?Whenlinkfault?DCCore數據中心項目解決方案全文共37頁，當前為第31頁。核心層網絡拓撲對于中小型網絡，推薦雙核心備份對于大型或可靠性要求較高的網絡推薦環形組網（RRPP）50ms的快速倒換根據VLAN進行負載分擔三層網絡可靠性通過IGPFC（路由快速收斂）