貴州農信網絡規劃交流網絡規劃設計方法兩地三中心網絡規劃概要設計目錄CustomerProfile業務架構IT架構應用架構數據架構基礎設施架構技術最佳實踐行業發展趨勢技術發展趨勢IT基礎架構規劃架構落地實施參考模型網絡設計方法——自頂而下總體設計業務戰略IT需求技術趨勢架構規劃目標演進路線GA、CRD廣域網架構總體設計現狀評估最佳實踐數據中心架構總體設計業務連續災備/雙活安全架構設計虛擬化企業私有云詳細設計兩地三中心……數據中心行業趨勢雙活數據中心[基礎設施與布線架構][功能分區設計][服務器/VM接入]

[存儲網絡設計][可靠性評估與計算][安全規劃與部署][DC互聯與大二層設計][QoS規劃與設計][骨干網健壯性量化評估][業務帶寬與鏈路選擇][多級骨干網扁平化策略與設計][關鍵業務多活部署策略]

[服務器/VM集群架構]

[SAN擴展與數據復制]

[LAN擴展與二層互聯][站點選擇與網關設計]

網絡設計方法——從需求到方案H3C網絡架構規劃的方法論基于企業架構（EA,EnterpriseArchitecture），從企業的業務架構出發，推導適應業務發展的IT支撐能力。通過對數據架構、應用架構、技術架構的調研及分析，明確網絡的目標以及基線架構，根據差距分析制定解決方案，完成網絡架構規劃設計。H3C采用的框架模型為在當前國內外大型金融機構采用的TogafV9模型。網絡規劃設計方法——圍繞需求展開預構建柔性軟件定義低PUE敏捷XX行重點關注需求網絡通用關注需求靈活可擴展可管理性能高可用設計需求兩地三中心架構項目范圍高可用性廣域網架構數據中心架構運維管理業界技術發展方向SDN融合架構最佳實踐網絡現狀現有業務架構現有網絡架構現有基礎設施狀況物理與邏輯分離標準化、自動化動態調整、靈活部署資源統一調配網絡設計策略高可用性性能可管理性可擴展性安全性靈活性網絡資源網絡分析常用要素網絡規劃設計方法兩地三中心網絡規劃概要設計兩地三中心整體設計廣域網規劃設計數據中心規劃設計網絡管理規劃設計目錄全行一朵云與統一資源池兩地三中心分布式多中心災難備份系統的建設專用備援系統用于緊急狀態的恢復降低災難風險對業務的影響加強生產的安全等級致力實現業務系統無縫切換消除應用應急帶來的風險與損失數據中心間實現負載分擔單中心具有全業務承載能力多中心持續建設目標--分布式多活數據中心?單純災備

災備與負載均衡?主備中心

雙活（多活）融合?滿足RPO

滿足RPO，最小RTO?資源固化

全局資源池化靈活調配?人工管理

資源調度自動化多個跨地域的分布式虛擬化數據中心地理分散的多個“云”網絡的平臺化地位日益重要強調風險管控，多中心持續建設與業務平滑切換基礎設施雙活前端業務雙活后端數據雙活災備：4-5級（暖備）特征：特定業務同一時刻在單數據中心處理，網絡具有接替能力；把不同業務分在不同的數據中心可提高資源利用率；應用為A/S模式，DC間切換需要手工干預；災備：5-6級（熱備）特征：前端服務器（Web/App）雙活，服務器通常采用集群，需要心跳與DCI，可實現服務器集群跨中心自動切換；重點：集群設計、路由規劃規劃和DNS；災備：5-6級（雙活）數據層（DB/存儲）雙活：數據庫跨中心雙活部署，或存儲跨中心實時復制；技術復雜度與成本高，對業務處理能力有影響部署的最大限制在于距離和帶寬（實際部署限于城域）雙活的層級與業務連續性分布式數據中心業務運行狀態主備模式（Active-Standby）特點：生產中心完成所有的數據更新的業務通過數據復制技術將數據復制到災備中心災備中心除了承擔災備的任務僅利用有限的資源完成一定的查詢業務災備中心不進行需要數據更新的業務備份中心的主機平時處于“備份”狀態混合雙活（Active-ActiveHybrid）特點：雙生產中心均需要完成數據更新的業務通過數據復制技術將數據復制到對方通過業務模塊或用戶的方式將業務分配到不同的中心平時主要的處理能力均分配給生產應用系統使用出現災難時，根據需要接管的方式，動態調度資源給備份系統使用備份中心的主機平時處于“備份”狀態，但主要的資源均動態分配給生產系統使用。沒有完全閑職的設備雙活（Active-Active）特點：業務或用戶按照服務需求（On－Demand）將業務分配到不同的中心平時主要的處理能力均分配給不同的中心跨雙生產中心建立共享的資源訪問方式跨雙生產中心建立高可用性集群通過數據復制技術將數據鏡像到對方出現災難時，根據需要接管的方式，按照當前的業務狀態動態調度服務和資源（BusinessResiliency)所有的中心、主機和存儲設備均處于生產狀態和實現負載分擔生產中心災備中心生產中心災備中心生產中心災備中心業務A業務A業務A業務A業務A業務B業務B業務BP1~P5:P1~P5的目標部署架構為稻香湖、洋橋和武漢南湖A-A-A模式部署，并對外提供服務。每個站點負責不同區域或渠道的業務接入，各站點之間互為交叉備份關系，可進行快速接管。P6~P8:P6/P7/P8的目標部署架構為稻香湖、洋橋、武漢南湖實現A-Q-S模式部署。P9~P12:為就近利用產品服務層災備數據，P9~P12的目標部署架構為武漢南湖、稻香湖實現A-S模式部署。分布式數據中心業務運行狀態-舉例雙活需求分解與技術框架雙活需求分解業務雙活基于DNS前端雙活DB數據庫雙活數據同步復制Internet選擇Web/App雙活Intranet選擇ISPDNSGSLB基于IP路由規劃容災半徑決定技術可行性網關設計VRRP設計主機路由注入RHI/NQALISP負載均衡VIP分布式部署數據異步復制城域異地應用系統訪問模式影響技術選擇是否是相同IP影響技術路線相同IP不同IP跨中心二層通信腦裂仲裁節點手工切換多數派存活EVI分布式數據中心建設概覽同城災備中心:生產中心和災難備份中心距離比較近，比較容易的實現數據的同步鏡像，可以保證數據完整性和數據零丟失可以防范火災、建筑物破壞等可能遭遇的風險隱患，但對于戰爭、地震、水災等隱患力不從心異地備份中心：生產中心和備份中心跨城域，距離比較遠通過異步鏡像/復制備份數據無法保證數據零丟失如果遠距離同步鏡像，則交易效率太低、通信成本很高兩地三中心：結合‘同城＋異地’的優點在異地備份中心具有完整的災難接管能力的情況下，建立同城備份站點，可使同城災備中心具有應用接管能力也可以讓同城災備中心只是一個同步數據鏡像站點生產中心同城災備中心生產中心異地備份中心生產中心同城災備中心異地備份中心兩級多中心架構：總部與區域兩級架構，總部級數據中心互為主備，同時做為區域級中心的異地容災中心，區域級數據中心作為生產中心，共享總部級異地災備，保證災難接管的能力，同時降低成本跨城域遠距離容災，異步復制/鏡像數據級無法保證數據零丟失，同步鏡像成本高區域級數據中心總部級數據中心區域級數據中心區域級數據中心區域級數據中心總部級數據中心總部級數據中心網絡規劃設計方法兩地三中心網絡規劃概要設計兩地三中心整體設計廣域網規劃設計數據中心規劃設計網絡管理規劃設計目錄應用架構發展推動廣域網架構演進應用架構MessagingBackbone孤立應用簡單互聯EnterpriseApplicationIntegration(EAI)EnterpriseServiceBus虛擬化、云計算網絡架構兩地三中心核心承載網大集中互聯互通平臺化虛擬化、層次化核心承載網網絡基礎設施邁向兩地三中心與云網融合網絡支持虛擬化、靈活擴展架構傳統銀行核心應用基于ESB基礎設施轉向開放標準架構：X86、虛擬化骨干廣域網設計核心任務廣域網架構的可靠性廣域網架構的可擴展性骨干廣域網架構的選擇關鍵流量的保障廣域鏈路的充分利用骨干廣域網的流量模型骨干廣域網架構選擇——需求核心節點的選擇骨干廣域網架構的可靠性數據中心的分布和定義骨干廣域網的可擴展性是否有業務安全隔離需求骨干廣域網架構的其他需求骨干廣域網架構的選擇兩地三中心架構核心網架構以核心數據中心為廣域網核心節點整個廣域網圍繞著核心數據中心建設適合于核心數據中心較少的場景核心數據中心的變化會導致廣域網的巨大變化以核心廣域網為整個廣域網的核心“以不變應萬變”的設計思想適合于多數據中心的場景核心數據中心的變化理論上不會導致廣域網的巨大變化骨干廣域網流量模型——需求業務的分類每類業務的詳細需求——帶寬、時延、質量關鍵業務的保障各類業務流程梳理廣域網帶寬的充分利用骨干廣域網流量模型設計-傳統設計PE3PE1PPE4PE2PCE1CE2CE3CE4AS65000AS100AS200eBGPeBGPiBGP+IGP控制如何進入核心網控制如何在核心網內傳遞控制如何進入核心網RRR3R1R4R2SW1SW2SW3SW4AS100AS200eBGP控制出口路由器的選擇控制選擇具體的廣域網鏈路控制出口路由器的選擇IGPIGP20M20M40M40M10M10M10M100MWANSDN—精細、靈活、動態流量調度智能路徑管理：關鍵業務保障自動流量優化自動分流自動故障避免SLA精細流量調度全網流量優化應用場景（一）：自動流量優化15M30M20M20M40M20M10M10M10M100M應用場景（二）：自動分流20M20M5M?20M20M40M40M10M10M10M100M應用場景（四）：關鍵業務保障20M20M40M40M10M10M10M100M應用場景（四）：自動故障避免優質鏈路45M15M高優先級視頻面向業務的RESTfulAPI接口WANSDN的實現數據中心數據中心終端用戶接入網骨干網DCI網數據中心網絡APPs運維APPs3rdAPPsH3CiMCOSS/BSS管理編排平臺應用驅動網絡網絡適應應用ODL控制器全開放場景化全流程端到端可遷移南向標準協議（SNMP/MIB,Openflow,BGP-LS,BGPFlowspec,PCEP,NETCONF,…）網絡規劃設計方法兩地三中心網絡規劃概要設計兩地三中心整體設計廣域網規劃設計數據中心規劃設計網絡管理規劃設計目錄數據中心內網絡的劃分數據庫心跳網絡，主機雙機HA心跳網絡數據抽取用于大數據分析/數據備份帶外管理網，多數據中心統一運維FC網絡、ServerSAN需要的IP網絡，FCIP網絡等數據中心中都哪些地方需要網絡數據中心內各類資源的接入服務資源接入鏈路資源接入終端資源接入核心業務系統外圍生產系統BI類系統辦公類系統……業務終端辦公終端管理終端……廣域網專線外聯專線互聯網線路VPN線路……數據中心內需要完成哪些資源的接入才能發揮作用舉例：傳統外聯區同時具備鏈路資源接入和服務資源接入的功能商業銀行數據中心發展及未來的演進路線DC1.0面臨的需求是什么？01可靠性對網絡的需求表現為松耦合的架構，極高的可靠性、故障域的縮小。03安全性建立良好的安全架構，完善安全邊界的確定和安全防護方案。02結構化的擴展方式整個數據中心能按照某種既定的結構進行橫向的擴展。區域劃分方案：分區模式比較客戶端到服務器的訪問只要經過一個區域，但同一層服務器之間的互訪需要跨區優點：風險分散，一個區域內部故障或變更停機不會影響其他區域承載的業務擴展性較強，當應用種類增加或者單個區域容量增加時，可以通過橫向拆分擴容可管理性強：便于故障定位和應急低時延：同一應用各層服務器之間的流量在同一個區內缺點：應用層次之間無物理分離模式B：按應用類型分區交換核心業務1DB1App1Web1業務2DB2App2Web2業務3DB3App3Web3客戶端到服務器的訪問要經過三個區域，同一層服務器之間的互訪可在區域內部完成優點：每個區域只服務于應用邏輯中的一個層面（web/app/sys)，應用層次之間物理分離缺點：風險集中，一個區域內部故障或變更，會影響全部的應用擴展性較弱，服務器數量較多時，單個區域很快會達到容量上限可管理性弱，不易進行故障定位和應急模式A：按應用層次分區交換核心WebWeb3Web2Web1AppApp3App2App1DBDB3DB2DB1新一代大型EDC設計趨勢：模塊化“模塊化的數據中心”5種顆粒度的說明(由大到小)Zone表示數據中心所在城市Site表示數據中心的具體位置

Module表示數據中心的大樓Cell表示數據中心內的一個單元，包括存儲、計算、網絡POD表示一組部署IT設備的機柜ZoneSiteModuleCellPodRackRack機柜(服務器、網絡、存儲)“模塊化的數據中心”是一種用標準、可重復構建的單元來建設數據中心基礎設施的方法其中CELL與POD是結構化布線及數據中心網絡設計的關注重點TIA-942-A定義的架構化布線標準金融數據中心安全區的劃分數據中心網絡分區從總體上可分成不同安全級別的四個安全區：非安全區、半安全區、安全區、核心安全區非安全區（對外連接）半安全區DMZ核心安全區安全區安全邊界安全邊界安全邊界不受控制的區域，如對Internet公眾用戶、外聯第三方單位等提供服務的資源區域，企業的安全政策和標準無法強制執行企業內部網到核心安全區、安全區的過渡區域，外部網絡和企業內部網絡之間的過渡區域，用于分割它們之間的直接聯系，隱藏和保護內部資源提供企業內部重要程度一般的服務器和客戶端的接入，安全級別較高安全級別最高，包含了重要的應用服務器，提供關鍵的業務應用；包含企業網絡管理、系統管理、安全管理、流程管理等管理功能相關的模塊所集中的區域，具有很重要的意義，需要嚴格的安全策略；從外部網絡到核心安全區域應通過半安全區進行轉發，必須經過嚴格的安全控制DC1.0傳統數據中心安全架構互聯網接入區公眾用戶VPN維護用戶VPN辦公用戶合作伙伴外聯網接入區合作伙伴外聯DMZ專線VPN網關辦公VPN網關維護網銀、手機銀行電商DMZ門戶網站DMZ員工上網DMZ其他系統DMZ入侵防護防DDOS防病毒網關Internet園區網廣域接入OA生產其他總部機構同城及異地中心分支機構運維管理服務區安全管理流程管理ECC堡壘機帶外管理其他業務三區辦公應用決策應用其他業務二區非核心系統業務一區核心業務應用服務器業務處理體系渠道體系非安全區半安全區安全區核心安全區核心交換區內聯區前置系統核心業務區核心業務系統密鑰管理平臺數據總線渠道管理平臺會計處理平臺資金運營中間業務代理理財重要業務區決策支持系統風險分析系統管理網區視頻監控視頻會議系統運維區安全管理平臺網管系統廣域網接入區省際骨干接入互聯網接入區外聯區DMZ1DMZ2DMZ3DMZ1DMZ2辦公管理區資產管理系統準生產區準生產系統測試區測試系統培訓環境數據中心互聯帶外管理區金融網Internet第三方接入第三方接入測試網安全服務安全服務安全服務安全服務安全服務安全服務安全服務安全服務安全服務安全服務安全服務互聯網接入外聯接入案例：XX銀行數據中心網絡架構A08-18A機房布局A08-10A08-09A08-01A07-18A07-10A07-09A07-01A06-08A06-07A05-16A05-12A05-09A05-08A05-07A04-08A04-07A03-10A03-09A03-01A02-18A02-10A02-09A02-01A01-18A01-10A01-09A01-01A06-06A06-05A05-06A05-05A06-04A06-03A05-04A05-03A06-02A06-01A05-02A05-01機架服務器x5刀片機x3機架服務器小型機機柜機架服務器小型機機柜小型機機柜機架服務器小型機機柜機架服務器x5刀片機x3機架服務器x5刀片機x3機架服務器x5刀片機x3機架服務器x5刀片機x3機架服務器x5刀片機x3機架服務器x5刀片機x3A04-06A04-05A04-04A04-03A04-02A04-01A03-12A03-11A03-14A03-13A03-16A03-15A06-14A06-13A06-12A06-11A06-10A06-09銅纜三相電存儲區三相電存儲區三相電存儲區空調側帶庫機柜A04-13A04-15A04-14A04-12綜合布線綜合布線綜合布線綜合布線綜合布線綜合布線綜合布線擴展B路DCXDCX擴展A路DCXDCX新網銀APP新網銀DB新網銀WEB新網銀WEB擴展新網銀APP新網銀DB新網銀APP擴展新網銀擴展走廊側統一考核VMAXDC1.0數據中心機房典型分配方式DC2.0面臨的需求是什么01靈活性服務器虛擬化的帶入完成了邏輯業務與物理服務器的解耦和。03性能壓力服務器資源的充分利用以及高密接入，對于網絡的性能壓力也會越來越大。02標準化高密接入大量應用系統向開放的X86服務器轉型，網絡架構具有大規模網絡接入的能力。網絡資源池化設計物理資源與邏輯資源1:N映射基于資源池的數據中心打破物理資源與邏輯資源1:1的映射關系。一個PoD可以服務于多個ServiceZone。最理想的目標即實現“任意服務器，部署于任意機架，為任意業務提供服務”業務區域與基礎設施的松耦合。這種共享模式的故障域范圍較大，一個PoD為多種業務服務，PoD設備的故障會導致多種業務受到影響。共享模式平滑擴展能力強。網絡的資源池化設計管理網接入交換機生產網接入交換機生產網FC交換機X86Cluster考慮點:多少個機柜組成一個POD設計多少種POD模型POD里面的服務器集群怎么規劃存儲資源是否要出現在POD內部……標準化的POD設計網絡的性能的考慮。。。。。。業務二區業務三區未來擴展。。。。。。。。。收斂比是多少收斂比是多少各級設備的收斂比選擇隨著服務器利用率的大幅增加，服務器網口的利用率會提升。高密度的X86服務器接入，導致接入層下行接口數量的大幅增加。Hadoop等分布式計算架構的引入會大幅增加網絡的東西向流量。服務器網卡進入10G時代，40G/10G的收斂比要小于10G/1G。極端案例：互聯網公司的數據中心在SPINE節點的收斂比大部分為1：1計算資源內外聯隔離資源池辦公管理資源池互聯業務資源池………………………………服務器機房模塊………………………………服務器機房模塊………………………………服務器機房模塊……互聯后臺區互聯隔離一區互聯隔離二區L3匯聚L3匯聚L3匯聚辦公服務區管理服務區L3匯聚L3匯聚……二層網絡……二層網絡生產后臺資源池生產后臺區L3匯聚……二層網絡外聯隔離區L3匯聚內聯隔離區L3匯聚……二層網絡電話銀行資源池電話銀行區L3匯聚……二層網絡NAS資源池NAS服務區L3匯聚……二層網絡XX銀行同城數據中心服務資源池的劃分“資源化”對應機房布局的改變DC3.0面臨的需求是什么01融合性網絡、計算、存儲不再割裂、業務需要IT資源的統一交付。03自定義可以根據需要，靈活的重新定義各個業務所需要的IT資源。02快速自動化業務部署所需要的IT資源“0”時間提供。藍圖－金融IaaS云業務需要的是一個融合了所有基礎架構資源的云云平臺計算存儲網絡-SDNOverlaySDNVLANSDN強控制、強管理弱控制、強管理OpenflowOVS-DBNETCONFMP-BGPVXLAN云-SDN技術分解基礎架構管理平面（運維平臺）云&租戶管理平面（業務平臺）VCFFabricH3CDataCenter基礎網絡架構OpenStackOpenSourceCloudOSH3CCloudOpenStackBased可視化自動化軟件定義面向應用分布式VCFFabricDirectorH3CDataCenter基礎設施管理平臺Overlay數據中心AEVPN數據中心BSpineLeafBorderSpineBorderLeafEVIH3CSDN整體解決方案強控制模型-基于Controller的控制平面基于Controller的控制平面若VTEP是虛擬設備，Controller從VMManager和vSwitch獲取VTEP及下掛VMIP/MAC信息若VTEP是物理設備，Controller和所有VxLANED設備建立連接關系，獲取VTEP及下掛VMIP/MAC信息VTEP第一次收到數據報文，上送給Controller，Controller確定VxLAN隧道信息，下發流表到VTEP，VTEP封裝VxLAN報文轉發流表在VTEP上可以定期老化，

達到動態建立隧道的效果，節省表項資源CoreCoreAggAggRouterRouterAccessAccessAccessAccessAccess①ToR設備實現VTEP，把報文封裝為VxLAN格式②核心設備實現VxLANIPGW，終結VxLAN報文，并進入L3轉發④ToR設備實現VxLANGW，終結VxLAN報文，實現VxLAN和VLAN網絡互通vSwitchVCFC③Controller負責控制平面，下發流表，指導轉發VxLANFabricOpenFlow/NetconfVMManagerCSM隧道建立和VXLAN關聯：利用EVPN的BGPRR實現鄰居發現

，自動發現VXLAN網絡中的VTEP，并在有相同vxlan各VTEP之間自動創建VXLAN隧道，自動關聯VXLAN隧道和VXLAN地址同步：利用EVPN的MP-BGP路由協議完成MAC地址同步、主機路由同步兩個功能標準化：控制面使用EVPN，屬于標準協議：RFC7348+draft-sd-l2vnp-evpn-overlay，RFC7209，RFC7432VxLAN控制平面：EVPN，路由協議MP-BGPRRRRLeafLeafLeafEVPN地址同步VXLANNetworkEVPN地址同步VXLAN隧道建立弱控制模型-基于EVPN的控制平面M9KL5K面向私有云--靈活的網絡定義能力云平臺服務目錄開戶創建網絡云主機云存儲服務鏈業務策略插入服務鏈創建network創建subnet創建vRouter訪問目的IP、PORT，進入服務鏈獲取租戶UUID選擇VM標準選擇存儲標準創建服務鏈UUID選擇vDC部署業務策略租戶租戶開通創建網絡負載均衡申請防火墻申請創建服務鏈業務策略創建流分類策略創建服務鏈UUID關聯tenant_id業務節點graph開通租戶分配租戶UUID創建VXLAN創建網關IP地址創建VLB創建VFW部署vFW、vLB的業務策略創建dstip、port的流分類策略，進入服務鏈IT/DC運維者TenantvDCVMSubnetVMStorageStorageWEBWEBStorageStorageNetworkRouterDBNetworkVMOVSVMStorageStorageS6800WEBWEBStorageStorageS12500-XDBvLBvFWS6800OVSS6800OVSvFW邏輯拓撲物理拓撲vLBSubnetH3CSDN+：網絡自動化部署●設備加電，自動升級版本文件●自動配置IRF●自動整網路由可達，提供一個IP路由可達的三層網絡●自動化運行過程拓撲動態顯示自動配置過程顯示實時部署云平臺虛擬資源分配SpineLeafLeafLeafLeafDHCPTFTPVM1VM2Spine云平臺虛擬資源分配VXLANNetwork自動配置：大量設備基礎配置依據拓撲自動完成，提供一個IP路由可達的三層網絡可視化：設備上線過程動態拓撲展示實時部署：面向應用的虛擬網絡資源根據用戶需求實時分配和部署EVPN自動配置隧道自動建立地址自動同步VXLAN按需分配當邏輯網絡的部署控制權移交后，物理網絡各節點高度同質化。安全資源池與服務鏈vSW/OverlayGWvFWvIPSvLBvSW/OverlayGWVM1VM3靈活自定義服務鏈源目的SDNFabricOpenstackSDNControllerVM1VM2Vswitch(內嵌防火墻)OverlayGWVM3VM4VM5VNI:33物理服務器1Vswitch(內嵌防火墻)OverlayGW物理服務器2安全資源池VFWVLBvFWVIPSVIPS服務鏈的業務模式可以在虛擬化的環境中為每一項業務提供端到端的虛擬安全路徑，并將其可視化以便下發和更改。在沒有邊界的虛擬化網絡中，服務鏈能精確區分業務的安全需求。安全資源池為系統的安全資源橫向擴容提供了平滑的解決方案。Page53鏈路資源接入區域變化趨勢鏈路資源接入區域主要有：外聯區、互聯網區、廣域網區復雜簡單混合區單一區為什么要做DMZ資源的內移？單點接入多點接入用戶接入區域設計廣域網數據中心園區網數據中心終端接入區辦公互聯網區廣域網XXXX區廣域網數據中心園區網生產終端區Page55帶外管理網構建覆蓋所有服務器和網絡設備的帶外管理網咯不同接入類型的管理端口共享一個帶