H3CSDN數據中心解決方案（詳細版）目錄TOC\o"1-3"\h\z第1章H3C數據中心解決方案概述 51.1數據中心演進節奏 51.2H3C數據中心解決方案架構組成 61.3H3C數據中心解決方案特點 71.3.1新IT業務平面和運維平面無縫融合，支撐面向應用的自動化 71.3.2開放、自動化、可編程的下一代網絡架構，適用多種典型場景 71.3.3完整的軟件定義網絡模型SDN＋，助力用戶自描述網絡 8第2章H3CSDN方案關鍵特性 122.1組網模型 122.1.1EVPN分布式網關組網 122.1.2多Border組網 172.2Underlay自動化 182.2.1Fabric規劃 182.2.2自動配置 192.2.3可視化部署 192.2.4資源納管 202.3Overlay自動化–對接OpenStack 202.3.1支持OpenStackVLAN網絡 212.3.2層次化端口綁定 232.3.3支持OpenStackVxLAN網絡 252.4Overlay自動化–獨立Fabric場景 272.4.1軟件定義網絡模型 272.4.2Overlay配置下發到設備 272.4.3Fabric接入 28第3章H3CSDN方案典型組網 293.1LeafBorder 293.2SpineBorder 30

H3CSDN數據中心解決方案關鍵詞：EVPN、VXLAN、Fabric、Underlay、Overlay、自動化摘要：本文檔闡述了H3C數據中心解決方案的架構和特點，并針對H3CSDN解決方案，重點介紹了其關鍵特性和典型組網?？s略語清單：縮略語英文全名中文解釋VCFVirtualConvergedFramework虛擬融合架構EVPNEthernetVirtualPrivateNetwork以太虛擬私有網絡VXLANVirtualeXtendLocalAccessNetwork虛擬局域網IRBIntegratedRoutingandBridging集成式橋接和路由RRRouteReflector路由反射器

VSIVirtualSwitchInstance虛擬交換實例VTEPVirtualTunnelEndPoint虛擬隧道端點VMVirtualMachine虛擬機BUMBroadcast,Unknownunicast,orMulticast廣播，未知單播和組播L3VNILayer3VirtualNetworkIdentifier三層虛擬網絡標識符LLDPLinkLayerDiscoveryProtocol鏈路層發現協議

H3C數據中心解決方案概述數據中心演進節奏DC1.0是傳統數據中心所采用模塊化、層次化的建設模式，針對不同類型及批次的業務進行分區分期建設。這種“煙囪式”的建設方式存在著重復投資、資源利用率低、建設及交付周期長、網絡規劃復雜僵化、業務擴容困難等問題。隨著計算虛擬化技術的普及應用，數據中心實現了計算資源池化，不同業務可以按需申請計算資源；同時，為了滿足計算虛擬化對網絡技術提出的大二層互通等新需求，開始應用VxLAN等網絡虛擬化技術，數據中心建設進入了DC2.0。在這個階段，IT各部門負責前期統一規劃建設和定期擴容，業務部門按需申請池化資源配額，項目建設及擴容不再和業務部門具體項目強相關。計算和網絡虛擬化技術的融合，有效提高了資源利用率，縮短了資源交付周期。隨著云計算技術的發展，數據中心跨入DC3.0時代。云平臺作為面向業務部門的用戶界面，統一整合了對數據中心的計算、存儲、網絡池化資源，同時提供實時自助申請界面，幫助業務部門將業務開通時間縮短到分鐘級別，真正實現了面向應用的自動化。H3C數據中心解決方案架構組成H3C數據中心解決方案由三大關鍵組件構成，形成“一網雙平面”的松耦合架構：H3CloudOS：作為業務平面，面向交付，支撐DevOps模型FabricDirector：作為運維平面，面向運營，支撐業務運營體系VCFFabric：作為面向云的新一代IT基礎架構，包含SDN控制器VCFC以及所有軟硬件網元，負責接入數據中心的計算及存儲池化資源，統籌實現用戶從業務平面及運維平面下發的業務模型和運維指令H3C數據中心解決方案特點新IT業務平面和運維平面無縫融合，支撐面向應用的自動化FabricDirector作為面向監控運維的基礎架構管理平面，負責數據中心物理資源的部署、納管，物理及虛擬資源的運維和監控；云平臺作為面向交付的云&租戶管理平面，負責數據中心虛擬資源部署，同時為PaaS及SaaS層面的應用自動化部署提供支持。兩者以數據中心資源生命周期管理為軸，實現了無縫融合。開放、自動化、可編程的下一代網絡架構，適用多種典型場景H3C數據中心解決中心的網絡架構，支持不同層次的業務及監控平臺對接，在如下典型場景中提供開放、標準、自動化的可編程Fabric架構：SDN場景：SDN控制器承上啟下，北向提供完整的RestfulAPI，通過Neutron插件與OpenStack對接，同時支持各類第三方云平臺對接；南向納管Openflow及EVPN兩種組網形式；是當前H3C數據中心解決方案的主打場景OpenStackPlugin場景：無SDN控制器，由網元上運行的Cowmare平臺直接對接OpenStackNeutron組件第三方自動化軟件場景：針對特定用戶需求，支持Ansible、Puppet等第三方自動化軟件，為用戶業務提供更多靈活性完整的軟件定義網絡模型SDN＋，助力用戶自描述網絡用戶通過云平臺申請計算資源、存儲資源、租戶虛擬網絡，其中的計算和存儲資源是業務部署需要，而虛擬網絡負責將計算和存儲資源連接起來。為了滿足不同業務的網絡互通及隔離需求，必須支持完整的軟件定義網絡模型，包括：提供完整的網絡抽象模型具備完整網絡描述能力，抽象端口、L2、L3網絡、L4~L7層網絡服務?；诰W絡抽象模型，用戶自描述/自定義網絡租戶虛擬網絡根據自身需求可靈活自定義，而物理網絡可保持不變。分配、管控、呈現以及運維自定義網絡網絡資源可基于租戶、租戶不同業務進行細分；支持查看租戶虛擬網絡拓撲和物理網絡拓撲的映射關系，并基于該統一拓撲進行運維和排障。H3C數據中心解決方案的VCFFabric網絡架構在實現完整的軟件定義網絡模型的同時，還提供了多樣化的網絡轉發控制平面模型和Overlay組網方式，充分滿足用戶各類網絡場景需求。VCFFabric支持的網絡轉發控制平面模型VCFFabric提供2種網絡轉發控制平面模型：集中控制模型：轉發控制平面基于OpenFlow，由SDN控制器負責通過Openflow下發流表；用戶在云平臺上配置的網絡模型及策略，也由控制器轉換為配置后通過Netconf/OVSDB下發，支持多種Overlay模式，提供靈活部署選擇松散控制模型：轉發控制平面基于EVPN，由設備自學習實現；配置及策略仍然由由控制器負責下發，支持分布式數據中心及多活DC部署，提供更具擴展性和彈性的SDN方案VCFFabric支持的多種Overlay組網方式和網元角色VxLAN網絡邊緣設備，又稱VTEP（VXLANTunnelEndPoint，VXLAN隧道的起點/終點）。根據VTEP類型不同，Overlay組網可分為以下三類：網絡Overlay：使用Leaf設備作為VTEP。主機Overlay：使用部署在服務器上的軟件虛擬交換機作為VTEP。混合Overlay：在同一Overlay網絡中，同時存在網絡Overlay和主機Overlay的情況，稱為混合Overlay。VxLANL2網關負責將VLAN報文轉換為VxLAN報文，并在同一VxLAN對應的二層廣播域中進行二層轉發；VxLANL3網關負責處理跨VxLAN的三層轉發。根據Overlay網元承擔的網關角色，可以分為以下兩類：集中式網關：Leaf設備或者虛擬交換機（VTEP）作為VxLANL2網關，Spine設備或者專門部署的NFV網元作為VxLANL3網關。分布式網關：Leaf設備或者虛擬交換機（VTEP）同時作為VxLANL2/L3網關。用戶典型組網場景及對比考慮到各類Overlay組網及網關角色的特點，主機/混合Overlay會配合集中式網關使用，網絡Overlay會配合分布式網關使用。結合不同的網絡轉發控制平面，VCFFabric支持如下典型組網場景：組網場景一：主機/混合Overlay+集中控制模型+集中式網關由于運行在內核態的虛擬交換機沒有實現完整的TCP/IP協議棧，無法承擔VxLANL3網關功能，也無法支持EVPN協議，因此主機/混合Overlay組網通常會選擇集中控制模型和集中式網關。在本場景中，虛擬交換機嚴格按照控制器下發的流表進行轉發，由于不受硬件轉發芯片的格式限制，控制器可以將源和目的均為本數據中心內主機的/L3轉發表項也下發到虛擬交換機，使其具備一部分分布式網關的功能。對于源或目的不是本數據中心內主機的情況，仍然需要送到專門的VxLANL3網關處理。該場景的VxLANL3網關及L2VTEP均可使用軟件網元承擔，適用于傳統數據中心的SDN改造。組網場景二：網絡Overlay+集中控制模型+集中式網關與場景一相比，本方案使用硬件設備作為VTEP，轉發性能更高；缺點是硬件VxLANL2網關受芯片格式限制，無法處理同一設備下接入的不同VxLAN間的三層轉發，必須繞行到專門的VxLANL3網關，流量路徑不是最優。組網場景三：網絡Overlay+松散控制模型+分布式網關網絡Overlay組網通常為Spine-Leaf架構全硬件組網，硬件設備可以很好地支持EVPN/VxLAN協議，使用分布式網關也保證了硬件轉發流量路徑最優。該場景的轉發性能高，同時分布式網關適合網絡橫向擴容，是新建數據中心大規模組網的理想選擇，H3CSDN方案正是使用了此類場景。上述組網場景的對比如下：關鍵特性場景一：主機/混合Overlay+集中控制模型+集中式網關場景二：網絡Overlay+集中控制模型+集中式網關場景三：網絡Overlay+松散控制模型+分布式網關轉發性能中高高流量模型最優存在繞行最優計算虛擬化兼容性與廠商支持程度相關好好組網規模中小規模組網中小規模組網無限制網絡可靠性中控制器可靠性影響轉發中控制器可靠性影響轉發高轉發與控制器無關廠商支持情況VMware、H3C等華為、H3C等Cisco、華為、H3C等

H3CSDN方案關鍵特性組網模型H3CSDN方案的基礎組網是EVPN分布式網關組網，該組網基于全硬件網絡OverlaySpine-Leaf兩層架構，在Leaf設備上部署分布式網關，具備可靠性高、性能最優、擴展性強等特點。在此組網基礎上，為了提升Fabric出口Border設備可靠性、滿足用戶特定組網需求，進一步細分了LeafBorder（支持多Border）組網和SpineBorder（支持多Border）組網。EVPN分布式網關組網控制平面實現EVPN分布式網關組網的控制平面由Spine及Leaf設備運行EVPN協議實現，Leaf和Spine的分工如下：Leaf作為分布式網關，同時承擔VxLANL3網關及L2VTEP角色；Leaf間互相建立EVPN鄰居關系，通過MP-BGP協議擴展，交換各自接入的主機路由和MAC信息，形成VxLANL2/L3轉發表項Spine作為Underlay設備，不參與OverlayVxLAN轉發，僅承擔EVPN協議中的BGPRR角色，將從任意Leaf收到的EVPN消息反射給其他Leaf，提升EVPN協議報文交互效率基于上述分工，EVPN分布式網關組網支持如下特性：VxLAN隧道自動建立利用EVPN的BGPRR實現鄰居發現，設備間相互通告各自的VxLAN信息，使得所有VTEP設備都持有全網的VxLAN信息以及VxLAN和下一跳設備的關系；各VTEP設備與跟自己有相同VxLAN的下一跳設備自動建立VxLAN隧道。詳細流程如下：Spine設備實EVPN的BGPRR角色，Leaf設備實現EVPN的RRClient角色RRClient向RR發起注冊(攜帶自身IP/VxLAN列表)RR轉發收到的報文給所有其它鄰居RRClientRRClient根據收到的報文中的IP/VxLAN列表，在有相同VxLANid各VTEP之間自動創建VxLAN隧道，自動關聯VxLAN隧道和VxLANVxLAN隧道自動關聯各VTEP設備與跟自己有相同VxLAN的下一跳設備自動建立VxLAN隧道后，再將VxLAN隧道與這些相同的VXLAN關聯。地址學習本地MAC和ARP的學習由Leaf完成。本地MAC的學習通過以太報文的源MAC學習獲得，ARP通過ARP或免費ARP等報文學習獲得。本地學到MAC和ARP后，再同步到其他Leaf設備。地址同步利用EVPN的MP-BGP路由協議完成MAC地址同步、主機路由同步兩個功能。因此，在EVPN網絡里面，不需要將ARP請求泛洪到網絡中。詳細流程如下：某VM上線，對應Leaf學習到該VM的MAC和主機路由后，通過BGP擴展協議向RR同步RR把接收到的路由更新同步給所有其他Leaf其他Leaf接收到BGP報文，把學習到的VM的MAC和IP地址添加到表項中，MAC放到相同VxLAN的L2表項中，路由放到L3表項中外部路由同步EVPN網絡構建的是一個私有網絡，它也可以通過接入外網，實現跟外網通信的目的。BorderLeaf通過普通接口跟外網建立路由協議鄰居，學習路由，然后在BorderLeaf上EVPN可以引入這些外部路由，進而通告到EVPN網絡中，使其他VTEP也能學到這些外部路由。這些路由的下一跳均指向通告此路由的BorderLeaf。當網絡中存在多臺BorderLeaf時，多臺BorderLeaf都可以通告此路由，這樣在遠端還可以形成等價路由，以達到網絡負載分擔的目的。VM遷移遷移消息：新遷移到的VTEP或網關會重新感知到主機/虛擬機上線，會重新通告該MAC/IP路由，此路由跟遷移前通告的MAC/IP路由的區別在于在BGPupdate消息中攜帶了一種新的擴展團體：MACMobility擴展團體。此擴展團體里面包含一個序列號。消息更新：每次遷移，遷移序列號將遞增，遠端在收到一個比自己系列號更大的消息時，更新自己的MAC/IP路由消息，下一跳指向遷移后通告此路由的VTEP或GW。消息撤銷：原VTEP在收到此路由更新后，撤銷之前通告的路由。ARP抑制泛洪抑制：為了避免廣播發送的ARP請求報文占用核心網絡帶寬，Leaf根據從BGP收到的EVPN路由在本地建立ARP緩存表項。ARP代答：后續當Leaf收到本站點內虛擬機請求其它虛擬機MAC地址的ARP請求時，優先根據本地存儲的ARP表項進行代理回應。ARPMISS：如果沒有對應的表項，則將ARP請求泛洪到其他Leaf。特點：ARP泛洪抑制功能可以大大減少ARP泛洪的次數。數據平面實現:分布式網關二層轉發單播轉發EVPN通過BGP協議通告本地學到的MAC，遠端根據BGP收到的MAC路由消息，將MAC下到遠端Tunnel上，形成單播MAC表項。VTEP接收到二層數據幀后，判斷其所屬的VSI，根據目的MAC地址查找該VSI的MAC地址表，通過表項的出接口轉發該數據幀。如果出接口為本地接口，則VTEP直接通過該接口轉發數據幀；如果出接口為Tunnel接口，則VTEP根據Tunnel接口為數據幀添加VxLAN封裝后，通過VxLAN隧道將其轉發給遠端VTEP。BUM報文轉發：頭端復制除了單播流量轉發，EVPN網絡中還需要轉發廣播，未知組播與未知單播流量，即BUM流量。目前EVPN轉發BUM可以使用頭端復制方式。VTEP接收到本地虛擬機發送的組播、廣播和未知單播數據幀后，判斷數據幀所屬的VxLAN，通過該VXLAN內除接收接口外的所有本地接口和VXLAN隧道轉發該數據幀。通過VxLAN隧道轉發數據幀時，需要為其封裝VxLAN頭、UDP頭和IP頭，將泛洪流量封裝在多個單播報文中，發送到VXLAN內的所有遠端VTEP。VxLAN的頭端復制列表是EVPN自動發現并創建的，不需要手工干預。數據平面實現:分布式網關三層轉發在EVPN網絡中，分布式網關既可以做二層Bridge轉發功能，也可以做三層Router功能，因此稱為集成橋接和路由，即IRB(IntegratedRoutingandBridging)。在分布式網關里面，IRB轉發可以分為對稱IRB和非對稱IRB兩種。H3C實現的是對稱IRB轉發模型。對稱IRB轉發引入了以下2個概念：L3VNI（Layer3VNI）:是指在分布式網關之間通過VxLAN隧道轉發流量時，屬于同一租戶(VRF)的流量通過L3VNI來標識。L3VNI唯一關聯一個VPN實例，通過VPN實例確保不同租戶之間的業務隔離。RouteMAC：網關的RouterMAC地址，是指每個分布式網關擁有的唯一一個用來標識本機的本地MAC地址，此MAC用于在網關之間通過VxLAN隧道轉發三層流量。報文在網關之間轉發時，報文的內層MAC地址為出口網關的RouterMAC地址。非對稱IRB所謂非對稱IRB，是指在Ingress入口網關，需要同時做Layer-2bridging和Layer-3routing功能，而在Egress出口網關，只需要做Layer-2bridging功能。因此是不對稱的。轉發路徑：非對稱IRB流量來回路徑不一致，去程流量使用VNI300對應的隧道，回程流量使用VNI100對應的隧道。VTEP配置：在VTEP配置本地VNI的VSI，還需要配所有的和本地VNI在同一個VRF的其它VTEP上VNI的VSI。表項：VTEP硬件轉發表中包含VRF所含VNI內所有遠端主機的IP和MAC，以指導報文完成VXLANL2/3轉發。三層轉發：VTEP收到報文后，發現DMAC為網關MAC，進行三層查表，將報文從源VNI轉發到目的VNI，內層DMAC切換為目的主機的MAC，到達目的VTEP后，解封裝后使用內層DMAC執行二層查表，將報文在目的VNI內轉發到相應端口。非對稱IRB存在以下缺點：配置復雜：每個VTEP上需要配置Fabric內所有的VNI的VSI信息占用表項大：每個VTEP上需要維護其下掛主機所在VRF所含VNI內的全部主機的MAC信息（包括遠端主機的MAC）來回路徑不一致：非對稱IRB流量來回路徑不一致，去程流量和回程流量使用使用不同的VNI完成三層轉發對稱IRB相比于非對稱IRB，對稱IRB是指在Ingress入口網關和Egress出口網關，都只做Layer-3routing功能(同網段則只做briding功能)。因此是對稱的。轉發路徑：對稱IRB流量來回路徑一致，去程流量使用VNI1000對應的隧道，回程流量使用VNI1000對應的隧道VTEP配置：在VTEP配置本地VNI的VSI，需要配一個新類型L3VNI，L3VNI會有同一個VRF內的路由，三層轉發的流量會在L3VNI完成轉發表項：每個VTEP上只需要維護其下掛主機所在的VNI內的MAC信息，只需要知道遠端VTEP的RouterMAC表項占用更少轉發流程：VTEPA收到報文如果需要進行三層轉發，將報文從源VNI轉發到L3VNI，內層DMAC切換為目的VTEP的RMAC-C；VTEPC解封裝后發現內層DMAC為自己,將內層報文在L3VNI所對應的VRF中做三層轉發對稱IRB具有如下優勢：配置簡單：每個VTEP上只需要配置其下主機所在VNI的VSI信息和所在的VRF的L3VNI的VSI，配置簡單，更有利于自動化部署表項占用少：每個VTEP上只需要維護其下掛主機所在的VNI內的MAC信息，只需要知道遠端VTEP的routerMAC.表項占用更少來回路徑一致：對稱IRB流量來回路徑一致，如本例中，去程流量使用VNI1000對應的隧道，回程流量也使用VNI1000對應的隧道多Border組網多Border組網包括LeafBorder和SpineBorder，完全繼承了EVPN分布式網關的控制平面和數據平面實現，與基礎組網相比，主要差異在于Border設備的數量和Border的位置。LeafBorder：將單個BorderLeaf擴展到了多個SpineBorder：將Border改為部署在Spine上，同時也支持多個Spine同時作為BorderBorder改為部署在SpineBorder設備必須是Overlay設備，且需要支持分布式網關，因此只要將Spine設備替換為支持分布式網關的設備，即可滿足組網要求。Border數量擴展不同租戶的L3隔離是通過VRF實現的，租戶主機如果需要通過Border與外網進行南北向通信，需要將租戶VRF與專門的BorderVRF進行路由互引操作?？梢酝ㄟ^在Leaf和Border設備上手動配置實現路由互引，也可以通過在SDN控制器的圖形化界面的vRouterLink功能，將租戶VRF對應的租戶vRouter與BorderVRF對應的BordervRouter連接起來實現路由互引。Border數量擴展到多個后，不論其位置是Leaf或Spine，其他Leaf到Border的轉發模式均可分為等價和非等價兩種：多出口等價模式在等價模式中，多臺Border設備上配置同一BorderVRF，在SDN控制器上對應同一BordervRouter；租戶VRF與BorderVRF進行路由互引后，租戶VRF中的南北向流量可以經由不同Border轉發到外網設備，實現了等價路由負載分擔。等價模式增強了Border的可靠性，在不使用IRF的情況下，多臺Border中有部分設備宕機，并不影響租戶VRF的南北向流量通信。多出口非等價模式在非等價模式中，首先對多臺Border設備進行分組，同組內如有多臺Border設備，均配置同一BorderVRF，組內形成等價模式。租戶VRF需要選擇所使用的Border組，并與該組Border的VRF進行路由互引，實現南北向流量轉發。非等價模式為不同租戶的業務提供了更多靈活性，不同租戶可以選擇不同的南北向流量出口；同時歸屬同一組內的多臺Border設備仍然可以形成等價模式，進行流量負載分擔。Underlay自動化H3CSDN方案的Underlay自動化功能，由FabricDirector軟件和Spine-Leaf網絡設備配合完成。Fabric規劃開始自動化部署之前，需要先根據用戶需求完成準備工作，包括以下步驟：物理設備連線，安裝Director軟件，通過帶外管理交換機將Director和物理設備管理口接入三層可達的管理網絡。根據用戶需求完成Underlay網絡規劃，包括IP地址、可靠性、路由部署規劃等，規劃完成后，自動生成Spine-Leaf規劃拓撲。通過Director完成Underlay自動化預配置通過Director完成DHCP服務器、TFTP服務器的部署和參數設置基于Spine/Leaf角色，通過Director完成設備軟件版本和配置模板文件的準備指定Fabric的RR、Border角色，支持指定多個Spine/Leaf作為Border自動配置Underlay網絡自動配置的目的是為Overlay自動化提供一個IP路由可達的三層網絡，包括以下步驟：設備上電，基于Spine/Leaf角色，自動獲取管理IP、版本文件、配置模板根據拓撲動態生成配置自動配置IRF自動配置Underlay路由協議，可選OSPF、ISIS可視化部署Director根據IP地址段掃描已經上線的設備，生成Underlay自動化過程中的動態拓撲，并在該拓撲上實時呈現自動化狀態和進度：自動化開始設備根據角色加載版本，并獲取配置文件模板，開始自動化配置過程，進入設備自動化開始狀態。查看實時IRF狀態設備加入IRF時，支持上報設備IRF開始；設備加入IFR完成后，支持上報設備IRF結束；設備出現故障等導致IRF分裂，支持上報設備離開IRF。查看實時拓撲狀態支持上報設備互連接口UP、DOWN狀態；設備互連接口獲取IP，路由收斂后，支持上報設備間Spine和Leaf鏈路三層連通性狀態；設備互連接口獲取IP，路由收斂后，支持上報鏈路連通狀態的整網檢測結果。自動化結束支持Fabric自動化過程結束狀態上報。資源納管Underlay網絡自動化完成后，所有參與自動化的物理網絡設備自動被Director納管。Overlay自動化–對接OpenStackUnderlay自動化完成后，用戶可以從云平臺界面按需配置虛擬網絡模型，或者直接在SDN控制器的界面完成同樣的工作，兩種情況下，均由SDN控制器將虛擬網絡模型轉換為Overlay配置下發到設備。當用戶通過云平臺進行配置時，在創建接入主機的虛擬L2網絡時可以選擇VLAN網絡、VxLAN網絡等類型，H3CSDN方案統一使用基于VxLAN的Overlay網絡來進行對接。支持OpenStackVLAN網絡當租戶使用VLAN網絡時，需要提前進行的準備工作如下：在VCFC上為該VLAN網絡配置VxLAN-VLAN映射關系如果配置下發方式為預下發，配置完成后會立刻下發到指定的設備所有端口或指定端口；如果配置下發方式為按需下發，在VM上線后再下發到VM上線端口。準備完成后，租戶申請VM的整個處理流程如下：租戶在云平臺界面創建VM云平臺租戶根據業務需求，創建VM，并接入指定VLANNetwork，分配到對應VLANID及IP地址Neutron組件為該VM分配接入VLAN網絡的vPortNova組件將VM創建請求下發到選定計算節點計算節點創建VM成功計算節點為VM分配云平臺指定的計算資源配額（CPU、內存、磁盤空間等），VM創建成功計算節點上運行的NovaAgent通知Nova組件VM創建成功，Nova相關處理完成計算節點上運行的NeutronAgent向NeutronServer請求該VM分配到的VLANID，并配置在vSwitch上，保證VM啟動后發出的報文經由vSwitch上送到交換機時攜帶該VLANIDNeutron將相關信息下發到VCFCVM創建成功，NeutronServer將分配給該VM的vPort信息、IP地址下發到SDN控制器VCFC。VM創建成功后，用戶啟動VM，開始正常使用，整個流程如下：VM啟動并上線用戶啟動VM，VM上線，發送DHCP請求（廣播報文）。VCFC處理DHCP代答及VM上線如果部署了獨立DHCP服務器，不需要VCFC進行DHCP代答，則跳過此步驟如果需要VCFC進行DHCP代答，Leaf通過Openflow通道將DHCP請求上送到VCFC，VCFC使用VM創建成功時Neutron下發的IP地址構造DHCP應答報文，經由Leaf發送給VMVCFC將VM對應的vPort狀態標記為上線，如果配置下發方式是按需下發，此時會將提前在VCFC界面配置的VxLAN-VLAN映射關系下發到Leaf接入該VM的端口上VM發送首個報文VM在發送首個業務報文前，先發送針對其目的IP的ARP請求，獲取其目的IP對應的MAC地址。Leaf進行ARP處理Leaf復制ARP請求上送控制器Leaf根據當前配置，進行ARP代理/代答應答處理VCFC進行ARP處理如果部署了獨立DHCP服務器，VCFC未進行DHCP代答，此時該VM對應的vPort在VCFC處并未上線；VCFC收到Leaf上送的ARP請求后，將VM對應的vPort狀態標記為上線，如果配置下發方式是按需下發，此時會將提前在VCFC界面配置的VxLAN-VLAN映射關系下發到Leaf接入該VM的端口上。經過上述流程處理，租戶VM創建及上線均已完成，可以基于虛擬VLAN網絡進行正常通信。層次化端口綁定云平臺租戶使用OpenStackVLAN網絡類型時，受限于4KVLAN限制，最多只能創建不超過4K的L2虛擬網絡。如果使用OpenStackVxLAN網絡類型，在云平臺上沒有4KVLAN限制；當云平臺將虛擬網絡模型下發到VCFFabric時，就形成了如下圖示的分層網絡：Spine-Leaf、Leaf-Leaf是VxLAN網絡，其SegmentID（L2廣播域標識符）為VxLANID，通過VxLANID區分不同的L2虛擬網絡Leaf到計算節點間是VLAN網絡，其SegmentID（L2廣播域標識符）為VLANID，通過VLANID區分不同的L2虛擬網絡不同層級的網絡，由Neutron組件中對應的MechanismDriver對接管理對于分層網絡，為了保證VM可以接入并正常使用端到端的L2虛擬網絡，必須解決以下2個問題：問題1：對同一VM（vPort），不同層級網絡的SegmentID如何形成映射關系問題2：如果SegmentID間是靜態1:1映射關系，且下層網絡為VLAN網絡，則端到端的二層廣播域數量將受到VLAN4K限制為了解決上述問題，OpenStack從Liberty版本開始，正式引入層次化端口綁定特性。解決問題1：通過不同MechanismDriver配合，為同一主機在各層網絡分配對應的SegmentID解決問題2：下層網絡（VLAN網絡）使用動態分配的SegmentID在下層網絡對應的MechanismDriver中，為每個計算節點建立獨立的SegmentID范圍當接入某vPort的VM需要分配SegmentID時，上層網絡（VxLAN網絡）分配靜態ID，下層網絡（VLAN網絡）從主機所在計算節點的SegmentID范圍中分配動態ID當VM（vPort）遷移到新的計算節點，上層網絡的靜態ID保持不變，下層網絡從新計算節點的SegmentID范圍中再次分配新的動態ID按上述實現，單個計算節點上的VM所接入的虛擬網絡不能超過4K，整網無此限制支持OpenStackVxLAN網絡H3CSDN方案已經支持了層次化端口綁定特性（特別說明：由于不同計算虛擬化軟件的限制，當前暫時只有OpenStack＋KVM的組合支持該特性）；當租戶使用VxLAN網絡時，當需要提前進行的準備工作如下：在Neutron組件配置文件中，為每個計算節點配置獨立的VLAN范圍，不同節點的VLAN范圍可以重疊承載VM的物理服務器需要啟用LLDP協議，向Leaf設備定期發送LLDP報文（Leaf設備的LLDP協議已經在Underlay自動化時開啟）準備完成后，租戶申請VM的整個處理流程如下：租戶在云平臺界面創建VM云平臺租戶根據業務需求，創建VM，并接入指定VxLANNetwork，分配到對應VxLANID及IP地址Nova組件將VM創建請求下發到選定計算節點Neutron組件為該VM分配接入VxLAN網絡的vPort，同時從選定計算節點的VLAN范圍中，為該VxLANID分配對應VLANID計算節點創建VM成功計算節點為VM分配云平臺指定的計算資源配額（CPU、內存、磁盤空間等），VM創建成功計算節點上運行的NovaAgent通知Nova組件VM創建成功，Nova相關處理完成計算節點上運行的NeutronAgent向NeutronServer請求該VM分配到的VLANID，并配置在vSwitch上，保證VM啟動后發出的報文經由vSwitch上送到交換機時攜帶該VLANIDNeutron將相關信息下發到VCFCVM創建成功，Neutron組件的VCFCMechanismDriver將分配給該VM的vPort信息、IP地址下發到SDN控制器VCFC。VCFC處理LLDP報文Leaf收到計算節點定期發送的LLDP報文，將其通過Openflow通道上送給VCFCVCFC收到Leaf上送的計算節點LLDP報文后，從中解析得到該計算節點當前接入的端口信息，填寫到該計算節點上當前已創建VM的vPort信息中，形成完整的VxLAN-VLAN映射關系（VxLANID、VLANID、計算節點接入端口）；如果配置下發方式為預下發，立刻下發到該端口；如果配置下發方式為按需下發，在VM上線后再下發到該端口VM創建成功后，用戶啟動VM，開始正常使用，整個流程如下：VM啟動并上線用戶啟動VM，VM上線，發送DHCP請求（廣播報文）。VCFC處理DHCP代答及VM上線如果部署了獨立DHCP服務器，不需要VCFC進行DHCP代答，則跳過此步驟如果需要VCFC進行DHCP代答，Leaf通過Openflow通道將DHCP請求上送到VCFC，VCFC使用VM創建成功時Neutron下發的IP地址構造DHCP應答報文，經由Leaf發送給VMVCFC將VM對應的vPort狀態標記為上線，如果配置下發方式是按需下發，此時會將該vPort的VxLAN-VLAN映射關系下發到Leaf接入該VM的端口上VM發送首個報文VM在發送首個業務報文前，先發送針對其目的IP的ARP請求，獲取其目的IP對應的MAC地址。Leaf進行ARP處理Leaf復制ARP請求上送控制器Leaf根據當前配置，進行ARP代理/代答應答處理VCFC進行ARP處理如果部署了獨立DHCP服務器，VCFC未進行DHCP代答，此時該VM對應的vPort在VCFC處并未上線；VCFC收到Leaf上送的ARP請求后，將VM對應的vPort狀態標記為上線，如果配置下發方式是按需下發，此時會將提前在VCFC界面配置的VxLAN-VLAN映射關系下發到Leaf接入該VM的端口上。經過上述流程處理，租戶VM創建及上線均已完成，可以基于虛擬VxLAN網絡進行正常通信。Overlay自動化–獨立Fabric場景軟件定義網絡模型H3CSDN方案所使用的SDN控制器VCFC支持OpenStackNeutron標準網絡模型，用戶可以選擇通過云平臺或VCFC界面配置虛擬網絡模型，實現相同的功能。Overlay配置下發到設備VCFC將虛擬網絡模型轉換為具體配置后，向納管網元下發，配置類型有：VPN實例配置L3VNI配置VSI接口配置VSI配置AC配置（含VxLAN-VLAN映射關系）VCFC下發配置的方式，按下發配置的時機，分為以下兩種：配置預先下發在VCFC上配置完成后，立刻下發到網元，此時通常主機還未上線，并不需要使用相關配置，屬于配置預先下發。配置按需下發（部分）AC配置在主機上線時下發，其他配置預先下發。Fabric接入如果將VCFFabric整體看成一臺虛擬網絡設備，數據中心的所有軟硬件資源，包括計算及存儲資源、數據中心出口的外部網絡，都必須接入到Fabric的某個端口，才能正常使用。當前H3CSDN方案支持接入的資源包括：支持V