HC13081,云計算,V1R5,1.0,李扶洋,2016-08,Fly,新開發,網絡設計,本節介紹傳統網絡向虛擬網絡，VxLAN及SDN發展的驅動力，并為理解其概念及含義提供了學習知識以華為FusionSphere介紹云數據中心的SDN方案實例化認識SDN數據中心網絡設計，主要從虛擬網絡平面隔離，SDN方案集成等講解學習,學完本課程后，您將能夠:了解虛擬網絡，VxLAN及SDN的產生背景和解決的問題熟悉FusionSphereSDN解決方案理解數據中心網絡設計比傳統網絡設計更廣泛的范疇更廣，如何著手等,網絡虛擬化介紹VxLANSDN數據中心網絡設計,為什么要虛擬網絡,傳統數據中心特點：一個物理網絡端口對應一臺唯一的計算機計算機與網絡關系固定，很少變動云計算數據中心帶來的變化：一個物理網絡端口會對應對應數量不固定的虛擬機虛擬機會頻繁的進行跨主機的遷移，與網絡間關系不再固定傳統南北流向為主的數據中心網絡架構不滿足未來IT發展的需求熱遷移使得計算能力不再固定在具體物理位置，傳統網絡無法靈活的滿足云計算的訴求,虛擬網絡的產生,虛擬化技術從服務器虛擬化延伸到網絡虛擬化通過網絡虛擬化，基于同一物理網絡，虛擬機認為運行于不同的虛擬網絡服務器虛擬化使得虛擬機按需可得，網絡虛擬化使得虛擬網絡靈活配置,虛擬網絡A,虛擬網絡B,物理網絡,服務器虛擬化多個虛擬機運行在一個物理服務器上每個虛擬機相互獨立，互不干擾,網絡虛擬化多個虛擬網絡承載在一個物理網絡上每個虛擬網絡相互獨立，互不干擾,虛擬網絡,與服務器虛擬化類似，網絡虛擬化可以在很短的時間（秒級）創建L2、L3到L7的網絡服務，如交換，路由，防火墻和負載均衡等。虛擬網絡獨立于底層網絡硬件，可以按照業務需求配置、修改、保存、刪除，而無需重新配置底層物理硬件或拓撲。這種網絡技術的革新為實現軟件定義的數據中心奠定了基礎,云計算環境下的虛擬網絡,兩層獨立發展軟件定義網絡VM跨網遷移底層硬件維護高共享資源池,云計算網絡虛擬化的特點,隔離性不同租戶的流量，相互之間不能訪問不同租戶的IP/MAC地址可以獨立規劃，甚至可以相互重疊,可移動性虛擬機可以跨二層/三層遷移，甚至可以跨廣域網進行遷移邏輯網絡和物理網絡解耦，不受物理網絡限制邏輯網絡可以跨越二層/三層物理網絡可擴展性邏輯網絡規模可擴展邏輯網絡數量可擴展,網絡虛擬化的層次,第一部分是服務器內部：IO虛擬化第二部分是服務器內部：虛擬接入識別不同虛擬機的網絡包第三部分是服務器到網絡的連接：網絡連接第四部分是網絡交換：需要將物理網絡和邏輯網絡有效的分離，另外網絡設備如交換機、路由器等需要具備1：N和N:1的虛擬化能力,端到端的技術,網絡IO虛擬化(1),虛擬交換現狀,分布式虛擬交換實現方式,虛擬交換機可以在三個層次實現：基于服務器CPU：以軟件形式運行在服務器上，實現虛擬交換功能基于物理網卡：某些物理網卡支持硬件虛擬化功能，通過硬件本身提供的虛擬化功能實現虛擬交換基于物理交換機：某些物理交換機可通過特殊協議，感知虛擬機的存在，在交換機層實現虛擬交換,基于CPU實現的虛擬交換,在服務器的CPU中實現完整的虛擬交換的功能，虛擬機的虛擬網卡對應虛擬交換的一個虛擬端口，服務器的物理網卡作為虛擬交換的上行鏈路接入物理接入層交換機虛擬機的報文接收流程如下：虛擬交換機首先從虛擬端口/物理端口接收以太網報文，之后根據虛擬機MAC、VLAN，查找二層轉發表，找到對應的虛擬端口/物理端口，然后按照具體的端口，轉發報文如圖所示，同一主機中的虛擬機VM1和VM2之間的數據交換由本地虛擬交換機完成，而VM1與VM3通信時，數據交換有兩個虛擬交換機及物理交換機共同完成,基于CPU實現的虛擬交換的特點,服務器內部的通信性能同一服務器上的虛擬機間報文轉發性能好，時延低虛擬交換機實現虛擬機之間報文的二層軟件轉發報文不出服務器，轉發路徑短，性能高跨服務器通信性能需要經物理交換機進行轉發，相比物理交換機實現虛擬交換，由于虛擬交換模塊的消耗，性能稍低于物理交換機實現虛擬交換擴展靈活由于采用純軟件實現，相比采用L3芯片的物理交換機，功能擴展靈活、快速，可以更好的滿足云計算的網絡需求擴展規格容量大服務器內存大，相比物理交換機，在L2交換容量、ACL容量等，遠大于物理交換機,SR-IOV技術,SR-IOV(SingleRootI/OVirtualization)技術基于硬件的虛擬化解決方案允許在虛擬機之間高效共享PCIe設備，并且在硬件中實現的，可以獲得能夠與本機性能媲美的I/O性能下面先介紹軟件共享方案的架構及不足，再分析SR-IOV實現的硬件共享方案,軟件IO共享結構,以軟件為基礎的IO共享利用仿真技術為每個VM提供邏輯的硬件設備，仿真層位于VM的OS和實際物理設備之間虛擬設備可以解析IO命令、完成VM地址到主機物理地址的翻譯。軟件必須解決多個VM的并行IO操作到單個IO數據流的合并操作，由虛擬軟件橋(SoftwareVirtualSwitch)完成軟件共享IO的優勢在于利用軟件仿真可以支持多種物理設備。但軟件仿真只能實現物理設備的功能子集，可能無法利用物理設備所提供的高級功能VMM所實現的虛擬橋在物理設備和多個VM之間實現進行數據包路由會帶來一定的CPU開銷，會導致IO設備的吞吐量下降，例如10Gbps的物理網卡在軟件共享模式下其吞吐量可能只有4.5-6.5Gbps,SR-IOV硬件共享架構,SR-IOV架構設備允許一個物理設備支持多個虛擬功能，SR-IOV引入了兩個新的功能類型：物理功能(PF)：用于支持SR-IOV功能的PCI功能，PF包含SR-IOV功能結構，用于管理SR-IOV功能。PF可以像其他PCIe設備一樣進行發現、管理。PF擁有完全配置資源，可以用于配置或控制PCIe設備虛擬功能(VF)：VF是一種輕量級PCIe功能，可與物理功能以及與同一物理功能關聯的其他VF共享一個或多個物理資源。VF僅允許擁有用于其自身行為的配置資源具有SR-IOV功能的設備通過設置可以在配置空間出現多個功能，其支持的獨立VF數量是可以配置的，每個功能擁有自己的配置空間。VMM通過配置空間匹配可以為一個VM指定一個或多個VFSR-IOV技術使VM和物理設備VFn之間實現直接的DMA傳輸，無需軟件的干預,SR-IOV重要組件,SR-IOV重要組件(1),PF驅動Hypervisor使用PF驅動管理SR-IOV設備的全局功能PF可以被Hypervisor用作一個具有普通I/O功能的設備，如圖中PF作為一個普通的網卡連接到虛擬交換機上Hypervisor調用PF驅動配置虛擬設備VF,SR-IOV重要組件(2),VF驅動半虛擬化驅動，安裝在GuestOS中GuestOS用VF驅動來同物理網卡中的VF進行通信傳輸數據,SR-IOV重要組件(3),PF(PhysicalFunction)一個PF可以被看做一個完整的I/O設備，功能相當于一個完整的物理網卡PF有單獨的寄存器BARs(BaseAddressRegisters)，用來保存當前數據傳輸的狀態PF有單獨的傳輸隊列，包含發送隊列和接收隊列PF擁有完全配置資源，可以用于配置或控制PCIe設備，可用于管理VF,SR-IOV重要組件(4),VF(VirtualFunction)VF是一種輕量級PCIe功能，可以與物理功能以及與同一物理功能關聯的其他VF共享一個或多個物理資源。VF僅允許擁有用于其自身行為的配置資源。VF有單獨的寄存器BARs(BaseAddressRegisters)，用來保存當前數據傳輸的狀態VF有單獨的傳輸隊列，包含發送隊列和接收隊列,SR-IOV重要組件(5),內部網橋及分類器BridgeandClassifier所有的PF的傳輸隊列及VF的傳輸隊列都連接到內部網橋及分類器內部網橋Bridge用于同一個物理機內部虛擬機之間的交互分類器Classifier用于接收數據的時候，根據MAC地址查看，包是發送給哪個虛擬機的，則放到相應的VF的接收隊列中,SR-IOV網卡的數據發送過程,虛擬機將以太網報文放入VF驅動，發送中斷開始傳輸數據中斷到達VMM，VMM通知VF取數據初始化DMA操作，其中DMA操作的內存地址已經由VF驅動配制完成DMA操作到達芯片，InterVT-d技術實現DMA地址從虛擬的主機地址到實現的物理主機地址之間轉換，DMA操作完成后，報文從VM的內存空間到達VF的內存空間，放入隊列報文從隊列到達網橋網橋根據MAC或VLAN將報文在本機轉發到其他VF或者轉發到物理網口物理網口將數據發送到物理網絡,SR-IOV網卡的數據接收過程,以太網報文到達物理網卡報文被發送到分類器分類器根據MAC或VLAN將報文放置到目標VF對應的接收隊列初始化DMA操作，其中DMA操作的目標內存地址已經由VF驅動配制完成DMA操作到達芯片，InterVT-d技術實現DMA地址從虛擬的主機地址到實現的物理主機地址之間轉換，DMA操作完成后，報文到達VM的內存空間物理網卡產生中斷，表明數據已經到達，由VMM負責處理這個中斷VMM對VM產生一個虛擬的中斷，通知VM數據包已經到達,物理網卡實現虛擬交換的特點,相對于虛擬交換機（軟件VEB），減少了CPU占用率，采用網卡實現交換的功能，不再需要CPU參與虛擬交換處理對于物理網卡實現虛擬直通功能時，由于實現了虛擬機對PCIe設備的直接訪問和操作，顯著降低了從虛擬機到物理網卡的報文處理延時傳統商業網卡無法支持熱遷移、同時功能簡單，無法支持靈活的安全隔離等特性，且功能擴展困難華為自研iNIC智能網卡硬件，實現了虛擬機虛擬網卡與iNIC智能網卡虛擬的虛擬隊列直接相連，同時支持熱遷移、安全隔離功能,網絡虛擬化介紹VxLANSDN數據中心網絡設計,VxLAN技術,VxLAN背景現有VLAN只有4094個虛擬網絡標識可用在VLAN網絡下，虛擬機只能在二層網絡下遷移VxLAN(VirtualeXtensibleLocalAreaNetwork，全稱虛擬擴展局域網)是一種進行大二層虛擬網絡擴展的隧道封裝技術，解決了上面的問題VxLAN引入一個UDP格式的外層隧道，作為數據的鏈路層，而原有數據報文內容作為隧道凈荷來傳輸,VxLAN報文結構,VxLAN報文格式如下，包括VXLAN外層封裝和內層的原始凈荷,其中:Flags(8bits)其中I必須被設置為1，才是有效的。其他7位（R）為保留字段，必須設置為0VxLANSegmentID/VxLANNetworkIdentifier(VNI)為24bit，是虛擬網絡的標識Reservedfields(24bitsand8bits)必須被設置為0VxLAN外層隧道的目的端口號為4789，為專為VxLAN分配的端口號,VxLAN重要組件,VNI：VxLANNetworkIdentifier，24位虛擬網絡標識，可支持16M虛擬網絡VTEP：VxLANTunnelEndPoint，完成VxLAN報文的封裝和解封裝，VTEP與物理網絡相連，分配有物理網絡的IP地址，該地址與虛擬網絡無關,VxLAN網關,為了讓VxLAN虛擬網絡之間以及虛擬網絡與物理網絡之間能夠進行通信，VxLAN標準還定義了一個VxLAN網關實體,VxLAN通信過程(1),VM發送ARP廣播報文，到達VTEP后，VTEP將廣播報文封裝為組播報文發送到L3網絡中VTEP2收到組播報文后，首先學習VM1-VTEP1之間的映射關系，并把組播報文轉發給本地的VM3,VxLAN通信過程(2),VM3進行單播的應答VTEP2封裝VXLAN隧道，并根據學習到的映射表，封裝成VTEP1的外層地址，單播發送給VTEP1VTEP1收到應答后，學習VM3-VTEP2之間的地址映射，并去掉隧道轉發報文給VM1后續VM1與VM3之間就可以按照單播進行正常的隧道報文通信了,虛擬機遷移對網絡的要求,建議的網絡：將一個專用的千兆以太網適配器用于虛擬機遷移通過VLAN將虛擬機的業務流量和管理流量劃分到另外的網絡適配器上由于網絡流量未加密，應選用安全的專用網絡，僅供遷移使用確保虛擬機在源主機和目標主機上可以訪問相同的子網,網絡虛擬化介紹VxLANSDN數據中心網絡設計,傳統網絡面臨的問題,分布式最短路徑算法帶來的網絡擁塞問題,各廠家的網絡設備都太復雜了,如果您準備成為IP骨灰級專家，您需要閱讀網絡設備相關RFC2500篇，一天閱讀一篇也需要6年多，而這只是整個RFC的1/3，其數量還在增加如果您準備成為某個設備商設備的百事通，需要掌握的命令行超過10000條，而其數量還在增加,傳統網絡協議眾多，網絡管理運維困難,網絡創新業務的部署速度太慢,系統性的解決以上問題-SDN,SDN網絡架構,南北向業務互訪:基于TORNVEOverlay的互訪流程東西向業務互訪:基于TORNVEOverlay的互訪流程，包括對異構資源池的互訪,華為FusionSphere6.0DC內業務轉發流程,FSO6.0對接SDN特性能力,層次化Overlay原理,層次化Overlay介紹,OVS作為NVE是VXLAN的普遍用法，在這種應用情景下，OVS需要用到Host的內核協議棧的VXLAN封裝與解封裝能力，使用內核協議棧的VXLAN封裝與解封裝能力，使得數據面的轉發性能很低，業界開始思考VXLAN卸載方案，涌現出了幾個常見方案：1.以IT產品線芯片開發部的Hi1822的網卡卸載方案2.以ToR做NVE的交換機硬件卸載方案。FusionSphere6.0采用業界常見的方案2支持VXLAN卸載，需要支持ToR做NVE的場景，ToR做NVE的場景，計算節點上OVS做虛擬化接入，提供VLAN能力來隔離租戶，Juno版本的neutron，po