1、 云網融合的多云網絡架構目 錄 TOC o 1-3 h z u HYPERLINK l _Toc530829674 1.多云網絡，是未來標配 PAGEREF _Toc530829674 h 3 HYPERLINK l _Toc530829675 2.云網絡的架構 PAGEREF _Toc530829675 h 6 HYPERLINK l _Toc530829676 3.多云網絡Multi-Cloud PAGEREF _Toc530829676 h 17 HYPERLINK l _Toc530829677 4.總結 PAGEREF _Toc530829677 h 25多云網絡，是未來標配隨著云計

2、算的發展，越來越多的企業應用會上云，對于企業中不同的云業務開發者和云業務消費者。如何構建混合云，實現多云網絡，構建統一的連通性，統一安全策略，統一管控平臺，這是一個非常火熱的話題。鑒于運營商網絡Telco Cloud極度分布的微小數據中心（Mini/Micro DC），而且主要應用是處理客戶流量（vLB/vDPI/vPEC/） 而不是類似OTT提供內容（Content），運營商Telco Cloud更需要深入考慮如何實現多云/混合云的策略。本文介紹如何管理私有云數據中心，構建數據中心互聯和混合云解決方案。對于OTT網絡架構的深入理解，基本上來源于SIGCOM的白皮書和一些公開視頻。首先很多企業

3、業務都要上云，但是很多敏感數據企業可能需要保留在私有云（企業數據中心）里，或者是租用公有云服務器（IaaS）資源。隨著機器學習和AI的發展，越來越多的企業開發者需要利用公有云資源提升算法/數據庫創新能力（PaaS）。對于普通的企業用戶，會越來越多的采用云化的服務比如微軟Office，WorkDay，SAP等企業應用（SaaS）。可以看出，企業IT人員面臨要整合私有云，數據中心Fabric，數據中心互聯，混合云連接（阿里/AWS等）。急需要統一工具來提供連通性，保證安全策略部署在網絡的任意部分，統一的管理控制平臺。為什么需要混合云？我們以谷歌云為例，最早云計算提供最簡單的虛擬機和存儲服務。客戶需

4、要維護自己的數據庫和創建自己的算法代碼。最新的云計算公司提供更完整服務，開放最新的數據庫技術，提供人工智能機器學習算法(AI/ML)，并且提供的完整的數據處理架構。舉一個簡單的例子，最近參加谷歌新加坡Google云研討會，他們介紹如果從頭開始一個類似滴滴的Beta項目， 對某個城市例如北京，實時檢測司機在地圖上的具體地點，乘客的路徑規劃要求需要匹配最優的司機。而且需要很多前臺/后臺工作，包括架設很多服務器處理海量請求等等。大家可以想像，如果從頭開發，需要多少人來做一個類似的APP？正常情況下大概需要30-50工程師，至少需要6-12個月開發。在谷歌云上已經提供包括地圖映射，路徑規劃算法和信息流

5、處理，并且很容易scale out處理海量請求。利用這種成熟的Cloud開發環境，一個有經驗的工程師，二十分鐘左右可以做一個類似滴滴雛形的后臺系統。可以看到越來越多的中小企業不光采用云服務來獲得便宜的計算和存儲資源，越來越多的企業采用混合云來利用云公司的先進技術，數據庫，人工智能算法，大規模消息處理等等來加速創新。云服務成為創新的催化劑，并且極大提高和簡化技術易用性，使得中小企業不需要高端算法工程師，也能很快地推出很酷的主意，解決客戶痛點。云網絡的架構如何構建云網絡？云網絡由兩部分構成。物理underlay網絡，傳統的路由器，交換機和安全設備提供底層聯通。虛擬化的Overlay VPC網絡，是

6、在云（公有/私有）上為用戶建立一塊邏輯隔離的虛擬網絡空間。什么是VPCVPC不是傳統的MPLS VPN網絡，更類似Linux的Name Space。在VPC內，有多個可用域（Aviable Zone）。用戶可以自由定義網段劃分、IP地址和路由策略，可提供網絡ACL及安全組的訪問控制。一般提供一個Internet GW，做NAT/LB和VXLAN routing。還會提供一個VPC GW，提供IPsec接入VPC互聯和企業遠程上云（Cloud Onboarding）業務。下圖以AWS為例，其他云公司提供類似業務（實現細節有所不同）。云計算需要在大規模服務器物理環境上支持成千上萬的客戶。最早很多公

7、司采用VLAN進行客戶隔離。但是VLAN ID字段只有12 bit，限制網絡規模最多支持4K 租戶Tenants，這對于海量租戶而言肯定是不夠的。就不得不把多個客戶放到同一個VLAN下面，無法實現真正的客戶信息/流量的隔離。現代的VPC一般都是基于VXLAN或類似技術實現的， VXLAN的VNI被擴展成24bit，能夠支持1600萬個VPC區域，足夠支持云計算海量客戶增長。VXLAN是一種通用的Overlay封裝技術。將原始MAC/L3報文封裝成UDP包，可以很方便的跨越三層網絡傳輸二、三層內容。能夠讓用戶構建的分布在不同物理服務器Server/不同數據中心的VPC里面的客戶IP/MAC數據被

8、封裝進Server可尋址的IP地址，進而提供Scale Out云計算解決方案。軟件定義Overlay網絡很容易快速迭代新的算法，給云計算帶來了越來越多的網絡創新。VPCSDN控制器對于云計算來說，網絡中有成百上萬級別的主機VM，Containers，Serverless服務。每個終端都需要相應的IP地址，策略組，負載均衡，Anti-DDoS, VPN隔離等。以Google 為例，為維護全球網絡，SDN控制器需要在左右很短時間內即180ms左右，在全球DC網絡部署10萬級別VM。Google采用Divide and Conquer方式在全球部署多個區域region的Fabric Manager來

9、管理Jupiter數據中心TOR/Spine交換機。同時每個region采用多個仙女座（Andromeda）控制器來進行網絡虛擬化，管理虛擬機VM和容器。通過Openflow Front Endpoint（OFE）來下發轉發流表。VM之間缺省流量會經過Hoverboard（跳板），同時對于大象流（Elephant Flow），Andromeda提供bypass offload卸載創建VM-VM的直連tunnel。在數據中心的每一個Server上創建一個虛擬的Andromeda轉發面，通過IPinIP來構造Overlay網絡，虛擬多個不同的VPN，把VM/Containers映射到不同的虛擬網絡

10、。 每個轉發Forwarder可以提供Load balance/DDos/ACL/VPN能力。業界其他云公司，例如AWS/Azure都提供類似功能。AWS物理機之間通過IPinIP封裝在VPC頭里面，提供L2/L3跨越數據中心/Region的服務器虛擬化。并且采用Blackfoot作為VPC和外界通訊的VPC網關。開源Contrail SDN控制器實現跟Google 仙女座（Andromeda） 同樣的功能。Contrail基本設計思想是：每個數據中心服務器虛擬化出來一個vRouter, 通過vRouter來實現類似EVPN/L3VPN功能。多個VM/Container會連接到這個vRoute

11、r的不同的Tenent VRF。同時vRouter之間采用GRE/UDP/VXLAN做外層隧道, 采用內層標簽來標識不同的VRF。 vRouter相當于傳統L3VPN和EVPN的一個vPE功能。vPE用戶側不再接入CE設備，而是為VM/Container提供連接性。通過Orchestrator在Server上部署一個VM或者容器：1、首先給VM/Container POD分配IP地址，DNS等等信息。在vRouter上創建VRF/EVI，RT/RD等信息，上送回傳到Contrail控制器。vRouter之間不需要協議通訊，vRouter僅僅跟Contrail控制器進行控制平面的通信。2、生成L

12、3VPN/EVPN轉發表， 控制器知道現存的多個vRouter可能要跟新創建的vRouter共享相同的VRF/EVI，并且需要互相通訊，就通過XMPP來下發轉發表信息（BGP NLRI內嵌到XMPP消息里）到另一臺服務器上的vRouter。vRouter之間僅僅建立轉發平面的動態隧道。這樣Server之間的VM/Containers就可以通訊了。3、控制器通過BGP/Netconf來通知GW Router來自動發布VM/Container的 IP prefix.這樣Openstack/vCenter創建的VM/Container就可以被外界來使用了。簡單的來講，如果客戶有一萬臺服務器，部署了C

13、ontrail之后：1、Contrail控制器相當于傳統的路由器控制平面，承擔計算Overlay拓撲，數據通道Tunnel建立等工作。相當于傳統VPN的RR。2、數據中心的Leaf/Spine交換機提供IP Clos無阻塞交換，相當于一個虛擬的交換矩陣，為控制器和vRouter之間提供背板交換。3、vRouter/vSwitch跟Controller建立控制關系，vRouter之間建立數據tunnel。每個vRouter相當于傳統路由器的一個板卡。4、部署Contrail SDN控制器之后，數據中心服務器里的很多vRouter一起組成了巨大的虛擬路由器系統(Network as a Route

14、r)。為數以萬計的虛擬機/容器提供多租戶隔離的VPN網絡連通。VPCFabric控制器對于MSDC（大規模數據中心），不僅僅需要SDN控制器去管理vRouter，也需要全套工具管理路由器交換機，構造DC Fabric和DCI（數據中心互聯）Fabric。對于Cloud/DC/DCI fabric，針對不同拓撲（P2P/CLOS/HUB&Spoke）和不同設備（vRouter/Switch/Router）。需要采用不同技術來實現Fabric自動部署和監控。關于DC fabric Day1自動化配置部署，大部分廠家采用非常流行的Ansible來部署EVPN/VXLAN. 如下圖所示，最后產生針對不

15、同設備的配置Conf。首先要定義角色（Role），組（group），主機（host），拓撲（topo），等Yaml文件，然后采用Playbook去自動產生配置，并下發到每個Leaf/Spine交換機。Contrail Fabric Management（CFM）對Ansible也提供統一的GUI來進行自動化配置。解決了配置的基本問題，同時CFM還可以支持。完整的ZTP/ZTR（自動配置），軟件升級，拓撲發現，并且自動配置收集Telemetry遙測信息進行網絡故障診斷。對于數據中心互聯DCI（Data Center Interconnect），CFM也采用類似的配置管理方式。配置對象變為GW r

16、outer，配置技術以MPLS/VPN和IP/Optical為主。多云網絡Multi-CloudVPC網關GW以AWS VPC網絡為例，一般會有一個IGW（Internet GW）提供缺省路由NAT/LB等功能。還會提供一個VGW來提供IPSec互聯。比如AWS的BlackFoot提供VGW IPsec功能，還能做Direct Connect（Colo數據中心互聯）并且支持AWS 報文頭（IPinIP）連接VPC網絡。企業接入VPC網絡可以有以下幾種方式：1、Direct Connect，通過在IXP/Colo數據中心，通過一對兒云路由器和企業路由器上的VLAN接口，連接云和企業，并且支持BG

17、P路由分發。可以提供高達80Gbps的大帶寬接入。一些云公司還提供通過運營商/IXP的MPLS VPN網絡接入云。2、Private Link，滿足多個VPC互訪要求，企業可以在VPC上注冊一個私有鏈路（Private Link），在VPC上提供Elastic Network Interfaces（ENI），其他VPC可以通過白名單方式訪問企業VPC資源。3、IPsec VPN, 一般通過IPsec連接到Cloud的VGW上。云提供客戶CPE的配置模版。但并不管理客戶的CPE設備。提供大概1Gbps的接入帶寬。4、SDWAN接入，近期很多云公司提供一個CPE小盒子。提供自動化部署，幫助企業更好

18、的上云（Cloud Onboarding）。VPC對等互聯企業客戶上云，業務需要一定程度的隔離。比如需要為研發，測試，運維團隊申請多個VPC，進行有效的灰度發布和快速迭代。也可能先在北京上海VPC部署，隨著業務增長，逐漸增加海外節點等VPC。這就需要實現VPC在同一/不同region的互聯。VPC互聯，一般有兩種方式，IGW互聯和VGW互聯。下面介紹一下技術方案的優缺點。 VPC Peering內部互聯VPC-A內部采用VXLAN200，VPC-B采用VXLAN300隔離。每個VPC都通過自己的IGW來訪問Internet，分別有自己的路由表。對于兩個VPC Peering（互聯）需要IP地址

19、不要重疊。在VPC-A上創建一個VXLAN VTEP tunnel到對端VPC-B。同時把Prefix B指向VPC-B的VXLAN tunnel。VPC-B收到VXLAN 100的報文，會經過VXLAN Routing路由查表，找到相應的VPC-B里面的Host，封裝轉換成VXLAN-200發送給相應的VM /容器。具體實現方式可以有Symmetric/Asymmetric兩種方式。Symmetric需要兩個VPC翻譯本地VXLAN到第三個VXLAN VNI，帶來管理和配置的復雜問題。一般采用Asymmetric方式，由VPC做本地和遠端VXLAN的routing/翻譯。通過VPC peer

20、ing（IGW互聯）客戶可以跨越多個區域部署多個不同的VPC。比如可以把Asia Pacific (Singapore)和US West (Northern California)的VPC，內部打通。VGW Internet互聯VPC peering互聯方式，利用云公司內部網絡，在網絡傳輸上不需要加密，性能比較好。一些客戶需要通過internet連入云，或者需要在不同VPC之間部署復雜的訪問策略。比如Extranet/Transit VPC方式。在VGW上一般可以采用IPSec接入VPC。還可以通過BGP over IPsec提供動態路由分發。SDWAN接入VPC對于企業網接入Cloud，最早

21、云管理到PoP點。企業需要自帶設備在IXP/SP互聯節點接入VPC。最近多家云公司紛紛推出SDWAN接入方式，極大的方便了中小企業上云。網上下單，云公司快遞發送小盒子去分支機構或者企業總部。加電，掃碼，上網，自動注冊，自動下載配置到小盒子。提供統一的云管平臺管理VPC和SDWAN CPE設備。提供本地流量的分流，訪問VPC，訪問Office365和視頻流量走不同的路徑。2018年7月，微軟宣布開始最新的Virtual WAN(SDWAN)解決方案試運行。企業用戶可以通過SDWAN（CPE）設備接入微軟的不同VPC region，訪問VPC里的各種資源，極大的加速了分公司/個人基于云產品的Dev

22、Ops。同時還提供客戶基于微軟全球骨干網構造精品企業網，提供Internet無法達到的跨越多個運營商SP的SLA，可以基于微軟全球骨干網構建精品視頻會議網，支持各種高帶寬低時延的新型業務。從上面的微軟Virtual WAN控制臺可見。客戶可以自行創建新的SDWAN Site，上線新的SDWAN CPE盒子。管理Site/Hub（微軟POP點）之間的VPN連接，提供自動化CPE配置腳本。還能夠配置統一接入策略和監控網絡運行情況。Multi-Cloud/IaaS企業現有的數據中心和分支機構要接入云，還要維護相同的策略控制和安全接入，同時要實現虛擬機/容器在私有數據中心和公有云之間的雙向流動。需要S

23、DN控制器來管理私有云，同時能自動創建VPC。并且在VPC里面用Contrail vRouter去替換VGW功能，實現全網的連通性。由于VGW由私有數據中心SDN控制器創建，所以可以保持一致的策略和訪問控制。一些Startup創業公司和開源組織提供多云的管理。比如Terraform/Istio就支持動態創建VPC,并且能指定VGW運行不同的軟件Image。比如采用如下代碼就可以在AWS里面創建一個VPC，并且指定VPC GW連接到哪個DC的CPE設備上。Terraform支持AWS/GCP/Azure和國內的阿里云/騰訊云等。在私有云/數據中心采用Contrail SDN控制器來管理VM/Container,同時1、采用Terraform或者Cloud GW API動態創建VPC，并用Contrail vRouter替代VGW功能2、在分支機構（SDWAN），私有云/數據中心和公有云之間建立安全低時延的IPsec網絡連接。并且自動配置BGPoIPsec來雙向發布VPC和private Clou