CloudFabric云數據中心網解決方案

設計指南（容器網絡）

目錄

1容器技術簡介..........1

1.1容器是什么..................................................................................1

1.1.1容器依賴的底層技術........................................................................1

1.1.2容器原理簡介..............................................................................2

1.1.3容器運行時................................................................................3

1.1.4Docker基礎................................................................................5

1.1.5Docker網2各介名召............................................................................9

None模式................................................................................9

Bridge模式...............................................................................9

Hosi模式................................................................................11

MappedContainer模式.....................................................................12

1.2容器技術與虛擬機...........................................................................14

1.3容器技術的發展趨勢.........................................................................17

1.4容器技術的應用場景.........................................................................19

1.4.1PaaS平臺建設.............................................................................19

1.4.2容器即服務...............................................................................19

1.4.3持續集成和發布...........................................................................20

2Kubernetes介紹...............................21

2.1容器集群管理技術的發展....................................................................21

2.2K8s組件架構..............................................................................22

2.3K8s業務模型...............................................................................24

2.4K8S網絡需求..............................................................................27

2.4.1K8S網絡三原貝ij.......................................................................................................................................................27

242K8s網絡實現方式：CNI接匚................................................................27

2.4.3K8S網絡典型實現模型......................................................................28

L2橋接.................................................................................29

243.2L3路由..................................................................................29

2.433HostOverlay............................................................................................................................................................32

2.43.4總結....................................................................................34

3CloudFabric容器網絡方案........................35

3.1容器網絡帶來的挑戰.......................................................................35

3.1.1控制面挑戰...............................................................................35

3.1.2轉發面挑戰...............................................................................36

3.2裸機容器與虛機容器對比...................................................................36

3.3CloudFabric容器網絡方案概述...............................................................38

3.3.1容器網絡組件介紹.........................................................................38

3.3.2容器網絡與物理網絡聯動...................................................................39

NetworkOverlay方案全景.................................................................39

NetworkOverlay方案架構.................................................................41

3.323L2橋接，L3路由方案對比分析.............................................................45

3.4容器網絡組網設計.........................................................................45

3.4.1容器網絡推薦組網.........................................................................45

3.4.1.1管理面、數據面獨立網卡.................................................................45

管理面、數據面共網卡...................................................................46

3.4.2L3路由模式路由發布......................................................................47

關閉BGP路由抑制.......................................................................48

3A2.2開啟BGP路由抑制.......................................................................50

3.4.3K8S集群內Pod東西向流量互訪.............................................................51

NetworkOverlayL2橋接...................................................................51

NetworkOverlayL3路由..................................................................51

3.4.4K8S集群內外南北向流量互訪...............................................................52

NetworkOverlayL2橋接...................................................................52

NetworkOverlayL3路由..................................................................53

3.4.5VPC互通.................................................................................54

NetworkOverlayL2橋接模式VPC互通......................................................55

NetworkOverlayL3路由模式VPC互通.....................................................56

3.5容器網絡自動化設計.......................................................................57

3.5.1容器平臺對接控制器.......................................................................57

3.5.i.l配置iMasterNCE-Fabric控制器............................................................57

安裝華為CNI插件.......................................................................59

351.3安裝華為iMasterNCE-Fabric插件...........................................................59

3.S.2業務發放流程.............................................................................60

NetworkOverlayL2橋接模式業務部署......................................................60

NetworkOverlayL3路由模式業務部署......................................................64

352.2.1容器固定IP.........................................................................................................................................................64

.2容器IP隨機分配........................................................................66

3.5.3方案約束..................................................................................69

3.6容器網絡安全設計...........................................................................70

3.6.1容器網絡安全總體設計.....................................................................70

3.6.2容器網絡策略.............................................................................70

NetworkPolicy實現原理...................................................................70

CloudFabric容器網絡策略.................................................................71

3.7容器網絡運維設計..........................................................................74

3.7.1NetworkOverlayL2橋接....................................................................74

3.7.2NetworkOverlayL3路由....................................................................75

3.7.3普羅米修斯工具監控CE1800V..............................................................................................................................75

3.8容器網絡對接CCE開源Calico方案...........................................................77

4容器網絡部署最佳實踐…….......................................79

A參考圖片..........................................81

容器技術簡介

1.1容器是什么

1.2容器技術與虛擬機

1.3容器技術的發展趨勢

1.4容器技術的應用場景

1.1容器是什么

1.1.1容器依賴的底層技術

容器底層的核心技術包括Linux的Namespace和Cgroupo

Namespace

Linux支持6種namespace,簡要介紹如F：

?主機和域名空間(UNIXTimesharingSystem)：每個容器擁有獨立的hostname

和domainname,使其在網絡上可以被視作一個獨立的節點而非主機上的一個進

程；

?進程間通信空間(Inter-ProcessCommunication)：容器中進程交互還是采用了

Linux常見的交互方法，通過共享內存、信號量、消息隊列和管道等方法實現，

在新的IPCnamespace中創建IPC,并不會與其他應用發生沖突：

?進程ID空間(ProcessID)：使得不同PIDnamespace里的進程ID可以重復且相

互之間不影響；

?文件系統空間(Mountnamespace)：用來隔離文件系統的掛載點，使得不同的

mountnamespace擁有自己獨立的掛載點信息，不同的namespace之間不會相互影

響，這對手構建用戶或者容器自己的文件系統目錄非常有用；

?網絡協議棧空間(Networknamespace)：每個Networknamespace都有自己獨立

的網絡棧,路由表，防火墻規則，socka等；

?用戶空間(USERnamespace)：用來隔離user權限相關的Linux資源，包括user

IDs,groupIDs,keys,capabilitieso

Cgroup

Linux的namespace主要解決了環境隔離問題，這只是虛擬化中最最基礎的一步，我們

還需要解決對計算機資源使用上的隔離，這就是Cgroup要做的事情。LinuxCgroup全

稱LinuxControlGroup,是Linux內核的一個功能，向來限制、控制與分離一個施程

組群的資源（如CPU時間、內存、網絡帶寬、磁盤輸入輸出等）。這個項目最早是由

Google的「程師在2006年發起，最早的名稱為進程容器（processcontainers）。在

2007年時，因為在Linux內核中,容器（container）這個名詞太過廣泛,為避免混

亂，被重命名為cgroup,并且被合到了2.6.24版的內核。

LinuxCgroup可為系統中所運行的任務（進程）進行分組，并在分組的基礎上對進程

進行資源控制.比如CPU時間、系統內存、網絡帶寬或者這些資源的組合，還可以

監控所配置的Cgroup,拒絕Cgroup訪問某些資源，甚至在運行的系統中動態配置

Cgroup.使用Cgroup,系統管理員可更具體地控制對系統資源的分配、優先順序、拒

絕、管理和監控，可更好地根據任務和用戶分配硬件資源，提高總體效率。

圖1-1LinuxCgroup示意圖

Cgroup2

112容器原理簡介

容器本身并不是全新的虛擬化技術，事實上它只是操作系統虛擬化技術的一種，它本

質上是使用/Linux的namespace實現資源隔離和Cgroup實現資源限制，彼此間相互

隔離的若干個linux進程的集合。

容器共享宿主機操作系統內核，通過宿主操作系統提供相互隔離的運行環境。每個容

器包含括獨立的文件系統空間（MNTNS）,主機和域名空間（UTSNS）,進程間通信

空間（IPCNS）,進程ID空間（PIDNS）,網絡協議棧空間（NETNS）,用戶空間

（USERNS）。

圖1-2容器與操作系統

1.1.3容器運行時

我們所說的容器運行時，準確來說包含兩部分，一部分是上層容器運行時CRIshim

（即容器運行時管理程序，如Contained、CRI-O）,另一部分是下層容器運行時

Containerruntime（即容器運行時命令工具,如rune）。Kubernetes在引入CRI之后,

Kubelel的架構如下圖所示。

圖1-3Kubclct的架構

CRI（ContainerRuntimeInterface容器運行時接口）

Kubernetes如今已經成為容器編排調度領域的事實標準，其優良的架構不僅保證了豐

富的容器編排調度功能，同時也提供了各個層次的擴展接口以滿足用戶的定制化需

求。容器運行時作為Kubernetes管理和運行容器的關鍵組件，當然也提供了簡便易用

的擴展接口，也就是CRI。CRI接口分為兩部分，一個是容器運行時服務

RuntimeService＞負責管理pod和容器的生命周期；一個是鏡像服務ImageService,

負責管理鏡像的生命周期。

其實，Kubernetes在vl.5版本之前是沒有CRI接口的,那時Kubclct源碼內部只集成

了兩個容器運行時（Docker和rkt）的相關代碼。這兩種容器運行時并不能滿足所有用

戶的使用需求.在某些業務場景，用戶對容器的安全隔離性有著更高的需求，用戶希

望Kubernetes能支持更多種類的容器運行時。因此，Kubernetes在1.5版本推出\CR!

接口，各個容器運行時只要實現了CRI接口規范，就可以接入到Kubernetes平臺為用

戶提供容器服務。CRI隔離了各個容器運行時之間的差異，通過統一的接口與各個容

器運行時之間進行交互，定義了容器生命周期的管理，促進了容器運行時社區的繁

榮，也為強隔離、多租戶等復雜的場景帶來更多的選擇。當前實現了CRI的主流項目

有以下幾種：

1.默認安裝Kubemetes,kubelet已經內嵌dockershim(適配CRI),它接收到CRI

請求轉化后發給docker處理，這也是目前非常成熟的方案；

2.Containerd項目是從早期的Docker源碼中提煉出來的，它使用CRI插件來向

kubelet提供CRI接口服務；

3.CRLO完整實現CRI接口功能.CRLO比Conlainerd更專注,它只服務干

Kubernetes,Fl前由redhat主導；

4.Frakli是一個基于KubelelCRI的實現，Kubernetes官方維護的一個項目，它提供

了hypervisor級別的隔離性，但當前社區并不活躍。

圖14CRI

OCI(OpenContainerInitiative開放容器標準)

為了保證容器生態的健康發展，保證不同的容器之間能夠兼容。2015年，由Docker、

IBM、微軟、紅帽及Google等廠商所組成的OCI聯盟成立，并于2016年4月推出了

第一個開放容器標準。0CI規范包含兩部分內容：容器運行時標準(runtimespec)、容

器鏡像標準(imagespec)。runtimespec包含配置文件、運行環境、生命周期三部分內

容。imagespec對容器鏡像格式做了定義，它主要包括文件系統、config文件、

manifest文件、index文件。當前主流的兼容OCI規范的容器運行時項目有以下幾種：

表1-1主流的兼容OCI規范的容器運行時項目

OCI-功能特性

runtime

runC基J-namespace和Cgroup實現的資源隔離和限制，docker容器引擎默

認的運行時

OCI-功能特性

runtime

runV基于hypervisor實現的、兼容OCI規范的虛擬機容器運行時

kata整合了Intel的ClearContainer和Hypcr.sh的runV,兼容OCI規范的

container輕量級虛擬機容器運行時，支持不同平臺的硬件（x86_64,ARM,

IBM等）

gVisor新型sndhox技術,比虛擬機容器運行時更輕量化,在sandhex中運行

自己的虛擬內核，攔截從應用程序到主機內核的所有系統調用，為它

們提供隔離，但付出的代價是系統調用性能比較差，資源消耗多

1.1.4Docker基礎

Docker屬于Linux容器的一種封裝，提供簡單易用的容器使用接LI,它是目前最流

行的Linux容器解決方案。Docker將應用程序與該程序的依賴打包在一個文件里

面，運行這個文件，就會生成一個虛擬容器c程序在這個虛擬容器里運行，就好像在

真實的物理機上運行一樣。

Docker包括三個基本的概念：Image（鏡像）,Container（容器）,Repository（倉庫）。

Image（鏡像）

Docker鏡像可以看作是一個特殊的文件系統，除了提供容器運行時所需的程序、庫、

資源、配置等文件外，還包含了一些為運行E寸準備的配置參數（如匿名卷、環境變

量、用戶等）。鏡像不包含任何動態數據，其內容在構建之后也不會被改變。

鏡像就是一堆只讀層（read-onlylayer）的統一視角。如下圖所示，鏡像由多個只讀層

組成，除了最下面一層，具它層都會有一個指針指向下一層，每層疊加之后，從外部

看來就如同一個獨立的對象。這些層是Docker內部的實現細節，并且能夠在主機的文

件系統上訪問到。統一文件系統（unionfilesystem）技術能夠將不同的層整合成一個文

件系統，為這些層提供一個統一的視角，這樣就隱藏/多層的存在，在用戶的角度看

來，只存在一個文件系統。

圖1-5Docker鏡像

91e54dfb11790B

d74508fb66321.895KB

c22013c84729194.5KB

d3a1f33e8a5a188.1MB

Ubuntu:15.04

Image

root@29fi4375e9k6:/#Is

Bindevhomelib64mntprocrunsrvBHffvar

Bootetclibmediaoptrootsbinsysuser

Container（容器）

容器的定義和境像幾乎一模一樣，也是一堆層的統一視角，唯一區別在于容器的最上

面那一層是可讀可寫的，所以實際上，容器:鏡像+讀寫層。創建新的容器時，會在基

礎層之上增加一個讀寫層，這一層通常稱為“容器層二對運行中容器的所有更改，例

如寫入新文件.修改現有文件或者刪除文件等，都將寫入這個薄的讀寫層。

圖1~6Container(容器)

ThinR/W丁La丁yer一丁一ContainerLayer

91e54dfb11790B

d74508fb66321.895KB

ImageLayers

c22013c84729194.5KB(R/0)

d3a1f33e8a5a188.1MB

Ubuntu:15.04

Container

(basedonUbuntu:15.04image)

容器和鏡像之間的主要區別是最頂上的讀寫層。在容器中添加新數據或修改現有數據

的所有寫操作都存儲在這個讀寫層中。刪除容器后，讀寫層也會被刪除，但是鏡像保

持不變。正因為每個容器都有自己的讀寫層，并且所有更改都存儲在該讀寫層中，所

以多個容器可以共享同一個鏡像，但擁有自己的數據狀態。

圖1-7容器與鏡像

Repository(倉庫)

Docker倉庫是集中存放鏡像文件的場所。鏡像構建完成后，可以很容易的在當前宿主

機上運行，但是，如果其它服務器也需要使用這個鏡像，我們就需要一個集中的存

儲、分發鏡像的服務，DockerRegistry(倉庫注冊服務器)就是這樣的服務。Docker倉庫

的概念跟Git類似，注冊服務器可以理解為GilHub這樣的托管服務。實際上，一個

DockerRegistry中可以包含多個倉庫(Repository),每個倉庫可以包含多個標簽

(Tag),每個標簽對應著一個鏡像。所以說，鏡像倉庫是Docker用來集中存放鏡像文

件的地方類似于我們常用的代碼倉庫。

通常，一個倉庫會包含同一個軟件不同版本的鏡像，而標簽就常用于對應該軟件的各

個版本。我們可以通過〈倉庫名＞：＜標簽》的格式來指定具體是這個軟件哪個版本的鏡

像，如果不給出標簽，將以latest作為默認標簽。

圖1-8Docker倉庫

上面這張圖包含了Docker的所有元素，Docker使用Cliem/Server架構。Docker客戶

端與Docker服務器進行交互，Docker服務端負責構建、運行和分發Docker鏡像。

Dockerdeamon監聽著客戶端的請求，并且管理著docker的鏡像、容器、網絡、磁盤

等對象.Docker客戶端和服務端可以運行在一臺機器上，也可以通過RFSTfnl或網絡

接口與遠程Docker服務端進行通信。

1.1.5Docker網絡介紹

None模式

顧名思義，none網絡就是什么都沒有的網絡,none模式下的容器除了loopback口，沒

有其他任何網卜。容器創建時，可以通過-nelwork=none指定使用none網絡。使用

none網絡模式，通常是對安全性要求高，并且不需要聯網的應用。

linux-72gS:~-dockerrun-it--namebusybox_rest--network=nonebusybox:1.28

/#ifeonfig

loLinkencap:LocalLoopback

inetaddr:Mask:

inet6addr:::1/128scope:Host

UPLOOPBACKRUNNINGMTU:65536Metric:!

RXpackets:0errors:0dropped:0overruns:0frame:0

TXpackets:0errors:0dropped:0overruns:0carrier:0

collisions:?txqueuelen:l

RXbytes:0(0.0B)TXbytes:0(0.0B)

I?

Bridge模式

Bridge模式是docker默認的網絡模式，同一宿主機容器直接在網橋上互通，如果需要

實現跨主機容器互通，則需要使用overlay或者macvlan網絡。Bridge模式卜，容器訪

問外網、外網訪問容器都是通過NAT實現。Bridge模式如圖所示：

?容器訪問外網：通過Linux的iptables將容器IP做SNAT（源地址轉換）轉換成宿

主機的IP，宿主機具有訪問外網的能力，

?外部訪問容器：docker可將容器對外提供服務的端口映射到宿主機上的某個端

口，外網通過宿主機的IP和端口號訪問容器。

圖1-9Bridge模式

Docker安裝時會創建一個名為dockerO的Linuxbridge,如果不指定-network,新建的

容器會自動橋接到docked）上。如下圖所示，當前docked）上沒有任何其他網絡設備，

我們創建?個容器看看有什么變化。

linux-ol69:~?brctlshow

bridgenamebridgeidSTPenabledinterfaces

dockerO8000.0242fdfa8fdfno

創建容器后，一個新的網絡接口veth85e781被掛到了dockerO上，veth85傷781就是新

創建容器的虛擬網卡，并且剛才創建的容器被分到了一個IP地址/16。

linux-ol69:~#dockerrun-dbusybox:l.28sleep3600

83310d7345ec5861a3880eb7a4c42fl9db6a7655a7bl80758f29dd0127572a07

linux-ol69:~#brctlshow

bridgenamebridgeidSTPenabledinterfaces

dojckerO________8000,0242fdfa8fdf_______no______________veth81f9Z81

Iinux-ol69:~?dockerexec-it8331Od7345ecsn

/#ifconfig

ethOLinkencap：EthernetHWaddr02:42:AC:11:00:02

inetaddr:Beast:Mask:

inet6addr:fe80::42:acff:fell:2/64scope:Link

UPBROADCASTRUNNINGMULTICASTMTU：1500Merric：l

RXpackets:10errors:0dropped:0overruns:0frame:0

TXSpackets:8errors:0dropped:0overruns:0carrier:0

iisions:0txqueuelen:0

RXbytes:828(828.0B)TXbytes:648(648.0B)

loLinkencap:LocalLoopback

inetaddr:Mask:

inet6addr:::1/128scope:Host

UPLOOPBACKRUNNINGMTU：65536Metric：l

RXpackets:0errors:0dropped:0overruns:0frame:0

TXpackets:0errors:0dropped:0overruns:0carrier:0

collisions:0txqueuelen:l

RXbytes:0(0.0B)TXbytes:0(0.0B)

/#

Host模式

Host網絡模式需要在容器創建時指定--network二host,host模式可以讓容常共享宿主

機網絡協議棧,容器的網絡配置與宿主機完全一樣，這樣的好處是外部主機與容器直

接通信，但是容器的網絡缺少隔離性。

圖1-10Host網絡模式

直接使用host網絡的最大好處就是性能，如果容器對?網絡的傳輸效率有較高要求，則

可以選擇host網絡。不便之處就是要犧牲一些靈活性，比如需要考慮端口沖突問題，

宿主機上已經使用的端口就不能再用了。

Iinux-72g5:~fdockerrun-it--namebusybox_test--network=hostbusybox:1.28

/#ifconfig

dockerOLinkencap:EthernetHwaddrO2:42:7A：3O:32:5C

inetaddr:172.17.0.1Beast:0.0.0.0Mask:2SS.255.0.0

UPBROADCASTMULTICASTMTU：1500Metric：1

RXpackets:0errors:0dropped:。overruns:0frame:0

TXpackets:0errors:0dropped:0overruns:0carrier:0

collisions:?txqueuelen:0

RXbytes:0(0.0B)TXbytes:0(0.0B)

ethlLinkencap:EthernetHwaddr60：FA：90：DD：13：E1

inet6addr:fe80::62fa:9dff:fedd:13el/64scope:Link

UPBROADCASTRUNNINGMULTICASTMTU：1500Metric：l

RXpackets:570157errors:0dropped:0overruns:?frame:0

TXpackets:142553errors:0dropped:0overruns:?carrier:0

collisions:。txqueuelen:i000

RXbytes：194994217(185.9MiB)TXbytes：48751187(46.4MiB)

eth6Linkencap:EthernetHwaddrDC:99:14:01:8B：65

inetaddr:192.152.80.231Bcast:192.152.80.255Mask:

inet6addr:fe80::de99:14ff:fe01:8b65/64scope:Link

UPBROADCASTRUNNINGMULTICASTMTU：1500Metric：1

RXpackets:2026S141errors:0dropped:17O2941overruns:?frane:0

TXpackets:11659038errors:0dropped:。overruns:0carrier:0

collisions:?txqueuelen:1000

RXbytes：5078173345(4.7GiB)TXbytes：1234016584(1.1GiB)

kniOLinkencap:EthernetHwaddrC6:8E：24：ED：B0：F9

inetaddr:32.32.32.2Beast:32.J2.32.15Mask:40

inet6addr:fe80::c48e:24ff:feed:bOf9/64scope:Link

UPBROADCASTRUNNINGMULTICASTMTU：1500Metric：1

RXpackets:?errors:0dropped:?overruns:?frame:0

TXpackets:7errors:Odropped:0overruns:0carrier:0

collisions:?txqueuelen:1000

RXbytes:0(0.0B)TXbytes:818(818.0B)

loLinkencap:LocalLoopback

inetaddr:127.0.0.1Mask:255.0.0.0

inet6addr:::1/128Scope:Host

UPLOOPBACKRUNNINGMTU：65536Metric：1

RXpackets:100369593errors:0dropped:?overruns:0frame:0

TXpackets:100369593errors:0dropped:0overruns:0carrier:0

collisions:?txqueuelen:l

RXbytes:7603860529(7.0GiB)TXbytes:7603860529(7.0GiB)

MappedContainer模式

MappedContainer模式是一種較為特別的網絡模式，它可以使兩個或多個容器共享一個

網絡棧，共享網卡和配置信息，但是容器的文件系統、進程和其他資源都是隔離開

的。

圖1-11MappedContainer模式

HOST1

這里先創建一個busybox容器，名字為busybox1,可以看到容器分到了IP地址

/24。

linux-ol69:~#dockerrun-d--name=busyboxlbusybox:1.28sleep3600

0212cd32d516457d8b7bl264fc66bb3196a9c973de3d0a371a022b95ee509911

1inux-ol69:~#dockerexec-it0212cd32d516sh

/#ifconfiq

ethoLinkencap:EthernetHwaddr02:42:AC:11:00:02

inetaddr:Beast:Mask:

inet6addr:fe80::42:acff:fell:2/64scope：Link

UPBROADCASTRUNNINGMULTICASTMTU：1500Metric：l

RXpackets:10errors:0dropped:0overruns:?frame:0

TXpackets:8errors:0dropped:0overruns:0carrier:0

collisions:。txqueuelen:0

RXbytes:828(828.0B)TXbytes:648(648.0B)

loLinkencap:LocalLoopback

inetaddr:Mask:

inet6addr:::1/128scope:Host

UPLOOPBACKRUNNINGMTU：65536Metric：l

RXpackets:0errors:0dropped:0overruns:0frame:0

TXpackets:0errors:0dropped:0overruns:0carrier:。

collisions:。txqueuelen:l

RXbytes:0(0.0B)TXbyres:0(0.0B)

#exit

linux-ol69:~?

隨后再創建名為busybox2的容器，并通過-network=container：busybox1指定加入

busyboxl的網絡協議棧。可以看到，這兩個容微網卡IP和MAC地址完全一樣，他們

共享了同一個網絡協議棧，并且可以通過127.O.O.1訪問彼此提供的服務。

linux-ol69:~?dockerrun-d--network-container:bu>yboxl--name?busybox2busybox:1.28sleep3600

4d9e3ele68384576Scb9a86eflfO4e29O7b5OOel3bf7O7658c43271Of4ee2579

linux-ol69:~?

1inux-ol69:~?dockerexec-it4d9e3ele68