項目6基于ONOS搭建SDN集群學(xué)習(xí)目標(biāo)項目背景項目需求分析項目相關(guān)知識項目實踐項目習(xí)題目錄（1）了解ONOS控制器基本架構(gòu)。（2）掌握ONOS控制器安裝和使用。（2）掌握ONOS控制器集群與監(jiān)控配置。6.1學(xué)習(xí)目標(biāo)項目描述在前面的項目中，公司網(wǎng)絡(luò)都只部署了一臺控制器，無法保證網(wǎng)絡(luò)運行的穩(wěn)定性和可靠性，管理員計劃使用主備方式來部署多臺控制器解決這一問題。部署多臺控制器不僅可以實現(xiàn)流量的負(fù)載均衡，而且在主控制器發(fā)生故障時，備份的控制器能夠接替主控制器的工作，確保業(yè)務(wù)能夠平穩(wěn)運行。經(jīng)研究和對比，本項目決定采用ONOS控制器進(jìn)行集群的部署和測試。項目拓?fù)淙鐖D6-1所示。項目描述圖6-1項目拓?fù)漤椖棵枋鼋巧?guī)劃如下表所示主機(jī)名稱端口IP地址用途LAN區(qū)段controllerens33DHCP連接互聯(lián)網(wǎng)

ens340/24SDN控制網(wǎng)Lan0controller2ens33DHCP連接互聯(lián)網(wǎng)

ens341/24SDN控制網(wǎng)Lan0表6-1角色規(guī)劃項目需求分析本項目通過在SDN環(huán)境下部署ONOS控制器，并結(jié)合Mininet模擬工具進(jìn)行測試。通過主備方式部署ONOS控制器，模擬故障觀察ONOS控制器能否實現(xiàn)負(fù)載和冗余的功能。在ONOS控制器的UI界面，實現(xiàn)流量的可視化。綜上所述，本次項目設(shè)計如下幾點任務(wù)。（1）ONOS控制器的安裝和使用。（2）ONOS控制器的集群構(gòu)建。項目需求分析項目相關(guān)知識開放網(wǎng)絡(luò)操作系統(tǒng)（OpenNetworkOperatingSystem，ONOS）是由ON.Lab社區(qū)發(fā)布和維護(hù)的開源網(wǎng)絡(luò)操作系統(tǒng)。它的主要目的是為軟件定義網(wǎng)絡(luò)提供控制器平面組件和管理網(wǎng)絡(luò)組件；使用戶在ONOS之上運行軟件程序或模塊；向終端主機(jī)和鄰居網(wǎng)絡(luò)提供網(wǎng)絡(luò)服務(wù)。ONOS對網(wǎng)絡(luò)及設(shè)備進(jìn)行了更深層次的抽象，對用戶屏蔽了底層網(wǎng)絡(luò)硬件、協(xié)議以及接口等實現(xiàn)細(xì)節(jié)，用戶可以直接在ONOS的內(nèi)核上層編寫應(yīng)用程序。ONOS從設(shè)計之初就為了滿足最苛刻的運營商網(wǎng)絡(luò)所提出的要求，它的許多機(jī)制都是確保網(wǎng)絡(luò)及連接的可靠性，同時保障高可用性。ONOS在北向接口上能支持?jǐn)?shù)百萬個應(yīng)用程序的操作請求，對網(wǎng)絡(luò)事件的響應(yīng)能保持在50毫秒以下，還能支持控制平面的橫向擴(kuò)容。ONOS同樣使用了模塊化的概念，用戶能通過模塊的形式對應(yīng)用程序進(jìn)行靈活的增加和刪除。6.4.1ONOS控制器的概述ONOS對外開放北向接口API，用戶能基于這些北向API接口開發(fā)應(yīng)用程序。ONOS也支持許多的南向協(xié)議，如P4、OpenFlow、Netconf、SNMP、RESTCONF等。1.ONOS控制器架構(gòu) ONOS采用了分層架構(gòu)的設(shè)計理念，其分層架構(gòu)如圖6-2所示。6.4.1ONOS控制器的概述圖6-2ONOS的分層架構(gòu)ONOS的分層架構(gòu)分為7層，從上到下分別為應(yīng)用程序（Apps）、北向APINB(Consumer)API）、Core(Device,Host,Link,Topology,Path,Flow,Intent,Network,...)（內(nèi)核層）、SB（Providers）API（南向API）、Providers(Device,Host,Link,Flow)（適配器）、Protocols（協(xié)議）、NetworkElements（網(wǎng)元）。其中，內(nèi)核層使用的是分布式的架構(gòu)，主要負(fù)責(zé)實現(xiàn)控制器的基本功能。在內(nèi)核層中，ONOS使用了Floodlight的模塊來實現(xiàn)控制器的基本功能，如交換機(jī)的管理、鏈路管理、流表管理等。在ONOS中，用于實現(xiàn)控制器基本功能的模塊被稱為服務(wù)或子系統(tǒng)。ONOS定義了幾種主要服務(wù)或子系統(tǒng)，如下所示。①設(shè)備子系統(tǒng)：用于管理基礎(chǔ)架構(gòu)設(shè)備。②鏈接子系統(tǒng)：用于管理基礎(chǔ)架構(gòu)鏈接。③主機(jī)子系統(tǒng)：用于管理終端主機(jī)及終端主機(jī)所在網(wǎng)絡(luò)上的位置。④拓?fù)渥酉到y(tǒng)：用于管理按時間順序排列的網(wǎng)絡(luò)視圖快照。6.4.1ONOS控制器的概述6.4.1ONOS控制器的概述⑤路徑服務(wù)：用于通過最新的拓?fù)鋱D快照計算來查找基礎(chǔ)設(shè)備之間或終端主機(jī)之間的路徑。⑥流規(guī)則子系統(tǒng)：用于管理基礎(chǔ)設(shè)備的流規(guī)則并提供流表計量。⑦數(shù)據(jù)包子系統(tǒng)：允許偵聽從網(wǎng)絡(luò)設(shè)備上接收到的數(shù)據(jù)包，并將數(shù)據(jù)包通過網(wǎng)絡(luò)設(shè)備進(jìn)行輸出。2.ONOS常用命令ONOS的常用命令如表6-2所示。6.4.1ONOS控制器的概述命令作用appactivateModuleName為ONOS激活ModuleName模塊apps列出ONOS中應(yīng)用程序的信息devices列出所有基礎(chǔ)架構(gòu)的設(shè)備flows列出所有當(dāng)前已知的流信息get-stats列出統(tǒng)計信息hosts列出當(dāng)前已知的主機(jī)信息links列出所有連接的信息metrics列出系統(tǒng)中已有的計量信息nodes列出所有控制器集群節(jié)點ports列出所有設(shè)備上的端口信息topology列出ONOS拓?fù)涞恼畔ogout注銷身份，退出已登錄的命令行并且退出ONOSsystem:shutdown關(guān)閉并退出ONOS表6-2ONOS常用的命令3.ONOS的Web-UI模塊ONOS啟動之后，默認(rèn)情況下將自動啟動Web-UI模塊，監(jiān)聽端口為8181，默認(rèn)情況下ONOS的圖形界面地址為“http://<controller-ip>:8181/onos/ui/index.html”，頁面默認(rèn)登錄用戶為onos，默認(rèn)密碼為rocks，ONOS登錄界面如圖6-3所示。6.4.1ONOS控制器的概述圖6-3ONOS認(rèn)證頁面ONOS首頁如圖6-4所示，ONOS首頁頂部是一個黑條，如紅色箭頭所示，主要用于顯示導(dǎo)航菜單按鈕、ONOS圖標(biāo)、使用幫助以及用戶名。除了黑條以外，屏幕上默認(rèn)情況下顯示的是拓?fù)湟晥D，如紫色箭頭所示，其中包括ONOS群集節(jié)點面板、ONOS摘要面板、拓?fù)涔ぞ邫凇?.4.1ONOS控制器的概述圖6-4ONOS首頁4.ONOS的App應(yīng)用程序ONOS在啟動后，默認(rèn)只激活維持基本圖形界面和命令行界面運行的相關(guān)模塊。如果需要管理交換機(jī)等功能，那么需要用戶通過圖形界面或命令行界面激活對應(yīng)的App應(yīng)用程序。激活A(yù)pp應(yīng)用程序所涉及到的3條關(guān)鍵命令如表6-3所示。備注：默認(rèn)情況下，ONOS通過監(jiān)聽6633端口提供控制器服務(wù)；通過監(jiān)聽8181端口提供Web-UI圖形界面服務(wù)。6.4.1ONOS控制器的概述命令作用appactivateorg.onosproject.openflow激活openflow功能appactivateorg.onosproject.fwd激活2層轉(zhuǎn)發(fā)功能appactivateorg.onosproject.mobility激活主機(jī)監(jiān)測功能表6-3激活A(yù)pp應(yīng)用程序的關(guān)鍵命令在網(wǎng)絡(luò)中，如果僅使用一臺控制器對網(wǎng)絡(luò)進(jìn)行集中管理，那么當(dāng)控制器出現(xiàn)故障時，將會導(dǎo)致整個網(wǎng)絡(luò)不可用。通過創(chuàng)建控制器集群可以解決這一問題。ONOS在1.14版本之后開始支持構(gòu)建ONOS控制器集群。在ONOS的定義中，默認(rèn)情況下允許單臺OpenFlow交換機(jī)連接多臺控制器，但同一時間僅能有一臺主控制器，其他連接上的控制器則均為從控制器。一旦主控制器出現(xiàn)故障或失去連接，從控制器就能接管主控制器的功能。經(jīng)過重新的鏈路發(fā)現(xiàn)操作后，網(wǎng)絡(luò)拓?fù)涫諗浚W(wǎng)絡(luò)控制層服務(wù)保持正常。在多個服務(wù)器上啟動了ONOS之后，通過執(zhí)行onos-form-cluster命令即可構(gòu)建集群。兩臺服務(wù)器構(gòu)建ONOS集群的示例命令如下所示。6.4.2ONOS集群root@hostname:~#/opt/onos/bin/onos-form-clusterSERVER1-IPSERVER2-IP在執(zhí)行了構(gòu)建集群的命令后，默認(rèn)情況下，ONOS服務(wù)會自動重啟一次，用于重新加載集群相關(guān)的命令和模塊。在ONOS服務(wù)重啟完畢時，就可使用ONOS集群的常用命令來維護(hù)集群，相關(guān)的常用命令如表6-4所示。6.4.2ONOS集群命令作用masters列出當(dāng)前連接的所有交換機(jī)設(shè)備balance-masters重新平衡ONOS集群的負(fù)載表6-4ONOS集群的常用命令項目實踐任務(wù)描述基于源代碼安裝ONOS控制器，配置Mininet連接ONOS控制器。具體可以通過以下步驟完成。（1）上傳對應(yīng)軟件包到控制器節(jié)點。（2）安裝ONOS控制器。（3）Mininet創(chuàng)建拓?fù)洳⑦B接ONOS控制器任務(wù)1ONOS控制器的安裝與使用任務(wù)拓?fù)淙鐖D6-5所示。任務(wù)1ONOS控制器的安裝與使用圖6-5任務(wù)拓?fù)淙蝿?wù)實施（1）登錄控制器，執(zhí)行【ping】命令測試與外網(wǎng)的連通情況。（2）將提前準(zhǔn)備好的ONOS軟件包使用【lrzsz】命令導(dǎo)入到控制器節(jié)點內(nèi)，并查看上傳結(jié)果。（3）獲取到的源代碼包格式是壓縮文件格式，因此需要將源代碼包通過tar命令解壓，現(xiàn)將壓縮包解壓到“/opt”目錄下。（4）將解壓后的目錄名稱從onos-1.12.1修改為onos。任務(wù)1ONOS控制器的安裝與使用root@controller:~#ls/usr/local/|greponosonos-1.12.1.tar.gzroot@controller:/usr/local#tar-zxfonos-1.12.1.tar.gz-C/optroot@controller:~#mv/opt/onos-1.12.1//opt/onos（5）將ONOS自帶的服務(wù)文件進(jìn)行復(fù)制，以便將ONOS作為服務(wù)運行。（6）啟動ONOS控制器(ONOS依賴于Java平臺，在本任務(wù)中默認(rèn)已經(jīng)部署了Java8的平臺)。任務(wù)1ONOS控制器的安裝與使用root@controller:~#cp/opt/onos/init/onos.initd/etc/init.d/onos

root@controller:~#cp/opt/onos/init/onos.conf/etc/init/onos.confroot@controller:~#/opt/onos/bin/onos-servicestart啟動ONOS控制器結(jié)果如圖6-6所示。任務(wù)1ONOS控制器的安裝與使用圖6-6啟動ONOS控制器可以看出，ONOS控制器已經(jīng)運行，運行時將占用一個會話窗口。 （7）ONOS控制器類似于OpenDayLight控制器，正常提供服務(wù)需要在命令行控制臺中使用命令安裝必要組件，相關(guān)組件的安裝命令如下所示。安裝必要組件結(jié)果如圖6-7所示。任務(wù)1ONOS控制器的安裝與使用onos>appactivateorg.onosproject.openflow #安裝OpenFlow的支持onos>appactivateorg.onosproject.fwd #安裝2層交換的支持onos>appactivateorg.onosproject.mobility #安裝主機(jī)組件的支持圖6-7安裝必要組件（8）登錄mininet主機(jī)，打開終端命令行，切換為root用戶身份，根據(jù)任務(wù)需求執(zhí)行命令創(chuàng)建一個樹型拓?fù)洌钊缦隆Ｈ蝿?wù)驗證（1）登錄控制器主機(jī)，打開新一個終端命令行窗口，切換為root用戶身份，查看ONOS控制器監(jiān)聽端口的狀態(tài)。任務(wù)1ONOS控制器的安裝與使用root@mininet:~#mn--topo=linear,2,1--switch=ovs,protocols=OpenFlow10--controller=remote,ip=0,port=6633classroom@controller:~$su-root@controller:~#ss-tlnp|grep6633root@controller:~#ss-tlnp|grep8181操作結(jié)果如圖6-54所示。可以看出，端口都已經(jīng)正常啟用了。其中，8181是ONOS的WEBUI監(jiān)聽端口，6633是ONOS的控制服務(wù)監(jiān)聽端口。（2）在交互式命令行中執(zhí)行命令查看交換機(jī)詳細(xì)信息。任務(wù)1ONOS控制器的安裝與使用圖6-54查看端口mininet>shovs-vsctlshow查看交換機(jī)詳細(xì)信息結(jié)果如圖6-9所示。可以看出，拓?fù)渲兴薪粨Q機(jī)都連接上了控制器0，交換機(jī)的工作模式是secure。任務(wù)1ONOS控制器的安裝與使用圖6-9查看交換機(jī)詳細(xì)信息（3）在交互式命令行中執(zhí)行命令查看流表信息。可以看出，ONOS控制器會自動進(jìn)行LLDP鏈路發(fā)現(xiàn)，并且，ONOS控制器下發(fā)了默認(rèn)流表來保證鏈路通信正常。任務(wù)1ONOS控制器的安裝與使用mininet>shovs-ofctldump-flowss1mininet>shovs-ofctldump-flowss2mininet>shovs-ofctldump-flowss3查看流表信息結(jié)果如圖6-10所示,（以s1為例）

（4）在交互式命令行中執(zhí)行pingall命令測試拓?fù)渲兄鳈C(jī)間的連通情況。pingall命令執(zhí)行結(jié)果如圖6-11所示。可以看出，拓?fù)渲械闹鳈C(jī)通信是正常的。任務(wù)1ONOS控制器的安裝與使用圖6-11pingall命令執(zhí)行結(jié)果mininet>pingall（5）在pingall測試后再次執(zhí)行查看流表的命令（以s1為例）。查看流表結(jié)果如圖6-12所示。可以看出，在pingall測試后，新增了8條流表項，這是由于ONOS會自動為拓?fù)渲械慕粨Q機(jī)針對主機(jī)間的ARP通信下發(fā)精準(zhǔn)流表項。任務(wù)1ONOS控制器的安裝與使用圖6-12查看流表（6）在控制器主機(jī)上，使用火狐瀏覽器訪問:8181/onos/ui/頁面（默認(rèn)用戶名為onos，密碼為rocks）查看當(dāng)前拓?fù)浣Y(jié)構(gòu)。如圖6-13和6-14所示。任務(wù)1ONOS控制器的安裝與使用圖6-13ONOS登錄頁面任務(wù)1ONOS控制器的安裝與使用圖6-14當(dāng)前拓?fù)浣Y(jié)構(gòu)圖任務(wù)描述部署兩臺ONOS控制器節(jié)點，并在控制器內(nèi)部署集群。具體可以通過以下步驟完成。（1）完成ONOS控制器初始化操作。（2）部署ONOS控制器集群。（3）通過Mininet連接ONOS控制器。任務(wù)2ONOS控制器的集群構(gòu)建任務(wù)實施（1）參考任務(wù)1，完成controller和controller2節(jié)點上ONOS控制器的安裝與啟動（步驟1-7）。（2）登錄mininet主機(jī)，打開終端命令行，切換為root用戶身份，并執(zhí)行mn命令按照任務(wù)要求創(chuàng)建拓?fù)浣Y(jié)構(gòu)（3）返回controller節(jié)點，打開新終端命令行，切換為root用戶身份后，執(zhí)行命令利用兩臺ONOS構(gòu)建控制器集群。任務(wù)2ONOS控制器的集群構(gòu)建classroom@mininet:~$su–root@mininet:~#mn--topo=linear,4,1--switch=ovs,protocols=OpenFlow10--controller=remote,ip=0,port=6633classroom@controller:~$su-root@controller:~#/opt/onos/bin/onos-form-cluster01執(zhí)行命令利用兩臺ONOS構(gòu)建控制器集群結(jié)果如圖6-15所示。（4）通過ONOS命令行控制臺執(zhí)行命令查看集群控制器連接情況。masters命令執(zhí)行結(jié)果如圖6-16所示。任務(wù)2ONOS控制器的集群構(gòu)建圖6-15執(zhí)行命令利用兩臺ONOS構(gòu)建控制器集群onos>masters圖6-16

執(zhí)行masters命令查看集群控制器連接情況（5）在Mininet命令行中配置各交換機(jī)節(jié)點連接controller2主機(jī)。（6）通過ONOS命令行控制臺執(zhí)行命令實現(xiàn)集群控制器之間的負(fù)載均衡。在默認(rèn)情況下運行負(fù)載均衡的命令是沒有反饋信息的。任務(wù)2ONOS控制器的集群構(gòu)建mininet>shovs-vsctlset-controllers1tcp:0:6633tcp:1:6633mininet>shovs-vsctlset-controllers2tcp:0:6633tcp:1:6633mininet>shovs-vsctlset-controllers3tcp:0:6633tcp:1:6633mininet>shovs-vsctlset-controllers4tcp:0:6633tcp:1:6633onos>balance-masters

（9）登錄ONOS控制器WEBUI界面，查看拓?fù)浣Y(jié)構(gòu)。如圖6-71所示。可以看出，執(zhí)行了負(fù)載均衡命令后，原全部連接到0控制器的交換機(jī)都被均勻分配給兩臺控制器進(jìn)行管理。將鼠標(biāo)指針移動到OVS上，停留1s，將會顯示該OVS所連接的控制器。任務(wù)2ONOS控制器的集群構(gòu)建圖6-17

查看拓?fù)浣Y(jié)構(gòu)任務(wù)驗證（1）通過ss命令查看onos監(jiān)聽端口的狀態(tài)。①在controller上查看。在controller上查看onos監(jiān)聽端口結(jié)果如圖6-18所示。可以看出，controller2上的onos已經(jīng)成功運行。 任務(wù)2ONOS控制器的集群構(gòu)建root@controller:~#ss-tlnp|grep6633root@controller:~#ss-tlnp|grep8181圖6-18

在controller上查看onos監(jiān)聽端口（2）在控制集群形成后通過Mininet交互式命令行查看交換機(jī)信息（可以看出集群形成后，各交換機(jī)均能正常同時連接0與1的控制器）。以S3為例查看交換機(jī)信息結(jié)果如圖6-20所示。任務(wù)2ONOS控制器的集群構(gòu)建圖6-20

查看交換機(jī)信息（3）測試集群形成后拓?fù)鋬?nèi)主機(jī)連通情況。pingall命令執(zhí)行結(jié)果如圖6-21所示。可以看出，集群形成后對拓?fù)鋬?nèi)主機(jī)連通情況無影響。任務(wù)2ONOS控制器的集群構(gòu)建mininet>pingall圖6-21

pingall命令執(zhí)行結(jié)果（4）通過ONOS命令行控制臺查看負(fù)載情況。masters命令執(zhí)行結(jié)果如圖6-22所示。

可以看出，集群內(nèi)每個控制器平均連接了2個交換機(jī)，已經(jīng)達(dá)到了負(fù)載均衡的效果。任務(wù)2ONOS控制器的集群構(gòu)建onos>masters圖6-22

masters命令執(zhí)行結(jié)果（5）通過ONOS命令行控制臺查看節(jié)點情況。nodes命令執(zhí)行結(jié)果如圖6-23所示。可以看出，當(dāng)前存在2臺控制器，控制器的IP地址為0和1，使用的端口為9876，控制器的版本為1.12.1。（6）通過ONOS命令行控制臺查看主備情況。任務(wù)2ONOS控制器的集群構(gòu)建onos>nodes圖6-23

nodes命令執(zhí)行結(jié)果onos>rolesroles命令執(zhí)行結(jié)果如圖6-24所示。可以看出，controller節(jié)點作為s1和s2的主控制器，而controller2節(jié)點作為s3和s4的主控制器，并且兩臺控制器互為備份。（7）在Mininet節(jié)點，執(zhí)行ping命令，令h1節(jié)點與h4節(jié)點互通。任務(wù)2