1、 InfiniBand網(wǎng)絡(luò)技術(shù)及主流廠商分析InfiniBand技術(shù)和協(xié)議架構(gòu)分析 Infiniband開放標(biāo)準(zhǔn)技術(shù)簡化并加速了服務(wù)器之間的連接,同時支持服務(wù)器與遠(yuǎn)程存儲和網(wǎng)絡(luò)設(shè)備的連接。IB技術(shù)的發(fā)展 1999年開始起草規(guī)格及標(biāo)準(zhǔn)規(guī)范，2000年正式發(fā)表，但發(fā)展速度不及Rapid I/O、PCI-X、PCI-E和FC，加上Ethernet從1Gbps進(jìn)展至10Gbps。所以直到2005年之后，InfiniBand Architecture(IBA)才在集群式超級計(jì)算機(jī)上廣泛應(yīng)用。全球Top 500大效能的超級計(jì)算機(jī)中有相當(dāng)多套系統(tǒng)都使用上IBA。 隨著越來越多的大廠商正在加入或者重返到它的陣

2、營中來，包括Cisco、IBM、HP、Sun、NEC、Intel、LSI等。InfiniBand已經(jīng)成為目前主流的高性能計(jì)算機(jī)互連技術(shù)之一。為了滿足HPC、企業(yè)數(shù)據(jù)中心和云計(jì)算環(huán)境中的高I/O吞吐需求，新一代高速率56Gbps的FDR (Fourteen Data Rate)和EDR InfiniBand技術(shù)已經(jīng)出現(xiàn)。IB技術(shù)的優(yōu)勢 Infiniband大量用于FC/IP SAN、NAS和服務(wù)器之間的連接,作為iSCSI RDMA的存儲協(xié)議iSER已被IETF標(biāo)準(zhǔn)化。目前EMC全系產(chǎn)品已經(jīng)切換到Infiniband組網(wǎng)，IBM/TMS的FlashSystem系列，IBM的存儲系統(tǒng)XIV Gen

3、3，DDN的SFA系列都采用Infiniband網(wǎng)絡(luò)。 相比FC的優(yōu)勢主要體現(xiàn)在性能是FC的3.5倍，Infiniband交換機(jī)的延遲是FC交換機(jī)的1/10，支持SAN和NAS。 存儲系統(tǒng)已不能滿足于傳統(tǒng)的FC SAN所提供的服務(wù)器與裸存儲的網(wǎng)絡(luò)連接架構(gòu)。HP SFS和IBM GPFS是在Infiniband fabric連接起來的服務(wù)器和iSER Infiniband存儲構(gòu)建的并行文件系統(tǒng)，完全突破系統(tǒng)的性能瓶頸。 Infiniband采用PCI串行高速帶寬鏈接，從SDR、DDR、QDR、FDR到EDR HCA連接，可以做到1微妙、甚至納米級別極低的時延，基于鏈路層的流控機(jī)制實(shí)現(xiàn)先進(jìn)的擁塞控

4、制。 InfiniBand采用虛通道(VL即Virtual Lanes)方式來實(shí)現(xiàn)QoS，虛通道是一些共享一條物理鏈接的相互分立的邏輯通信鏈路，每條物理鏈接可支持多達(dá)15條的標(biāo)準(zhǔn)虛通道和一條管理通道(VL15)。 RDMA技術(shù)實(shí)現(xiàn)內(nèi)核旁路，可以提供遠(yuǎn)程節(jié)點(diǎn)間RDMA讀寫訪問，完全卸載CPU工作負(fù)載，基于硬件傳出協(xié)議實(shí)現(xiàn)可靠傳輸和更高性能。 相比TCP/IP網(wǎng)絡(luò)協(xié)議，IB使用基于信任的、流控制的機(jī)制來確保連接的完整性，數(shù)據(jù)包極少丟失，接受方在數(shù)據(jù)傳輸完畢之后，返回信號來標(biāo)示緩存空間的可用性，所以IB協(xié)議消除了由于原數(shù)據(jù)包丟失而帶來的重發(fā)延遲，從而提升了效率和整體性能。 TCP/IP具有轉(zhuǎn)發(fā)損失的

5、數(shù)據(jù)包的能力，但是由于要不斷地確認(rèn)與重發(fā)，基于這些協(xié)議的通信也會因此變慢，極大地影響了性能。IB基本概念 IB是以通道為基礎(chǔ)的雙向、串行式傳輸，在連接拓樸中是采用交換、切換式結(jié)構(gòu)(Switched Fabric)，在線路不夠長時可用IBA中繼器(Repeater)進(jìn)行延伸。每一個IBA網(wǎng)絡(luò)稱為子網(wǎng)(Subnet)，每個子網(wǎng)內(nèi)最高可有65,536個節(jié)點(diǎn)(Node)，IBA Switch、IBARepeater僅適用于Subnet范疇，若要通跨多個IBASubnet就需要用到IBA路由器(Router)或IBA網(wǎng)關(guān)器(Gateway)。 每個節(jié)點(diǎn)(Node)必須透過配接器(Adapter)與IBA

6、 Subnet連接，節(jié)點(diǎn)CPU、內(nèi)存要透過HCA(Host Channel Adapter)連接到子網(wǎng)；節(jié)點(diǎn)硬盤、I/O則要透過TCA(TargetChannel Adapter)連接到子網(wǎng)，這樣的一個拓?fù)浣Y(jié)構(gòu)就構(gòu)成了一個完整的IBA。 IB的傳輸方式和介質(zhì)相當(dāng)靈活，在設(shè)備機(jī)內(nèi)可用印刷電路板的銅質(zhì)線箔傳遞(Backplane背板)，在機(jī)外可用銅質(zhì)纜線或支持更遠(yuǎn)光纖介質(zhì)。若用銅箔、銅纜最遠(yuǎn)可至17m，而光纖則可至10km，同時IBA也支持熱插拔，及具有自動偵測、自我調(diào)適的Active Cable活化智能性連接機(jī)制。IB協(xié)議簡介 InfiniBand也是一種分層協(xié)議(類似TCP/IP協(xié)議)，每層負(fù)

7、責(zé)不同的功能，下層為上層服務(wù)，不同層次相互獨(dú)立。IB采用IPv6的報(bào)頭格式。其數(shù)據(jù)包報(bào)頭包括本地路由標(biāo)識符LRH，全局路由標(biāo)示符GRH，基本傳輸標(biāo)識符BTH等。1、物理層 物理層定義了電氣特性和機(jī)械特性，包括光纖和銅媒介的電纜和插座、底板連接器、熱交換特性等。定義了背板、電纜、光纜三種物理端口。 并定義了用于形成幀的符號(包的開始和結(jié)束)、數(shù)據(jù)符號(DataSymbols)、和數(shù)據(jù)包直接的填充(Idles)。詳細(xì)說明了構(gòu)建有效包的信令協(xié)議，如碼元編碼、成幀標(biāo)志排列、開始和結(jié)束定界符間的無效或非數(shù)據(jù)符號、非奇偶性錯誤、同步方法等。2、 鏈路層 鏈路層描述了數(shù)據(jù)包的格式和數(shù)據(jù)包操作的協(xié)議，如流量控

8、制和子網(wǎng)內(nèi)數(shù)據(jù)包的路由。鏈路層有鏈路管理數(shù)據(jù)包和數(shù)據(jù)包兩種類型的數(shù)據(jù)包。3、 網(wǎng)絡(luò)層 網(wǎng)絡(luò)層是子網(wǎng)間轉(zhuǎn)發(fā)數(shù)據(jù)包的協(xié)議，類似于IP網(wǎng)絡(luò)中的網(wǎng)絡(luò)層。實(shí)現(xiàn)子網(wǎng)間的數(shù)據(jù)路由，數(shù)據(jù)在子網(wǎng)內(nèi)傳輸時不需網(wǎng)絡(luò)層的參與。 數(shù)據(jù)包中包含全局路由頭GRH，用于子網(wǎng)間數(shù)據(jù)包路由轉(zhuǎn)發(fā)。全局路由頭部指明了使用IPv6地址格式的全局標(biāo)識符(GID)的源端口和目的端口，路由器基于GRH進(jìn)行數(shù)據(jù)包轉(zhuǎn)發(fā)。GRH采用IPv6報(bào)頭格式。GID由每個子網(wǎng)唯一的子網(wǎng)標(biāo)示符和端口GUID捆綁而成。4、 傳輸層 傳輸層負(fù)責(zé)報(bào)文的分發(fā)、通道多路復(fù)用、基本傳輸服務(wù)和處理報(bào)文分段的發(fā)送、接收和重組。傳輸層的功能是將數(shù)據(jù)包傳送到各個指定的隊(duì)列(QP

9、)中，并指示隊(duì)列如何處理該數(shù)據(jù)包。當(dāng)消息的數(shù)據(jù)路徑負(fù)載大于路徑的最大傳輸單元(MTU)時，傳輸層負(fù)責(zé)將消息分割成多個數(shù)據(jù)包。 接收端的隊(duì)列負(fù)責(zé)將數(shù)據(jù)重組到指定的數(shù)據(jù)緩沖區(qū)中。除了原始數(shù)據(jù)報(bào)外，所有的數(shù)據(jù)包都包含BTH，BTH指定目的隊(duì)列并指明操作類型、數(shù)據(jù)包序列號和分區(qū)信息。5、上層協(xié)議 InfiniBand為不同類型的用戶提供了不同的上層協(xié)議，并為某些管理功能定義了消息和協(xié)議。InfiniBand主要支持SDP、SRP、iSER、RDS、IPoIB和uDAPL等上層協(xié)議。SDP(SocketsDirect Protocol)是InfiniBand Trade Association (IBT

10、A)制定的基于infiniband的一種協(xié)議，它允許用戶已有的使用TCP/IP協(xié)議的程序運(yùn)行在高速的infiniband之上。SRP(SCSIRDMA Protocol)是InfiniBand中的一種通信協(xié)議，在InfiniBand中將SCSI命令進(jìn)行打包，允許SCSI命令通過RDMA(遠(yuǎn)程直接內(nèi)存訪問)在不同的系統(tǒng)之間進(jìn)行通信，實(shí)現(xiàn)存儲設(shè)備共享和RDMA通信服務(wù)。iSER(iSCSIRDMA Protocol)類似于SRP(SCSI RDMA protocol)協(xié)議，是IB SAN的一種協(xié)議，其主要作用是把iSCSI協(xié)議的命令和數(shù)據(jù)通過RDMA的方式跑到例如Infiniband這種網(wǎng)絡(luò)上，作

11、為iSCSI RDMA的存儲協(xié)議iSER已被IETF所標(biāo)準(zhǔn)化。RDS(ReliableDatagram Sockets)協(xié)議與UDP類似，設(shè)計(jì)用于在Infiniband上使用套接字來發(fā)送和接收數(shù)據(jù)。實(shí)際是由Oracle公司研發(fā)的運(yùn)行在infiniband之上，直接基于IPC的協(xié)議。IPoIB(IP-over-IB)是為了實(shí)現(xiàn)INFINIBAND網(wǎng)絡(luò)與TCP/IP網(wǎng)絡(luò)兼容而制定的協(xié)議，基于TCP/IP協(xié)議，對于用戶應(yīng)用程序是透明的，并且可以提供更大的帶寬，也就是原先使用TCP/IP協(xié)議棧的應(yīng)用不需要任何修改就能使用IPoIB。uDAPL(UserDirect Access Programming

12、 Library)用戶直接訪問編程庫是標(biāo)準(zhǔn)的API，通過遠(yuǎn)程直接內(nèi)存訪問RDMA功能的互連（如InfiniBand）來提高數(shù)據(jù)中心應(yīng)用程序數(shù)據(jù)消息傳送性能、伸縮性和可靠性。IB應(yīng)用場景 Infiniband靈活支持直連及交換機(jī)多種組網(wǎng)方式，主要用于HPC高性能計(jì)算場景，大型數(shù)據(jù)中心高性能存儲等場景，HPC應(yīng)用的共同訴求是低時延(10微秒)、低CPU占有率（10%）和高帶寬(主流56或100Gbps) 一方面Infiniband在主機(jī)側(cè)采用RDMA技術(shù)釋放CPU負(fù)載，可以把主機(jī)內(nèi)數(shù)據(jù)處理的時延從幾十微秒降低到1微秒；另一方面InfiniBand網(wǎng)絡(luò)的高帶寬(40G、56G和100G)、低時延(幾

13、百納秒)和無丟包特性吸取了FC網(wǎng)絡(luò)的可靠性和以太網(wǎng)的靈活擴(kuò)展能力InfiniBand主流廠商和產(chǎn)品分析 架構(gòu)師技術(shù)聯(lián)盟 Mellanox成立于1999年，總部設(shè)在美國加州和以色列，Mellanox公司是服務(wù)器和存儲端到端連接InfiniBand解決方案的領(lǐng)先供應(yīng)商。2010年底Mellanox完成了對著名Infiniband交換機(jī)廠商Voltaire公司的收購工作，使得Mellanox在HPC、云計(jì)算、數(shù)據(jù)中心、企業(yè)計(jì)算及存儲市場上獲得了更為全面的能力。 還有一家InfiniBand技術(shù)廠商就是Intel，Intel拿出1.25億美元收購QLogic的InfiniBand交換機(jī)和適配器產(chǎn)品線發(fā)

14、力于高性能計(jì)算領(lǐng)域，但今天我們重點(diǎn)討論Mellanox的產(chǎn)品、技術(shù)和趨勢。IB網(wǎng)絡(luò)和拓?fù)浣M成 InfiniBand結(jié)構(gòu)基于信道的串口替代共用總線，從而使I/O子系統(tǒng)和CPU/內(nèi)存分離。所有系統(tǒng)和節(jié)點(diǎn)可通過信道適配器邏輯連接到該結(jié)構(gòu)，它們可以是主機(jī)、適配器(HCA)或目標(biāo)適配器(TCA)，還包括InfiniBand交換機(jī)和路由器擴(kuò)展，從而滿足不斷增長的需求。 InfiniBand也是一種分層協(xié)議(類似TCP/IP協(xié)議)，每層負(fù)責(zé)不同的功能，下層為上層服務(wù)，不同層次相互獨(dú)立，每一層提供相應(yīng)功能。InfiniBand協(xié)議可滿足各種不同的需求，包括組播、分區(qū)、IP兼容性、流控制和速率控制等。 Infi

15、niBand網(wǎng)絡(luò)路由算法包括最短路徑算法、基于Min Hop的UPDN算法和基于Fat Tree組網(wǎng)FatTree算法。 算法在一定程度上也決定了InfiniBand網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，尤其在高性能計(jì)算、大型集群系統(tǒng)，必須要考慮網(wǎng)絡(luò)之間的拓?fù)浣Y(jié)構(gòu)，網(wǎng)絡(luò)上行和下行鏈路阻塞情況也決定著整個網(wǎng)絡(luò)性能。由于樹形拓?fù)浣Y(jié)構(gòu)具備清晰、易構(gòu)建和管理的有點(diǎn)，故而胖樹網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)常常被采用，以便能夠發(fā)揮出InfiniBand網(wǎng)絡(luò)優(yōu)勢，也通常應(yīng)用在無阻塞或阻塞率很低的應(yīng)用場景，所以我們下面我們重點(diǎn)討論下。 在傳統(tǒng)的三層組網(wǎng)架構(gòu)中(二層架構(gòu)也經(jīng)常用到)，由于接入層節(jié)點(diǎn)數(shù)量龐大，所以要求匯聚層或核心層的網(wǎng)絡(luò)帶寬和處理能力與之

16、匹配，否則設(shè)計(jì)出來的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)就會產(chǎn)生一定的阻塞比。 為了解決這一問題，在匯聚層和核心層就要采用胖節(jié)點(diǎn)組網(wǎng)(如果采用瘦節(jié)點(diǎn)就一定發(fā)生阻塞，且三層組網(wǎng)阻塞比二層組網(wǎng)更加嚴(yán)重)，如上圖胖二叉樹事例，胖節(jié)點(diǎn)(Fat Tree)必須提供足夠的網(wǎng)絡(luò)端口和帶寬與葉子節(jié)點(diǎn)匹配。 采用胖樹拓?fù)渚W(wǎng)絡(luò)的結(jié)構(gòu)一般由葉子(Leaf)和主干(Spine)交換機(jī)組成，葉子交換機(jī)與服務(wù)器或存儲等信道適配卡相連，分配一部分端口給節(jié)點(diǎn)，另一部分端口被接入網(wǎng)絡(luò)中。在InfiniBand網(wǎng)絡(luò)中Fat Tree組網(wǎng)結(jié)構(gòu)具有下面幾個特點(diǎn)。連接到同一端Switch的端口叫端口組，同一Rank級別的Switch必須有相同的上行端口組，且

17、根Rank沒有上行端口組；除了Leaf Switch，同一Rank的Switch必須有相同的下行端口組。同一Rank的每個上行端口組中端口個數(shù)相同；且同一Rank的每個下行端口組中端口個數(shù)也相同。所有終端節(jié)點(diǎn)的HCA卡都在同一Rank級別上。 上圖是一個采用二層架構(gòu)的無阻塞Fat Tree組網(wǎng)事例，接入層下行提供1296個IB端口給服務(wù)器或存儲適配卡，上行也提供適配器給匯聚層。但從一個接入IB交換機(jī)來看，上行和下行分別提供18個接口實(shí)現(xiàn)無阻塞組網(wǎng)。胖樹拓?fù)浣Y(jié)構(gòu)一方面提供費(fèi)阻塞數(shù)據(jù)傳輸，另一方面提供網(wǎng)絡(luò)冗余增強(qiáng)網(wǎng)絡(luò)可靠性。軟件協(xié)議棧OFED 為服務(wù)器和存儲集群提供低延遲和高帶寬的企業(yè)數(shù)據(jù)中心(E

18、DC)，高性能計(jì)算(HPC)和嵌入式應(yīng)用環(huán)境。Mellanox所有適配卡與基于Open Fabrics的RDMA協(xié)議和軟件兼容。2004年OpenFabrics Alliance成立，該組織致力于促進(jìn)RDMA網(wǎng)絡(luò)交換技術(shù)的發(fā)展。2005年，OpenFabrics Alliance發(fā)布了第一個版本的OFED(OpenFabrics Enterprise Distribution)。 Mellanox OFED是一個單一的軟件堆棧，包括驅(qū)動、中間件、用戶接口，以及一系列的標(biāo)準(zhǔn)協(xié)議IPoIB、SDP、SRP、iSER、RDS、DAPL(Direct Access Programming Librar

19、y)，支持MPI、Lustre/NFS over RDMA等協(xié)議，并提供Verbs編程接口；Mellanox OFED由開源OpenFabrics組織維護(hù)。 如果前面的軟件堆棧邏輯圖過于復(fù)雜，可以參考上面的簡明介紹圖。Mellanox OFED for Linux (MLNX_OFED_LINUX)作為ISO映像提供，每個Linux發(fā)行版，包括源代碼和二進(jìn)制RPM包、固件、實(shí)用程序、安裝腳本和文檔。InfiniBand網(wǎng)絡(luò)管理 OpenSM軟件是符合InfiniBand的子網(wǎng)管理器(SM)，運(yùn)行在Mellanox OFED軟件堆棧進(jìn)行IB網(wǎng)絡(luò)管理，管理控制流走業(yè)務(wù)通道，屬于帶內(nèi)管理方式。 Op

20、enSM包括子網(wǎng)管理器、背板管理器和性能管理器三個組件，綁定在交換機(jī)內(nèi)部的必備部件。提供非常完備的管理和監(jiān)控能力，如設(shè)備自動發(fā)現(xiàn)、設(shè)備管理、Fabric可視化、智能分析、健康監(jiān)測等等。并行計(jì)算集群能力 MPI (Message Passing Interface)用于并行編程的一個規(guī)范，并行編程即使用多個CPU來并行計(jì)算，提升計(jì)算能力。Mellanox OFED for Linux的InfiniBand MPI實(shí)現(xiàn)包括Open MPI和OSU MVAPICH。 Open MPI是基于Open MPI項(xiàng)目的開源MPI-2實(shí)現(xiàn)，OSU MVAPICH是基于俄亥俄州立大學(xué)的MPI-1實(shí)施。下面列出了

21、一些有用的MPI鏈接。 RDS (Reliable Datagram Socket)是一種套接字API，在sockets over RC or TCP/IP之間提供可靠的按順序數(shù)據(jù)報(bào)傳送，RDS適用于Oracle RAC 11g?；趕ocket網(wǎng)絡(luò)應(yīng)用能力 IPoIB/ EoIB (IP/Eth over InfiniBand)是通過InfiniBand實(shí)現(xiàn)的網(wǎng)絡(luò)接口實(shí)現(xiàn)，IPoIB封裝IP數(shù)據(jù)報(bào)通過InfiniBand連接或數(shù)據(jù)報(bào)傳輸服務(wù)。 SDP (Socket Direct Protocol)是提供TCP的InfiniBand字節(jié)流傳輸協(xié)議流語義，利用InfiniBand的高級協(xié)議卸載

22、功能，SDP可以提供更低的延遲更高帶寬。存儲支持能力 支持iSER (iSCSI Extensions for RDMA)和NFSoRDMA (NFS over RDMA)，SRP (SCSI RDMA Protocol)是InfiniBand中的一種通信協(xié)議，在InfiniBand中將SCSI命令進(jìn)行打包，允許SCSI命令通過RDMA(遠(yuǎn)程直接內(nèi)存訪問)在不同的系統(tǒng)之間進(jìn)行通信，實(shí)現(xiàn)存儲設(shè)備共享和RDMA通信服務(wù)。 RDMA (Remote Direct Memory Access)技術(shù)是為了解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA通過網(wǎng)絡(luò)把數(shù)據(jù)直接傳入計(jì)算機(jī)的存儲區(qū)，將數(shù)據(jù)從

23、一個系統(tǒng)快速移動到遠(yuǎn)程系統(tǒng)存儲器中，而不對操作系統(tǒng)造成任何影響，這樣就不需要用到多少計(jì)算機(jī)的處理功能。它消除了外部存儲器復(fù)制和文本交換操作，因而釋放內(nèi)存帶寬和CPU周期用于改進(jìn)應(yīng)用系統(tǒng)性能。Mellanox產(chǎn)品介紹 Mellanox是服務(wù)器和存儲端到端連接解決方案的領(lǐng)先供應(yīng)商，一直致力于InfiniBand和以太網(wǎng)互聯(lián)產(chǎn)品的研發(fā)工作，也是業(yè)界公認(rèn)的超高速網(wǎng)絡(luò)典型代表。下面我們重點(diǎn)看看InfiniBand和相關(guān)產(chǎn)品介紹。 InfiniBand產(chǎn)品搭配先進(jìn)的VPI技術(shù)使得單端口適配業(yè)務(wù)需求，主要產(chǎn)品包括VPI系列網(wǎng)卡、交換機(jī)。芯片產(chǎn)品也是保障所有系列產(chǎn)品的可靠基石。種類豐富的線纜是實(shí)現(xiàn)高速互聯(lián)網(wǎng)絡(luò)

24、的重要保證。除了硬件外，InfiniBand配套加速軟件和統(tǒng)一管理軟件豐富整個產(chǎn)品家族。Infiniband交換機(jī) 在IB網(wǎng)絡(luò)內(nèi)提供點(diǎn)到點(diǎn)高速通信；基于LID技術(shù)將數(shù)據(jù)從一個端口送到另外一個端口，當(dāng)前單個交換機(jī)支持從18到864節(jié)點(diǎn)等規(guī)模不等，支持SDR(10Gbps)、DDR(20Gbps)、QDR(40Gbps)、FDR10（40Gbps）、FDR(56Gbps)等。 從SwitchX到Switch IB，SwitchX是支持10、20、40、56 G IB主流的芯片，下一代芯片Switch IB支持IB EDR 100Gb/s,并且向前兼容，后面還有SwitchX3支持100G和IB E

25、DR。 基于ConnectX系列網(wǎng)卡和SwitchX交換機(jī)可以實(shí)現(xiàn)以太網(wǎng)和IB網(wǎng)絡(luò)的虛擬協(xié)議互聯(lián)(VPI)，實(shí)現(xiàn)鏈路協(xié)議顯示或自動適配，一個物理交換機(jī)實(shí)現(xiàn)多種技術(shù)支持。虛擬協(xié)議互聯(lián)支持整機(jī)VPI、端口VPI和VPI橋接，整機(jī)VPI實(shí)現(xiàn)交換機(jī)所有端口運(yùn)行在InfiniBand或以太網(wǎng)模式，端口VPI實(shí)現(xiàn)交換機(jī)部分端口運(yùn)行InfiniBand、部分端口運(yùn)行以太網(wǎng)模式，VPI橋接模式實(shí)現(xiàn)InfiniBand和以太網(wǎng)橋接。 邊緣(機(jī)架) InfiniBand交換機(jī)系統(tǒng)支持8到36端口，提供非阻塞40到100Gb端口，在1U的空間可提供7.2Tb的帶寬，這些邊緣交換機(jī)是組成中小型費(fèi)阻塞網(wǎng)絡(luò)集群Leaf節(jié)點(diǎn)的理想選擇。邊緣交換機(jī)使用先進(jìn)的InfiniBand交換技術(shù)(如自適應(yīng)路由、擁塞控制和服務(wù)質(zhì)量等)旨在構(gòu)建最有效的交換矩陣。 核心InfiniBand交換機(jī)系統(tǒng)支持108至648端口，提供全雙向40至100Gb端口，InfiniBand核心交換機(jī)系統(tǒng)提供高密的解決方案，在一個機(jī)框