1、 FCoE強型以太網技術詳解架構師技術聯盟 微信號 ICT_Architect功能介紹 分析和交流行業最前沿技術，分享云計算、存儲、服務器、數據中心、網絡、軟件定義和虛擬化等相關知識，旨在知識交流、開放共享和共同進步。 FCoE起源于Brocade、IBM和HP提議一個名為FCoCEE(FC over Converged Enhanced Ethernet)協議標準，后來正式改名為FCoE；分別有Cisco、EMC、Emulex、HDS、HP、IBM、Intel、LSI、Marvell、Mellanox、Neoscale、Nuova、PMC-Sierra、Qlogic、Sun和Vitesse共

2、16家公司積極參與。T11.3-FC-BB-5完成于2009年6月，標準定型。T11.3-FC-BB-6完成于2009年8月，規定FCoE點到點，端到端模型。 FC-BB-5版本必須要FCF(FCForwarder可以理解為FCoE交換機)存在。我們原來采用FC的時候，主機的HBA卡可以直接連接到存儲控制器的FC口上，支持點對點的連接。 但FCoE必須通過FCoE交換機(FCF)，中間的FSB是為了擴展端口用的，不是必須的。這個FSB是支持FIP(FCoEInitializationProtocol) Snooping的二層設備。FC-BB-6標準后，我們可以點對點組網。當然，也可以支持VN2

3、VN的組網，中間用便宜的FDF設備連接。什么是FCoE FCoE(Fibre Channel over Ethernet)是基于以太網光纖通道協議；FCoE是將FC的架構映射到以太網上，基于以太網的成熟、演進快優勢，克服FC協議兼容性問題，減少數據中心接口卡和電纜網絡設備，FCoE包容FC，保護原有投資。 FCoE就是將FC的內容封裝在以太網幀里，讓其在以太網中傳輸。這個以太網(DCE)是無損的以太網，其協議是基于802.1Q作了補充，從而形成的802.1Qxx或802.3。增強型以太網(CEE/DCE) FCoE協議和標準的FC一樣，要求底層的物理傳輸時無損失的、無損的以太網保證了FCoE無

4、損失的傳輸。因此廠商已經開發了針對以太網標準的擴展器，特別是針對無損10Gb以太網的速度和數據中心架構。 這些數據中心架構，Brocade等廠商稱之為CEE(融合型增強以太網)，思科稱之為DCE(數據中心以太網)。我們統稱為增強型以太網。FCoE需要增強型以太網。FCoE為什么需要CEE 普通以太網都不支持FCoE，因為普通的以太網采用擁塞丟掉重傳的機制，但FC說話不能中斷，否則吞吞吐吐聽不清。因此，必須改造，采用新的流控機制(如PFC、ETS和CN，統稱DCB)來保證不丟包，這種改造好的以太網也叫增強以太網或者叫無損(Lossless)以太網，現在也叫DCB以太網。這樣的FCoE交換機成本好

5、像并不比FC交換機便宜多少。 FCoE的融合帶來布線的方便主要體現在服務器側。一般數據中心都是大量的服務器，少量的存儲。因此，服務器采用CNA網卡連接到FCoE交換機上，每臺服務器節省一半的連線。一般的FCoE交換機(FCF)也支持FC接口，因此存儲采用FC接口連接到FCoE交換機上就可以了。不需要端到端的FCoE連接。因此，存儲支持FCoE不迫切。傳統以太網在發生阻塞時會丟包傳統以太網并不關心是否丟包了(除非上層協議手動跟蹤和重傳，如TCP)以太網是基于FIFO的機制起作用(FIFO)，存儲QoS問題。 增強以太網支撐FCoE的基礎特性主要包括以下內容。全雙工順序投遞Jumbo幀，每幀最小2

6、.5KB的承載數據 增強以太網的特性如下，在實際增強以太網產品中，并非這些特性都要實現。 PFC(基于優先級的流控)Priority-based Flow Control (PFC、IEEE 802.1Qbb)，按照流量類型優先級啟用Pause幀機制傳統的以太網增強的以太網 PFC基于業務類型優先級啟用Pause幀機制，多種類型流量共享同一條物理鏈路，某一類型的業務引起網絡擁塞將被暫停，確保類型業務仍然繼續，不會導致一種流量飽和其他類型流量饑餓導致業務中斷的現象。 如圖傳統的以太網如果業務阻塞，將會導致整個鏈路都阻塞了，其他業務不能在這條鏈路上運行，而增強的以太網將同一物理鏈路根據流量類型分割

7、為8個各自完全獨立的虛擬通道，根據用戶定義優先級分別在每個虛擬通道上啟動Pause幀機制，如果一條業務阻塞中斷，可以在同一物理鏈路上運行其他業務。 ETS(增強的傳輸選擇)Enhanced Transmission Selection (ETS，IEEE 802.1 Qaz)，ETS為PFC創建的各虛擬鏈路進行最佳的帶寬分配管理。ETS在各虛擬鏈路上增加帶寬管理。 如圖虛擬鏈路3指派的優先級最高，因此IP流量占用了剩余的帶寬，并進一步占用了虛擬鏈路1的帶寬。 DCBX(數據中心橋交換協議)是一個發現交換協議，在交換機和端點設備之間自動交換以太網參數和功能發現，包括檢測錯誤配置，配置遠端鏈路的功

8、能。 如圖以太網中的交換機會自動的與附近的交換機或設備進行一些參數的交換。發現以太網中的參數配置等信息。 CN(擁塞通知)Congestion notification (IEEE 802.1 Qau)，擁塞信息通知到該節點邊沿，限制帶寬。2層次流量管理系統通過通知速率限制將擁塞推動到邊沿網絡。 因為越到網絡中心即圖中集成級交換機的網絡壓力就越大，當網絡中某一交換機的網絡要發生擁塞時，交換機會向集成級交換機發起CN，集成級交換機通過發送控制幀到2個訪問級交換機，要求他們調整他們的流量。這種方法保證了核心網絡的完整性，將流控操作影響到引起擁塞的部分網絡，更逼近擁塞源頭。FCoE標準協議模型 FC

9、oE協議模型保留了FC-4(高級協議映射層)，FC-3(通用服務層)，FC-2(FC幀)；FC-0(物理接口)和FC-1(鏈路層)由以太網的物理層和MAC層替換；FC和以太網層之間通過FCoE映射。 在FC網絡端，FC結點和FC交換機通過FC端口連接，FC連接包括PN2PF(結點與交換機)和PE2PE(交換機與交換機)。 在FCoE網絡(即以太網)端，FCoE結點(ENODE)和FCoE交換機(FCF)在無損以太網上通訊是通過以太網的端口。通過將FC幀封裝在以太網幀上的FCoE虛擬連接代替了FC的物理連接。FCoE支持VN2VN(ENODE與ENODE)、VN2VF(ENODE與FCF)和VE

10、2VE(FCF與FCF)。 上圖可知，FC協議前端傳輸是通過FC網絡，速率在1、2、4、8Gbps。FCoE前端是通過增強的以太網傳輸，速率是10Gpbs；FC幀封裝SCSI，再有FCoE封裝FC幀，最后再被以太網封裝就成了以太網的幀，這樣就可以在以太網上傳輸了。FCoE是基于DCB也就是增強的以太網進行傳輸的，沒有TCP/IP開銷。FCoE網絡中的端口和FC網絡類似，只是叫法不同。N_Ports(HBA和存儲FC前端口)在FCoE中叫做VN_Ports(CNA和存儲FCoE端口)F_Ports(Fabric端口)在FCoE中叫做VF_Ports(FCoE交換機的端口)E_Ports(FC交換

11、機到FC交換機)在FCoE中叫做VE_Ports(FCoE以太網交換機互聯的端口)。FCoE組網類型 ENODEH1、ENODE H2和FCF A、FCF B都有一條與無損以太網的物理連接，每個ENODE可能會實例多個VN端口與FCF實例的VF端口建立FCoE虛擬連接。VN2VF網絡結構圖 如上圖紅色虛線；這樣，通過P2P VN2VF的虛擬連接將無損以太網簡化成了FC協議可以在上面操作的VN2VF模式。 FCF A、B、C都有一條與無損以太網的物理連接，每個FCF都會實例多個VE端口與其它FCF的VE端口建立FCoE的虛擬連接。VE2VE網絡結構圖 如上圖紅色虛線。這樣，通過P2P的VE2VE虛擬連接將無損以太網簡化成了FC協