1、其實(shí)在前兩年我們根本就沒(méi)有討論FC-SAN與IP-SAN優(yōu)劣勢(shì)的必要，因?yàn)樵谀莻€(gè)時(shí)候的存儲(chǔ)區(qū)域網(wǎng)業(yè)界還是被光纖傳輸模式一統(tǒng)天下，并且在相當(dāng)長(zhǎng)的一段時(shí)間里面表現(xiàn)出了優(yōu)異的性能、可靠性和可擴(kuò)展性。但是在這一年多以來(lái)，隨著IP-SAN存儲(chǔ)設(shè)備的出現(xiàn)，其攜便利的擴(kuò)展性和低廉的價(jià)格向FC-SAN發(fā)起了一輪又一輪的沖擊。那么在這個(gè)事關(guān)業(yè)務(wù)應(yīng)用核心數(shù)據(jù)安全、高效傳輸?shù)拇鎯?chǔ)區(qū)域網(wǎng)到底采用何種方式搭建才能發(fā)揮應(yīng)有的優(yōu)勢(shì)呢？本文力求從數(shù)據(jù)傳輸性能、傳輸穩(wěn)定性、存儲(chǔ)區(qū)域網(wǎng)的可擴(kuò)展性、存儲(chǔ)區(qū)域網(wǎng)設(shè)備的可靠性和SAN網(wǎng)絡(luò)的可管理性共5個(gè)方面來(lái)對(duì)FC-SAN和IP-SAN進(jìn)行一個(gè)對(duì)比。一. 數(shù)據(jù)傳輸性能方面的比較1.1

2、傳輸協(xié)議利用率問(wèn)題從以上協(xié)議幀格式即可明顯的看出，以太網(wǎng)傳輸數(shù)據(jù)包最高到1500字節(jié)。包是以太網(wǎng)中基本校正單元，在每一幀后都會(huì)導(dǎo)致消耗CPU周期的一個(gè)中斷。在GB以太網(wǎng)里負(fù)載通常也是一個(gè)限制因素，避免占用全部帶寬。而在FC數(shù)據(jù)幀達(dá)到2000多字節(jié)，F(xiàn)C校正基本單元是一個(gè)多幀隊(duì)列。MTU可以達(dá)到64個(gè)幀，比較以太網(wǎng)而言允許光纖通道在主機(jī)中斷之間傳輸更多的數(shù)據(jù)。這種MTU可減少需要的CPU周期和提高傳輸效率。同時(shí)光纖通道網(wǎng)絡(luò)是基于流控制的封閉網(wǎng)絡(luò)。以太網(wǎng)設(shè)計(jì)之初是沒(méi)考慮到要通過(guò)無(wú)流控制的公網(wǎng)，而是基于CSMA/CD機(jī)制來(lái)進(jìn)行傳輸?shù)模虼怂谧枞l(fā)生時(shí)，在一個(gè)時(shí)間段之后返回并重發(fā)包，消耗額外的CPU

3、周期，并且負(fù)載越大，其可能重發(fā)包的幾率也相應(yīng)增大，從而引起可能消耗大量的CPU資源。如光纖傳輸中常使用的FCP-SCSI協(xié)議是將光纖通道設(shè)備映射為一個(gè)操作系統(tǒng)可訪問(wèn)的邏輯驅(qū)動(dòng)器的一個(gè)串行協(xié)議，這個(gè)協(xié)議使得以前基于SCSI的應(yīng)用不做任何修改即可使用光纖通道。所以在FC本身的結(jié)構(gòu)即為數(shù)據(jù)提供了高效率的傳輸途徑。而在以太網(wǎng)的傳輸中每次以單幀為單位，其中在傳輸過(guò)程中還必須進(jìn)行層層的封裝與解包，從而大大影響了整個(gè)鏈路的數(shù)據(jù)傳輸效率，并且在處理過(guò)程中也大大增加對(duì)系統(tǒng)本身性能的影響。在實(shí)際的對(duì)比測(cè)試中，其測(cè)試數(shù)據(jù)結(jié)果表明在同樣的lGbps的光纖鏈路（FC）與lGbps的千兆以太網(wǎng)（IP）中進(jìn)行數(shù)據(jù)傳輸時(shí)，F(xiàn)

4、C的實(shí)際利用率在70%-80%左右，最高可達(dá)90%；而在千兆以太網(wǎng)中，其實(shí)際利用率平均在20%左右，最高也只能達(dá)到30%左右。從以上協(xié)議本身分析看來(lái)，在以太網(wǎng)中并不能提供針對(duì)如存儲(chǔ)等大數(shù)據(jù)量以及I/O應(yīng)用所需要的好的性能。這也是在存儲(chǔ)區(qū)域網(wǎng)設(shè)計(jì)之初沒(méi)有考慮IP存儲(chǔ)的原因，雖然TCP/IP傳輸協(xié)議的出現(xiàn)較FCP傳輸協(xié)議出現(xiàn)得早。另外基于FC協(xié)議的FC-SAN理論傳輸速率早已達(dá)到了2Gb/s的水平，目前業(yè)界主流也已達(dá)到了4Gb/s，而基于IP協(xié)議的IP-SAN目前來(lái)說(shuō)lGb/s的理論傳輸速率還是主流，未來(lái)10G/s的理論傳輸速率還需要10G以太網(wǎng)的進(jìn)一步發(fā)展和強(qiáng)壯才能夠達(dá)到。據(jù)iSCSI相關(guān)技術(shù)人

5、員的實(shí)測(cè)數(shù)據(jù)顯示：基于1Gb的IP網(wǎng)絡(luò)搭建IPSAN，數(shù)據(jù)傳輸速率在80-90MB/S左右，如果是全雙工模式的交換機(jī)，可以達(dá)到160MB/S左右，相比光纖通道190MB/S（全雙工360MB/s）的傳輸速率還是有明顯差距。光纖通道的基本架構(gòu)如下：FC-0：物理層，定制了不同介質(zhì)，傳輸距離，信號(hào)機(jī)制標(biāo)準(zhǔn),也定義了光纖和銅線接口以及電纜指標(biāo)；FCT：定義編碼和解碼的標(biāo)準(zhǔn)；FC-2:定義了幀、流控制、和服務(wù)質(zhì)量等；FC-3：定義了常用服務(wù)，如數(shù)據(jù)加密和壓縮；FC-4：協(xié)議映射層，定義了光纖通道和上層應(yīng)用之間的接口，上層應(yīng)用比如：串行SCSI協(xié)議，HBA的驅(qū)動(dòng)提供了FC-4的接口函數(shù)，F(xiàn)C-4支持多協(xié)

6、議，如：FCP-SCSI，F(xiàn)C-IP，F(xiàn)C-VI.由以上架構(gòu)也可清晰看出，在FC中，其上層（FC-4）直接通過(guò)其協(xié)議映射關(guān)系，將上層的應(yīng)用的命令映射成為叫做“信息單元”的邏輯結(jié)構(gòu)。一個(gè)獨(dú)立信息單元通常映射為序列。與信息單元相關(guān)，I/O請(qǐng)求操作映射成為單獨(dú)的交換。而所有的傳輸則是以大數(shù)據(jù)量的序列為單位進(jìn)行處理的。同時(shí)序列和交換結(jié)構(gòu)一般已經(jīng)足以包含關(guān)于流控制的可調(diào)選項(xiàng)以及存儲(chǔ)恢復(fù)策略。A、交換光纖路徑通信由多層通信方式來(lái)實(shí)現(xiàn)。最高層，或者稱(chēng)會(huì)話(huà)層，是節(jié)點(diǎn)之間面向應(yīng)用的通信。光纖路徑中的這種通信被稱(chēng)為交換。交換是雙向的，盡管沒(méi)有要求，但它能同時(shí)在兩個(gè)方向上傳輸信息。交換通常所花的時(shí)間會(huì)很長(zhǎng)。一個(gè)端口

7、可以同時(shí)管理多個(gè)交換。換而言之，兩端口之間的交換通信不會(huì)妨礙該端口和其他端口之間的信息交換。B、序列交換由序列組成。序列是網(wǎng)絡(luò)中端口之間的單向信息傳輸。在下一個(gè)序列被發(fā)送或接收前，當(dāng)前序列必須完成。換而言之，序列不允許違規(guī)傳輸。這也是它們被稱(chēng)為序列的原因。C、幀光纖路徑中最小的傳輸粒度是幀。光纖路徑中的幀與其他所有網(wǎng)絡(luò)中的幀類(lèi)似：均由開(kāi)始標(biāo)記、幀頭、地址段、應(yīng)用數(shù)據(jù)、錯(cuò)誤校驗(yàn)段、回應(yīng)數(shù)據(jù)和幀尾組成。所有的幀都屬于某一個(gè)序列，因此也屬于一個(gè)交換。在I/O操作中使用這些結(jié)構(gòu)時(shí)，交換和一個(gè)I/O操作的讀或?qū)懳募僮飨嚓P(guān)，序列大致和閉域數(shù)據(jù)傳輸?shù)葍r(jià)，幀和單個(gè)SCSI指令相當(dāng)，它包括所有的請(qǐng)求、應(yīng)答和錯(cuò)

8、誤傳輸。其具體形式如下圖所示：光纖通道邏輯結(jié)構(gòu)信息交換一TT事個(gè)序列”丨時(shí)4丨廠引廠匸幵糾I傳輸規(guī)則：Fibr&Channel.Exchangei'':：.-合號(hào)quanr蘭9j:-rmExchangellransCtron:也洱Ji'iSequenceSequenceiExchanger.'<.'-：yiJi'i<jFrameFrameIpd/Josd-ni<2143.J£QBEE瞬一個(gè)楨乂Fzrant©必須窯一十序刊1BhUUlQFiW'戒袁換1E：；uk-TU1gfe'的石

9、63;"審列睫傳赫的革直，最窯可含即巧、幀謎蜃詁帝1耳Mbj二的蕎澤慨袋信息里聞豈救是一爼非幷炭相恙序列同吋只龍肓傘岸利牡于工作毬?lián)?.2 從存儲(chǔ)設(shè)備的結(jié)構(gòu)來(lái)看一般來(lái)說(shuō)IP-SAN存儲(chǔ)設(shè)備的磁盤(pán)控制器不是采用FC-SAN存儲(chǔ)設(shè)備中的硬件RAID芯片+中央處理器的結(jié)構(gòu)，而是采用每個(gè)磁盤(pán)柜中分為多個(gè)磁盤(pán)組，而每個(gè)磁盤(pán)組由一個(gè)微處理芯片控制所有的磁盤(pán)RAID操作（采用軟件計(jì)算，效率較低）和RAID組的管理操作。這樣一來(lái),每一次磁盤(pán)I/O操作都將經(jīng)過(guò)IP-SAN存儲(chǔ)內(nèi)置的一個(gè)類(lèi)似交換機(jī)的設(shè)備從前端眾多的主機(jī)端口中讀取或者寫(xiě)入數(shù)據(jù)，而這些操作都是基于IP交換協(xié)議，其協(xié)議本身就要求每一個(gè)微處理芯

10、片工作時(shí)需要大容量的緩存來(lái)支持?jǐn)?shù)據(jù)包隊(duì)列的排隊(duì)操作，所以一般我們看到的IP-SAN存儲(chǔ)都具有幾十個(gè)GB的緩存。利用這個(gè)大的緩存區(qū)，IP-SAN存儲(chǔ)在測(cè)試Cache的最大讀帶寬時(shí)可以獲得600，000IOPS甚至以上這樣高的值，但是這個(gè)值并不能真正說(shuō)明在實(shí)際應(yīng)用中就能夠獲得好的性能。因?yàn)樵诰哂泻Ａ看鎯?chǔ)的時(shí)候，不可能所有的數(shù)據(jù)均載入到系統(tǒng)緩存中，這個(gè)時(shí)候就需要大量的磁盤(pán)I/O操作來(lái)查找數(shù)據(jù)，而IP-SAN存儲(chǔ)所采用的SATA磁盤(pán)在這一塊切切性能非常弱，而且還涉及到一個(gè)在IP網(wǎng)絡(luò)上流動(dòng)的iSCSI數(shù)據(jù)向ATA格式數(shù)據(jù)轉(zhuǎn)化的效率損失問(wèn)題。也就是說(shuō)IP-SAN存儲(chǔ)存在一個(gè)緩存Cache到磁盤(pán)的數(shù)據(jù)I/O

11、和數(shù)據(jù)處理瓶頸。而采用FC磁盤(pán)的FC-SAN存儲(chǔ)設(shè)備就不存在這樣的問(wèn)題。通過(guò)2條甚至4條冗余的后端光纖磁盤(pán)通道，可以獲得一個(gè)非常高的磁盤(pán)讀寫(xiě)帶寬，而且FCP的磁盤(pán)讀寫(xiě)協(xié)議不存在一個(gè)數(shù)據(jù)格式轉(zhuǎn)換的問(wèn)題，因?yàn)樗麄儍?nèi)部采用的都是SCSI協(xié)議傳輸，避免了效率的損失。而且FC-SAN存儲(chǔ)設(shè)備由于光纖交換和數(shù)據(jù)傳輸?shù)母咝裕⒉恍枰艽蟮木彺婢湍軌颢@得一個(gè)好的數(shù)據(jù)命中率和讀寫(xiě)性能，一般2Gb或者4Gb即可滿(mǎn)足要求。另外由于具備專(zhuān)門(mén)的硬件RAID校驗(yàn)控制芯片，所以磁盤(pán)RAID性能將比軟件RAID性能好很多，并且可靠性更好。1.3 從連接拓?fù)浣Y(jié)構(gòu)來(lái)看在FC-SAN中存在著其靈活的連接方式，可根據(jù)不通的應(yīng)用需求

12、而選擇不同的連接拓?fù)洌渲饕B接方式有如下三種：點(diǎn)對(duì)點(diǎn)：首先各個(gè)組成設(shè)備通過(guò)登陸建立初始連接，然后即采用全帶寬進(jìn)行工作，其實(shí)際的鏈路利用率為每個(gè)終端的光纖通道控制器以及發(fā)送與接收數(shù)據(jù)可獲得緩沖區(qū)大小來(lái)決定。但其只適用于小規(guī)模存儲(chǔ)設(shè)備的方案，不具備共享功能。仲裁環(huán)：允許兩臺(tái)以上的設(shè)備通過(guò)一個(gè)共享帶寬進(jìn)行通信與交流，在此拓?fù)浣Y(jié)構(gòu)中，任意一個(gè)進(jìn)程的創(chuàng)建者在發(fā)送一段報(bào)文之前，都將首先與傳輸介質(zhì)就如何存取信息達(dá)成協(xié)議，因此所有設(shè)備均能通過(guò)仲裁協(xié)議實(shí)現(xiàn)對(duì)通信介質(zhì)的有序訪問(wèn)。全交換：通過(guò)鏈路層交換提供及時(shí)、多路的點(diǎn)對(duì)點(diǎn)的連接。通過(guò)專(zhuān)用、高性能的光纖通道交換機(jī)進(jìn)行連接，同時(shí)可進(jìn)行多對(duì)設(shè)備之間點(diǎn)對(duì)點(diǎn)的通信，從而

13、使整個(gè)系統(tǒng)的總帶寬隨設(shè)備的增多而相應(yīng)增大，在增多的同時(shí)絲毫不影響這個(gè)系統(tǒng)的性能。在IP-SAN中基于以太網(wǎng)的數(shù)據(jù)傳輸與存取中，雖然在物理上可體現(xiàn)為總線或者星型連接，但其實(shí)質(zhì)為帶沖突檢測(cè)多路載波偵聽(tīng)(CSMA/CD)方式進(jìn)行廣播式數(shù)據(jù)傳輸?shù)目偩€拓?fù)洌虼穗S著負(fù)載以及網(wǎng)絡(luò)中通信客戶(hù)端的增加，其實(shí)際效率會(huì)隨著相應(yīng)的降低。1.4 從網(wǎng)絡(luò)設(shè)備及傳輸介質(zhì)來(lái)看FC-SAN：使用專(zhuān)用光纖通道設(shè)備在鏈路中使用光纖介質(zhì)，不僅完全可以避免因傳輸過(guò)程中各種電磁干擾，而且可以有效達(dá)到遠(yuǎn)距離的I/O通道連接在FC-SAN中所使用的核心交換設(shè)備-光纖交換機(jī)均帶具有高可靠性及高性能的ASIC芯片設(shè)計(jì)，使整個(gè)處理過(guò)程完全基于硬

14、件級(jí)別的高效處理。同樣在連接至主機(jī)的HBA設(shè)計(jì)中，絕大多數(shù)操作獨(dú)立處理，完全不耗費(fèi)主機(jī)處理資源IP-SAN:使用通用的IP網(wǎng)絡(luò)及設(shè)備在傳輸介質(zhì)中使用銅纜、雙絞線、光纖等介質(zhì)進(jìn)行信號(hào)的傳輸，但在普通的廉價(jià)介質(zhì)存在信號(hào)衰減嚴(yán)重等缺點(diǎn)，而使用光纖也同樣需要特有的光電轉(zhuǎn)換設(shè)備等。在IP網(wǎng)絡(luò)中，可借助IP路由器進(jìn)行傳輸，但根據(jù)其距離遠(yuǎn)近，會(huì)產(chǎn)生相應(yīng)的傳輸延遲。核心使用各種性能的網(wǎng)絡(luò)交換機(jī)，受傳輸協(xié)議本身的限制，其實(shí)際處理效率不高。在主機(jī)端通常使用廉價(jià)的各種速率的網(wǎng)卡，大量耗費(fèi)主機(jī)的應(yīng)用處理資源。可得出如下光纖通道（FC）與網(wǎng)絡(luò)（IP）的對(duì)比表，該對(duì)比表可清晰表明使用光纖通道進(jìn)行大數(shù)據(jù)量的信息存儲(chǔ)傳輸與處

15、理中在其性能有著網(wǎng)絡(luò)在現(xiàn)階段無(wú)法比擬的優(yōu)勢(shì)。面向連接的模式數(shù)據(jù)傳輸通道信號(hào)傳輸校驗(yàn)方式特點(diǎn)傳輸延遲傳輸距離RAID方式光纖通道（FC）連接業(yè)務(wù)物理電路可靠的硬件傳輸高速低延遲較短距離基于硬件網(wǎng)絡(luò)（IP）無(wú)連接邏輯電路不可靠的傳輸高連接更咼的延遲更遠(yuǎn)的距離基于硬件1.5從存儲(chǔ)能夠響應(yīng)的并發(fā)操作能力來(lái)看從應(yīng)用上來(lái)說(shuō)，相對(duì)于IP-SAN，F(xiàn)C-SAN可以承接更多的并發(fā)訪問(wèn)用戶(hù)數(shù)。當(dāng)并發(fā)訪問(wèn)Storage的用戶(hù)數(shù)不多的情況時(shí)，F(xiàn)C-SAN對(duì)比IP-SAN二者性能相差無(wú)幾。但一旦當(dāng)外接用戶(hù)數(shù)呈大規(guī)模增長(zhǎng)趨勢(shì)時(shí)，F(xiàn)C-SAN就顯示出其在穩(wěn)定、安全、以及高性能傳輸率等方面的優(yōu)勢(shì)，不會(huì)像IP-SAN由于自身傳

16、輸帶寬的瓶頸而導(dǎo)致整個(gè)系統(tǒng)的被拖垮。面對(duì)大規(guī)模并發(fā)訪問(wèn)，無(wú)論是從外接用戶(hù)數(shù)規(guī)模來(lái)說(shuō)還是從傳輸性能和穩(wěn)定性來(lái)說(shuō)，F(xiàn)C-SAN都有著IP-SAN不可比擬的優(yōu)勢(shì)。二. 存儲(chǔ)區(qū)域網(wǎng)中設(shè)備穩(wěn)定性比較FC-SAN由于使用高效的光纖通道協(xié)議，因此大部分功能都基于硬件來(lái)實(shí)現(xiàn)的，如后端存儲(chǔ)子系統(tǒng)的存儲(chǔ)虛擬通過(guò)帶有高性能處理器的專(zhuān)用RAID控制器來(lái)實(shí)現(xiàn)，中間的數(shù)據(jù)交換層通過(guò)專(zhuān)用的高性能ASIC來(lái)進(jìn)行基于硬件級(jí)的交換處理，在主機(jī)端通過(guò)帶有ASIC芯片的專(zhuān)用HBA來(lái)進(jìn)行數(shù)據(jù)信息的處理。因此在大量減少主機(jī)處理開(kāi)銷(xiāo)的同時(shí)，也大大提高了整個(gè)FC-SAN的穩(wěn)定性。IP-SAN使用通用的IP協(xié)議，而所有的協(xié)議轉(zhuǎn)換及處理時(shí)，絕大

17、部分依賴(lài)于軟件來(lái)實(shí)現(xiàn)，而軟件的不穩(wěn)定性因素也隨軟件的復(fù)雜度的增加而呈指數(shù)級(jí)增加，從而在大型的網(wǎng)絡(luò)中，整個(gè)系統(tǒng)的穩(wěn)定性也會(huì)隨之降低。三. 存儲(chǔ)區(qū)域網(wǎng)的可擴(kuò)展性比較在全交換(FC-SWFibreChannelswitchfabric)的FC-SAN中，各通信終端通過(guò)FC端口登陸后來(lái)進(jìn)行數(shù)據(jù)的傳輸與處理，而每個(gè)端口會(huì)提供專(zhuān)用的24位的FC端口地址(WWN)來(lái)進(jìn)行數(shù)據(jù)通信，根據(jù)其地址分配策略，在FC-SW中實(shí)FC-SAN與IP-SAN比較際可用的地址值達(dá)到1550萬(wàn)，因此在實(shí)際的企業(yè)級(jí)應(yīng)用中，完全可以滿(mǎn)足任何規(guī)模的存儲(chǔ)網(wǎng)絡(luò)的建立。同時(shí)在FC網(wǎng)絡(luò)中，由于所有的介質(zhì)均選用光媒質(zhì)來(lái)進(jìn)行傳輸，所以其設(shè)備均具有

18、熱插拔的能力，因此不管在已有的或者新建立的FC-SAN網(wǎng)絡(luò)里可在線完全非中斷應(yīng)用的情況下對(duì)現(xiàn)有的FC-SAN網(wǎng)絡(luò)進(jìn)行擴(kuò)展，如增加新的服務(wù)器、增加新的存儲(chǔ)空間等等，并且完全不影響已有系統(tǒng)的性能。在IP-SAN中由于借助原有的IP網(wǎng)絡(luò)，因此在其網(wǎng)絡(luò)連接拓?fù)湟餐瑯泳哂泻玫目蓴U(kuò)展性。但在使用IP存儲(chǔ)時(shí)，由于通常使用了專(zhuān)有的存儲(chǔ)虛擬軟件，所有的存儲(chǔ)分配與虛擬均通過(guò)軟件來(lái)實(shí)現(xiàn)，所以在進(jìn)行存儲(chǔ)的擴(kuò)展時(shí)，很大程度取決于存儲(chǔ)虛擬軟件的設(shè)計(jì)性能以及架構(gòu)等等。四. 存儲(chǔ)區(qū)域網(wǎng)的可靠性比較FC-SAN的設(shè)計(jì)初衷是基于企業(yè)級(jí)的核心數(shù)據(jù)以及應(yīng)用而設(shè)計(jì)的，因此在其興起、發(fā)展直至成熟，對(duì)整個(gè)系統(tǒng)的可靠性均有著很高的要求。在整個(gè)系統(tǒng)中，除了本身系統(tǒng)即基于高靠的環(huán)境中外，所有設(shè)備均采用高可靠性的硬件及芯片來(lái)設(shè)計(jì)，并且系統(tǒng)的核心部件以及相關(guān)的所有鏈路等均可采用熱插拔雙冗余的設(shè)計(jì)，如存儲(chǔ)子系統(tǒng)的冗余控制器、冗余電源等；鏈路可采用多路徑冗余或者負(fù)載均衡等等。另大部分設(shè)計(jì)是基于硬件的，所以方便使用高可靠、高性能的嵌入式系統(tǒng)來(lái)進(jìn)行數(shù)據(jù)的處理。IP-SAN本身即基于不可靠的IP網(wǎng)絡(luò)，因此其可靠性