存儲協議介紹第一頁，共三十四頁，2022年，8月28日學習目標

了解各種存儲協議了解各種存儲協議的主要區別iSCSI協議是存儲未來的發展之路123第二頁，共三十四頁，2022年，8月28日主機適配器SCSIID7SCSI總線SCSI陣列ID0SCSI陣列ID5LUN0LUN1LUN2LUN0LUN1數據/地址總線控制信號常見SCSI接口有50、68、80針SCSI（SmallComputerSystemInterface，小型計算機系統接口）是一種為小型機研制的接口技術，用于主機與外部設備之間的連接。SCSI的定義第三頁，共三十四頁，2022年，8月28日SCSI-3是所有存儲協議的基礎，其它存儲協議都用到SCSI的指令集SCSI-11986年ANSI標準，采納了SASI接口（1979）；定義了硬盤、磁帶和其它存儲設備的物理接口、傳輸協議和標準指令集；SCSI-21994年ANSI標準，SCSI-1的后續接口；提高了速度和總線帶寬，支持多線程指令，增加了更多存儲設備類型指令集；SCSI-3更高的速度類型：Ultra-2/Ultra-160/Ultra-320；物理接口、傳輸協議和SCSI指令集分層。SCSI歷史第四頁，共三十四頁，2022年，8月28日SCSI架構模型特定設備指令集：包括磁盤設備的“SCSI塊指令(SCSIBlockCommands)”等基礎指令集：所有SCSI設備都必須實現的“基礎指令(SCSIPrimaryCommands)”SCSI傳輸協議：譬如iSCSI，FCP物理連接：譬如光纖通道，internet架構模型：定義了SCSI系統模型和各單元的功能分工特定設備指令集基礎指令集SCSI傳輸協議物理連接架構模型第五頁，共三十四頁，2022年，8月28日SCSI標準框架BlockCommands

(e.g.,diskdrive)

(SBC,SBC-2)

ReducedBlockCommands(e.g.,diskdrive)

(RBC)

StreamCommands(e.g.,tapedrive)(SSC,SSC-2,SSC-3)

MediaChangerCommands(e.g.,jukebox)

(SMC,SMC-2)

Multi-MediaCommands(e.g.,DVD)(MMC,MMC-2,MMC-3,MMC-4)ControllerCommands(e.g.,RAID)

(SCC-2)Object-BasedStorageDevice

(OSD)Management

ServerCommands

(MSC)PrimaryCommands(foralldevices)

(SPC,SPC-2,SPC-3)ArchitectureModel(SAM,SAM-2,SAM-3)SCSI

ParallelInterface

(SPI-2,SPI-3,

SPI-4,SPI-5Relatedstandardsandtechnicalreports(SDV,PIP,SSM,SSM-2,EPI)SerialBusProtocol

(SBP-2,SBP-3)IEEE1394FibreChannelProtocol(FCP,FCP-2,FCP-3)FibreChannel(FC)SSASCSI-3Protocol

(SSA-S3P)SSA-TL2SSA-PH1orSSA-PH2SCSIRDMAProtocol(SRP,SRP-2)InfiniBand(tm)iSCSIInternetSerialAttachedSCSI

(SAS,SAS-1.1)EnclosureServices(SES,SES-2)特定設備指令集共享指令集架構模型傳輸協議物理接口第六頁，共三十四頁，2022年，8月28日SCSI-3物理接口SCSI-3

ClassDriver

(TapeDeviceDriver)

SCSI-3

ClassDriver

(DiskDeviceDriver)

Interface-IndependentSoftwareProgrammingInterface(MiniportInterface,CAM,ASPI,IO)SCSI-3FCP

PortDriverSCSI-3Parallel

PortDriveriSCSIIP

PortDriverSAS

PortDriverSCSISerialBusProtocol(SBP-2)

PortDriverFibreChannel

PortSCSIParallel

PortEthernet

PortSASSerial

PortIEEE-1394(Firewire)PortFibreChannel

PhysicalI/FSCSIBUS

Fast/Wide/Ultra/etc.EthernetSerialAttachedSCSI

PhysicalI/FFireWire

PhysicalI/FInitiatorI/OSystem物理接口第七頁，共三十四頁，2022年，8月28日SCSI應用SCSI傳輸協議SCSI物理連接SCSI應用SCSI傳輸協議SCSI物理連接Initiator設備Target設備互連協議應用協議傳輸協議傳輸服務接口互連服務接口應用層傳輸協議層互連層SCSI發起端-目標器模型第八頁，共三十四頁，2022年，8月28日

特點描述優點與主機無關工作在邏輯層而不是在設備層：支持數據塊類型的邏輯地址；數據以字節為單位進行傳送；采用通用指令集取代了專用的控制線多設備并行具有總線仲裁、設備選擇功能，設備與設備、設備與主機之間是一種雙向對等關系，不是主從關系；對多任務操作系統如Unix、Linux、WindowsNT，可以獲得更高性能高帶寬目前最快可以提供320MB/s的帶寬低系統開銷具有獨立處理芯片，占用CPU資源的比例相當小缺點單I/O控制器兩個和多個I/O控制器無法共享一條SCSI總線，不能實現多鏈路聚合，存在單一故障點地址短缺SCSI總線地址只有8或16個，無法接入更多的設備傳輸距離短單端SCSI傳輸距離6米，差分SCSI傳輸距離25米。所有連接設備只能放在統一地點SCSI的特點第九頁，共三十四頁，2022年，8月28日SCSI允許連接設備數量較少SCSI連接設備距離非常有限

？基于網絡的SCSIFCSANIPSANFCPiSCSI如何解決基于網絡的SCSI第十頁，共三十四頁，2022年，8月28日公共服務傳輸協議（編/解碼）信號協議和連接服務介質和接口FC-1代碼層FC-0物理層FC-2協議層FC-3服務層FC-4映射層IPI3SCSIHIPPIIPSBCCS802.2ATM通道網絡光纖通道是構建FCSAN的基礎，是FCSAN系統的硬件接口和通信接口。FC可以通過構建幀來傳輸SCSI的指令、數據和狀態信息單元。FC（光纖通道）第十一頁，共三十四頁，2022年，8月28日FC的三種拓撲結構點對點只能連接2個設備(直接連接)交換式Fabric最多支持1千6百萬個設備(光纖通道交換機)ArbitratedLoop

(仲裁環)最多支持126個設備(光纖集線器)普及!第十二頁，共三十四頁，2022年，8月28日Fabric節點N_PortF_PortF_PortE_PortE_PortFL_Port

節點N_Port交換機2交換機1

節點NL_Port

節點NL_PortG_PortFC端口類型服務器或存儲設備：N端口NL端口FC交換機：F端口FL端口E端口G端口第十三頁，共三十四頁，2022年，8月28日FC特點不足構建維護成本高，時間長互操作性不強，FC協議具體實現上各個廠商有所不同FCSAN缺少統一管理標準FC理論上最長傳輸距離10公里左右，在互聯網存儲應用中會形成信息孤島優勢連接設備比SCSI多高帶寬，低時延實現光纖和銅纜的無縫連接

連接距離遠遠超出并行SCSI存儲設備第十四頁，共三十四頁，2022年，8月28日SCSI應用（文件系統、數據庫）SCSI塊指令SCSI流指令其他SCSI指令SCSI指令、數據和狀態iSCSITCPIP以太網等iSCSI協議棧iSCSI（InternetSCSI）把SCSI命令和塊狀數據封裝在TCP中在IP網絡中傳輸iSCSI作為SCSI的傳輸層協議，基本出發點是利用成熟的IP網絡技術來實現和延伸SANiSCSI第十五頁，共三十四頁，2022年，8月28日iSCSI發起端-目標器模型發起端（Initiator）SCSI層負責生成CDB（命令描述符塊），將CDB傳給iSCSIiSCSI層負責生成iSCSIPDU（協議數據單元），并通過IP網絡將PDU發給target目標器（Target）iSCSI層收到PDU，將CDB傳給SCSI層SCSI層負責解釋CDB的意義。必要時發送響應iSCSITCPSCSIIPLinkiSCSITCPSCSIIPLinkInitiatorTarget第十六頁，共三十四頁，2022年，8月28日iSCSI的報文格式以太網頭(14)IP頭(20)TCP頭(20)iSCSI（TCP數據）FCS源端口目的端口序列號確認號首部長度保留APRSF窗口大小校驗和緊急指針基本報頭段(BHS，48字節)附加報頭段（若有）頭部校驗（若有）數據段（若有）數據校驗（若有）U第十七頁，共三十四頁，2022年，8月28日iSCSI優點高可靠高擴展良好的標準化易管理，IP技術成熟，具備IP知識的專業技術人員多很低的安裝成本和維護費用：建立在TCP/IP上減少了異構網絡和電纜：不需要特殊的FC交換機無距離限制，遠程存儲：異地數據交換、備份及容災靈活的安全性和QoS保證第十八頁，共三十四頁，2022年，8月28日FCSAN孤島如何連接，并跨越WAN？通過IP網絡隧道方案FCP路由方案FCIPiFCPFCSAN的連接第十九頁，共三十四頁，2022年，8月28日應用場合兩個FCSAN孤島通過IP連接成一個大的FCSAN特點基于IP的FC隧道協議，將FC幀封裝在TCP/IP上FCIP連接對IP網絡是透明的，整個傳輸中只有FCIP網關需要知道FCIP的封裝FCIP報文IP頭TCP頭TCP數據FCSSOFFC幀頭SCSI數據CRCEOFFCIP頭封裝FCIP（FCoverIP）第二十頁，共三十四頁，2022年，8月28日應用場合光纖通道設備（無FC交換機）將該設備直接連接到IP網絡上特點FC消息和路由服務在iFCP網關處終結。網關將每個FC地址映射到一個IP地址具有故障隔離功能部署時需要iSNS服務器（通常集成在iFCP網關上）iFCP報文IP頭TCP頭FCSSOFFC幀頭SCSI數據CRCEOFiFCP頭映射FC地址映射到IP地址iFCP(InternetFC)第二十一頁，共三十四頁，2022年，8月28日FCIPFCIP隧道iFCPiFCP多個SANFabric單個SANFabricFCIP和iFCP比較第二十二頁，共三十四頁，2022年，8月28日Ethernet頭IP頭TCPFCIP頭SOFFC幀頭Payload:SCSICommandinIUCRCEOFFCSFCIPSOFFC幀頭Payload:SCSICommandinIUCRCEOFSCSI-FCPEthernet頭IP頭TCPiFCP頭SOFFC幀頭Payload:SCSICommandinIUCRCEOFFCSiFCPEthernet頭IP頭TCPiSCSI頭FC幀頭Payload:SCSICommandinIUFCSiSCSI幾種存儲協議報文結構比較第二十三頁，共三十四頁，2022年，8月28日iSNS，即Internet存儲名稱服務，將光纖通道的即插即用功能引入到IP存儲網絡中，可以容易地在TCP/IP網絡上實現iSCSI和光纖通道設備的自動發現、管理和配置。存儲資源發現發現域和登錄控制服務狀態變化通知服務光纖通道和iSCSI設備開放映射iSNS主要功能iSNS協議iSNS客戶機iSNS服務器iSNS數據庫iSNS組成結構iSNS第二十四頁，共三十四頁，2022年，8月28日其它存儲協議？InfiniBandAoE……其它存儲協議第二十五頁，共三十四頁，2022年，8月28日InfiniBand誕生背景傳統的集群系統以計算節點為核心，性能差，結構復雜，擴展能力差需要一種開放、高帶寬、低延遲、高可靠以及滿足集群無限擴展能力的以交換為核心的體系架構InfiniBand應運而生第二十六頁，共三十四頁，2022年，8月28日InfiniBand發展歷程：兩次浪潮1999首次提出2004年調整定位得到主流服務器生產鏈上廠商的一致追捧，但由于協議、軟件支持、最初定位問題等，導致應用受到限制，包括Intel等廠商一度撤出投資調整定位于存儲網絡、計算網絡的應用，軟件方面成立開源的OpenIB組織，甚至推出了IPoverInfiniBand的協議轉換，InfiniBand又開始得到歡迎第二十七頁，共三十四頁，2022年，8月28日InfiniBand體系架構InfiniBand標準定義了一套用于系統通信的多種設備，包括信道適配器、交換機和路由器信道適配器用于同其它設備的連接，包括主機信道適配器（HCA）和目標信道適配器（TCA）交換機是InfiniBand結構中的基本組件點到點的交換結構：解決了共享總線、容錯性和可擴展性問題具有物理層低功耗特點和箱外帶寬連接能力CPU鏈路網絡鏈路鏈路鏈路鏈路目標TCA交換機內存

控制器系統

內存主機內部互聯CPUTCA目標HCAxCA路由器xCA路由器CPUxCA=HCA或TCA第二十八頁，共三十四頁，2022年，8月28日InfiniBand協議分層結構物理層：定義了多種速率的連接，目前已有產品信號傳輸速率最高達60Gb/s鏈路層：鏈路層與傳輸層處在IBA的核心位置。提供了局部子系統中的信息包設計、點到點連接操作以及包交換等功能網絡層：提供了信息包從一個子結構到另外一個子結構的路由機制傳輸層：傳輸層主要負責信息包的按序分發、分割、通道多路技術以及傳輸服務等；也負責處理數據包分段的發送、接收和重組物理層鏈路層網絡層傳輸層應用層5層結構第二十九頁，共三十四頁，2022年，8月28日基于標準的協議由InfiniBandTradeAssociation共同設計了該開放標準高速度目前Infiniband主流技術為DDR技術，所支持的吞吐量為5、20或60Gbps。下一代采用QDR，帶寬最高可達120Gbps遠程直接內存存取功能該功能對于集群來說很適合，因為它可以通過一個虛擬的尋址方案，讓服務器知道和使用其他服務器的部分內存，無需涉及操作系統的內核。

傳輸卸載遠程直接內存存取能夠幫助傳輸卸載，后者把數據