1、數據中心存儲架構存儲系統是數據中心IT環境的核心基礎架構，是數據中心數據訪問的最終 承載體。存儲在云計算、虛擬化、大數據等相關技術進入后已經發生了巨大的改 變，塊存儲、文件存儲、對象存儲支撐起多種數據類型的讀取;集中式存儲已經 不再是數據中心的主流存儲架構，海量數據的存儲訪問，需要擴展性、伸縮性極 強的分布式存儲架構來實現。在新的IT發展過程中，數據中心建設已經進入云計算時代，企業IT存儲環 境已經不能簡單的從一般性業務運營需求來構建云計算的數據中心存儲環境。云 計算數據中心的建設不是為了滿足某一個業務系統的特殊目標，是為了實現所有 業務系統在云平臺上能夠實現靈活的資源調度、良好的伸縮性、業務

2、擴展的彈性 以及快速交付性。因此，是一種自下而上的建設模式（如圖1所示），基于云計算 平臺的建設先于應用系統需求，并不再與具體的業務捆綁，應用系統的建設、擴 容、升級主要以軟件為主，硬件物理資源向資源池申請，存儲系統成為云數據中 心的可分配、可調度的資源，在這種情況下，有助于消除瓶頸、提高處理速度， 使得業務系統穩定、高效、持久運行。Eft圖1數據中心的系統建設發展一、數據中心存儲架構的演進隨著數據中心從最初的孤立系統企業級應用，發展到互聯網化階段的大規模 云計算服務，其存儲架構也不斷發展（如圖2所示）。從滿足關鍵系統的性能與容 量需求，到以虛擬化架構來整合數據中心存儲資源，提供按需的存儲服務

3、和自動 化運維，并進一步向存儲系統的智能化、敏捷化演進，應用需求的變化是存儲架 構不斷改進提升的驅動力，豎井式、虛擬化、云存儲三種架構并存是當前現狀， 軟件定義存儲架構的出現則是后云計算時代的存儲發展階段。圖2存儲系統系統架構和管理演進n*岸1豎井式架構對于早期的系統，在主機架構下，數據和邏輯是一體的，采用面向過程的設 計方法，每個應用是一個孤立的系統，維護相對容易，難于相互集成；客戶機/ 服務器架構將邏輯與數據進行了分離（不論C/S還是B/S模式，本質都是客戶機/ 服務器架構），同樣采用面向對象的設計方法，每個應用是一個孤立的系統，提 供了一定后臺集成的能力。這種架構的存儲也隨著系統的建設形

4、成了自身的獨立 性，業務平臺的硬件設備按照規劃期內最大用戶數來配置，而在業務初期和業務 發展情況難預測的情況下，無法真實評估存儲的規模與性能要求，這往往會浪費 不少硬件設備資源和空間、動力等資源，并且硬件資源不能靈活調度。每個業 務上線都需要經過軟件選型、評估資源、硬件選型、采購和實施等環節，業務上 線流程長、時間跨度大，不利于業務發展。存儲虛擬化隨著業務發展，數據中心存儲不可避免形成大量的異構環境，標準化的管理 流程難以實施。存儲虛擬化架構實現對不同結構的存儲設備進行集中化管理，統 一整合形成一個存儲池，向服務器層屏蔽存儲設備硬件的特殊性，虛擬化出統一 的邏輯特性，從而實現了存儲系統集中、統

5、一而又方便的管理。使得存儲池中的 所有存儲卷都擁有相同的屬性，如性能、冗余特性、備份需求或成本，并實現自 動化（如LUN管理）以及基于策略的集中存儲管理。同時，存儲資源的自動化管理為用戶提供更高層次策略的選擇。在存儲池中 可以定義多種存儲工具來代表不同業務領域或存儲用戶的不同服務等級。另外， 還允許用戶以單元的方式管理每一存儲池內部的存儲資源，根據需要添加、刪除 或改變，同時保持對應用服務器業務系統的透明性。基于策略的存儲虛擬化能夠 管理整個存儲基礎機構，保持合理分配存儲資源，高優先級的應用有更高的存儲 優先級，使用性能最好的存儲，低優先級的應用使用便宜的存儲。云存儲架構云存儲架構伴隨著大規模

6、云計算的數據時代的到來，將存儲作為云的服務提 供，不論是企業私有云還是公有云的存儲，都著重于大量存儲數據的創建和分布， 并關注快速通過云獲得數據的訪問。云存儲架構需要支持大規模的數據負載的存 儲、備份、遷移、傳輸，同時要求巨大的成本、性能和管理優勢。云存儲的技術部署，通過集群應用或分布式文件系統等功能，網絡中大量各 種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲 和業務訪問功能的一個系統，保證數據的安全性，并節約存儲空間。在大規模系統支撐上，分布式文件系統、分布式對象存儲等技術，為云存儲 的各種應用提供了高度可伸縮、可擴展和極大的彈性支撐和強大的數據訪問性 能，并且因為

7、這些分布式技術對標準化硬件的支持，使得大規模云存儲得以低成 本的建設和運維。云存儲不是要取代現有的盤陣，而是為了應付高速成長的數據量與帶寬而產 生的新形態存儲系統，因此云存儲在構建時重點考慮的三點：擴容簡便、性能易 于增長、管理簡易。4.軟件定義存儲軟件定義存儲當前還未有確切的定義，但軟件定義存儲代表了一種趨勢，即 存儲架構中軟件和硬件的分離，也就是數據層和控制層的分離。對于數據中心用 戶而言，通過軟件來實現對存儲資源的管理和調度，如靈活的卷遷移等而無需考 慮硬件設備本身。通過軟件定義存儲實現存儲資源的虛擬化、抽象化、自動化，能夠完整的 實現數據中心存儲系統的部署、管理、監控、調整等多個要求，

8、使得存儲系統具 備靈活、自由和高可用等特點。二、數據中心存儲的技術架構1.數據類型數據中心的存儲數據類型發生了很大的變化，按照結構化程度來分，可以大 致分為以下三種。1）結構化數據的存儲及應用。這是一種用戶定義的數據類型，它包含了一 系列的屬性，每一個屬性都有一個數據類型，存儲在關系數據庫里。一般的業務 系統都有大量的結構化數據，一般存儲在Oracle或MySQL的等的關系型數據庫 中，在企業級數據中心，一般在集中存儲架構中保存，或成為主存儲系統，以塊 存儲訪問為主。2）非結構化數據的存儲及應用。相對于結構化數據而言，不方便用數據庫 二維邏輯表來表現的數據即稱為非結構化數據，包括所有格式的辦公

9、文檔、文本、 圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等，分布式文件系統是實 現非結構化數據存儲的主要技術。3）半結構化數據的存儲及應用。介于完全結構化數據（如關系型數據庫、面 向對象數據庫中的數據）和完全無結構的數據（如聲音、圖像文件等）之間的數據， 半結構化數據模型具有一定的結構性，但較之傳統的關系和面向對象的模型更為 靈活。半結構數據模型完全不基于傳統數據庫模式的嚴格概念，這些模型中的數 據都是自描述的。由于半結構化數據沒有嚴格的語義定義，所以不適合用傳統的 關系型數據庫進行存儲，適合存儲這類數據的數據庫被稱作NoSQL 數據庫。塊、文件、對象2.1塊存儲對于存儲系統，塊

10、讀寫一般是在存儲介質上的數據概念，對于磁盤來說，塊 數據的存儲單元是一個或多個磁盤扇區。因此塊級數據的讀寫，是面向最底層的 物理層的，數據操作基于起始扇區編號、操作碼（讀、寫等）、連續扇區數量等， 塊數據訪問接口是SCSI接口。有兩種常用的兩種塊存儲方式。1）DAS（Direct Attach STorage）。是直接連接于主機服務器的一種儲存方 式，每一臺主機服務器有獨立的儲存設備，每臺主機服務器的儲存設備無法互通， 需要跨主機存取資料時，必須經過相對復雜的設定，若主機服務器分屬不同的操 作系統，要存取彼此的數據，更是復雜，有些系統甚至不能存取。通常用在單一 網絡環境下且數據交換量不大，性能

11、要求不高的環境下，是早期的技術實現。2）SAN（Storage Area Network） o是一種用高速網絡聯接主機服務器與存儲 設備的一種儲存方式，存儲系統會位于主機群的后端，它使用高速I/O網絡聯結 方式，以FC、iSCSI、FCOE為當前主流形式。一般而言，SAN應用在對網絡速度 要求高、對數據的可靠性和安全性要求高、對數據共享的性能要求高的應用環境 中，特點是代價高，性能好。它采用SCSI塊I/O的命令集，在SAN網絡級的數 據訪問提供高性能的隨機I/O和數據吞吐率，具有高帶寬、低延遲的優勢，但是 由于SAN系統的價格較高，且不具備大規模可擴展性，不能滿足大型云計算數據 中心的存儲需

12、求。,m4 if fcilAT.rtdI.ttt-L降JUL* *1*1崗。曹6帝.KMthMOC. 4IIHALk!|.riii,3.%ir，rnrEHF12xnIJLMtS：HRFl 扯p-lqjiDkh.垃tAWfm t ie_ 申書 L-IIFIEW PMWH niHWg. HimL素r 血桃1旗前ITWhl i, Na.的一VrMM.*MLN I.mg表1幾種文件系統ia-U|WC Can；2.2文件存儲RUblflM ft Kk廚、J對于文件，是按名存，Jit H- F- 1i uHa mIII 41uHjEJFfr.胥r KJT *hL. tim能碼i斗7 K7八上各個不同的文件

13、，需要給每個文件取一個確定的名字，稱為文件名，它用來表示磁盤上的文件，以便于在磁盤 上能夠按名查找這些文件。文件的數據操作基于文件名、偏移量、讀寫字節數 等，但是文件本身并無文件自身的屬性、元數據信息。基于對不同環境的文件存 儲發展了多種形式的文件系統（如表1所示）。對象存儲對象是自完備的，包含元數據、數據和屬性，可以進行自我管理，對象本身 是平等的。也就是說，對象分布在一個平坦的空間中，而非文件系統那樣的樹狀 邏輯結構之中，對象存儲以ID為基礎，根據ID可以直接訪問數據，核心是將數 據通路（數據讀或寫）和控制通路（元數據）分離，并且基于對象存儲設備（Object -based Storage

14、 Device，OSD）構建存儲系統，每個對象存儲設備具有一定的智 能，能夠自動管理其上的數據分布。典型代表：Swift、CEPH從設備級別看塊、文件、對象存儲（如表2所示）唆川陞。1AM書晚ilmtmmin用捐母It件罩曲部廠畔知件伽用叫盅作盡趣滯戶盼texkititismiiigm院吞場沒普XPTWtfit*嘲富存U遷叫叫粗EAMHLIN.hJbt 點“ 收山小的，陷辟巨M的肝山 朔折H林隊株ttltftJ翌虹的浙 段世普1?郵 普1：皿*5鼻4的.I*攵點取健步也朗帆弟-HHHSitiw- rrtiUA*事七也ML*古船由坪用盅上1419 ft,口沏卑世養花幃rmfif寡 的HJHS亢的

15、曹單!t昨 URNifif 恃tL表2塊、文件、對象存儲的設備級訪問比較主存儲架構主存儲是數據中心的重要存儲系統，通常稱為Tierl存儲，用于存儲活動數 據（經常需要訪問的數據）以及要求高性能、低延遲、高可用性的數據。主存儲通 常用于支撐數據中心關鍵任務程序（如數據庫、電子郵件和事務處理）。大多數重 要程序采用隨機數據訪問模式，具有不同的訪問要求，但是都能產生大量數據， 企業可以利用這些數據完成業務。即使在虛擬領域中出現越來越多的新的數據存儲技術，傳統的主存儲系統仍 然普遍。DAS是最早的主存儲架構，但SAN已經成為當前使用最廣泛、也最為主 流的存儲架構。而NAS則在數據中心用于文件共享應用，

16、并且也在后端采用了 S AN的擴展。在數據中心領域，絕大多數廠商也均以SAN架構來部署面向高級用 戶的主存儲解決方案，以及在此基礎上相關的容災備份方案和存儲虛擬化方案。SAN的特點是性能高、穩定性強、價格高。在一些需要集中存儲的數據庫等 實時服務要求高的重要應用領域，依然是當前的主流的技術，在存儲應用中，需 要集中存儲的高端應用由SAN來承擔，基于文件的小規模應用由NAS承擔更合適， 使得SAN與NAS成為互補存儲架構出現。最初的數據中心，大部分數據都是主數據。隨著數據的存在時間增長，大量 數據會通常移動到次級和三級存儲。因此，隨著存儲各方面技術發展和業務的成 熟，數據中心逐步開始尋求能夠減少

17、主存儲的途徑，以充分利用容量，降低整個 數據生命周期的成本。分布式文件存儲架構分布式文件系統主要的功能是用于存儲文檔、圖像、視頻之類的非結構化數 據，該系統建立在網絡之上的，以全局方式管理系統資源，它可以任意調度網絡 中的存儲資源，并且調度過程是透明的。分布式存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負 荷，利用位置服務器定位存儲信息，不但提高了系統的可靠性、可用性和存取效 率，還易于擴展。以高性能、高容量為主要特性的分布式存儲系統。HDFS（Hadoop Distributed File System）是開源項目 Hadoop 的家族成員， 是谷歌文件系統GoogleFS（Go

18、ogle File System）的開源實現，以下僅簡單介紹H DFS工作模式。HDFS被設計成適合運行在通用硬件上的分布式文件系統，是一個高度容錯 性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常 適合大規模數據集上的非結構化數據、半結構化應用。運行在HDFS之上的程序 有很大量的數據集，典型的HDFS文件大小是GB到TB的級別，因此，HDFS被調 整成支持大文件。一個HDFS集群是有一個Namenode和一定數目的Datanode組 成（如圖3所示）：NameNode（名稱節點）是一個或一組中心服務器，是HDFS的中樞，負責管理 文件系統的目錄名字空間信息（name

19、space）和客戶端對文件的訪問，并且管理所 有的 DataNode;DataNode（數據節點）在HDFS中負責管理本節點上附帶的存儲Block（數據 塊）。在HDFS內部，文件不是放在一塊磁盤上，一個文件其實分成多個block（數 據塊），這些block存儲分散在Datanode組成的集群中，NameNode記錄block 對應在不同的DataNode上的映射關系。NameNode接受客戶端的元數據請求，然后對DataNode發出Block Ops（塊操 作）指令，文件的創建、刪除和復制操作，同時決定block到具體Datanode節點 的映射。Datanode在Namenode的管理下進

20、行block的創建、刪除和復制。1 Aiclitlcrture圖3 HDFS經典體系架構圖示HDFS可靠性和性能主要通過數據塊的副本來實現，并且HDFS采用一種稱之 為Rack-aware（機架感知）的策略來改進數據的可靠性、有效性和網絡帶寬的利 用。在通常副本數為3的情況下，HDFS的策略將一個副本存放在本地機架上， 一個副本放在同一個機架上的另一個節點，最后一個副本放在不同機架上的一個 節點。在讀取時，為了降低整體的帶寬消耗和讀延時，如果客戶端同一個機架上 有一個副本，那么就讀該副本。HDFS依然是主從結構，Namenode成為整個系統的瓶頸和關鍵故障點，因此， 眾多使用分布式文件系統的用

21、戶均在此基礎上不斷完善其高可用性，比如發展出 無中心存儲架構。分布式對象存儲架構在對象存儲中，存儲的不僅是數據，還有與豐富的數據相關的屬性信息。系 統會給每一個對象分配一個唯一的OID(Object ID)。對象本身是平等的，所有 的OID都屬于一個平坦的地址空間，而并非文件系統那樣的樹狀邏輯結構。對象 存儲空間訪問對象只通過一個唯一的OID標識即可，不需要復雜的路徑結構，沒 有路徑他文件夾的概念。對象存儲架構有以下組成部分。5.1對象對象是系統中數據存儲的基本單位。一個對象實際上就是文件的數據和一組 屬性信息(Meta Data)的組合，這些屬性信息可以定義基于文件的RAID參數、數 據分布

22、和服務質量等;而傳統的存儲系統中用文件或塊作為基本的存儲單位，在 塊存儲系統中還需要始終追蹤系統中每個塊的屬性，對象通過與存儲系統通信維 護自己的屬性。在存儲設備中，所有對象都有一個對象標識，通過對象標識命令 訪問該對象。通常有多種類型的對象，存儲設備上的根對象標識存儲設備和該設 備的各種屬性，組對象是存儲設備上共享資源管理策略的對象集合等。對象存儲設備(OSD，Object Storage Device)OSD有自己的CPU、內存、網絡和磁盤系統，和塊設備的區別不在于存儲介 質，而在于兩者提供的訪問接口。OSD的主要功能包括數據存儲和安全訪問，目 前國際上通常采用標準化計算單元結構實現對象存

23、儲設備。OSD執行從對象到塊 的映射，這個動作允許本地實體以最佳方式決定怎樣存儲一個對象，OSD存儲節 點不僅具備存儲功能，還包括智能化的高級能力。傳統的存儲驅動只是作為Tar get響應客戶端的I/O請求，而對象存儲設備是智能設備，它能同時執行Targe t和Initiator的功能，支持與其他對象存儲設備的通信和協作，如數據分配、 復制與恢復。元數據服務器(MDS ，Metadata Server)元數據服務器的工作就是管理文件系統的名稱空間、控制客戶端與OSD對象 的交互，緩存和同步分布式元數據。雖然元數據和數據兩者都存儲在對象存儲集 群，但兩者分別管理，支持可擴展性。5.2對象存儲系統