1、 任軍遠任軍遠cStorcStor超低功耗超低功耗云存儲系統云存儲系統Google文件系統(GFS)Google48%MSN19%Yahoo33%客戶端客戶端客戶端互為備份管理節點GFS主節點GFS主節點C0C1C2C5數據結點1C0C2C5數據結點NC1C5數據結點2客戶端客戶端客戶端客戶端客戶端客戶端C1 Google需要一個支持海量存儲的文件系統需要一個支持海量存儲的文件系統 購置昂貴的分布式文件系統與硬件？Google設計GFS的動機是否可以在一堆廉價且不可靠的硬件上構建可靠的分布式文件系統？ 硬件出錯是正常而非異常硬件出錯是正常而非異常 系統應當由大量廉價、易損的硬件組成 必須保持文

2、件系統整體的可靠性 主要負載是流數據讀寫主要負載是流數據讀寫 主要用于程序處理批量數據，而非與用戶的交互或隨機讀寫 數據寫主要是“追加寫”，“插入寫”非常少 需要存儲大尺寸的文件需要存儲大尺寸的文件 存儲的文件尺寸可能是GB或TB量級，而且應當能支持存儲成千上萬的大尺寸文件GFS的假設與目標 將文件劃分為若干塊（將文件劃分為若干塊（Chunk）存儲）存儲 每個塊固定大小（64M） 通過冗余來提高可靠性通過冗余來提高可靠性 每個數據塊至少在3個數據塊服務器上冗余 數據塊損壞概率？ 通過單個通過單個master來協調數據訪問、元數據存儲來協調數據訪問、元數據存儲 結構簡單，容易保持元數據一致性 無

3、緩存無緩存 Why?GFS的設計思路 單一Master, 若干ChunkServerGFS的架構1、文件存儲方式2、數據讀寫流程 分布式系統設計告訴我們：分布式系統設計告訴我們： 這是單點故障 這是性能瓶頸 GFS的解決辦法的解決辦法 單點故障問題單一Master問題采用多個（如3個）影子Master節點進行熱備，一旦主節點損壞，立刻選舉一個新的主節點服務 GFS的解決辦法 性能瓶頸問題單一Master問題盡可能減少數據存取中Master的參與程度不使用Master讀取數據，僅用于保存元數據客戶端緩存元數據采用大尺寸的數據塊（64M）數據修改順序交由Primary Chunk Server完成

4、Simple, and good enough! 存儲元數據存儲元數據 文件系統目錄管理與加鎖文件系統目錄管理與加鎖 與與ChunkServer進行周期性通信進行周期性通信 發送指令，搜集狀態，跟蹤數據塊的完好性 數據塊創建、復制及負載均衡數據塊創建、復制及負載均衡 對ChunkServer的空間使用和訪問速度進行負載均衡 對數據塊進行復制、分散到ChunkServer上 一旦數據塊冗余數小于最低數，就發起復制操作 平滑數據存儲和訪問請求的負載Master節點的任務 垃圾回收垃圾回收 在日志中記錄刪除操作，并將文件改名隱藏 緩慢地回收隱藏文件 與傳統文件刪除相比更簡單、更安全 陳舊數據塊刪除陳

5、舊數據塊刪除 探測陳舊的數據塊，并刪除Master節點的任務 采用中心服務器模式采用中心服務器模式 可以方便地增加Chunk Server Master掌握系統內所有Chunk Server的情況，方便進行負載均衡 不存在元數據的一致性問題GFS架構的特點 不緩存數據不緩存數據 GFS的文件操作大部分是流式讀寫，不存在大量的重復讀寫，使用Cache對性能提高不大 Chunk Server上的數據存取使用本地文件系統，如果某個Chunk讀取頻繁，文件系統具有Cache 從可行性看，Cache與實際數據的一致性維護也極其復雜GFS架構的特點 在用戶態下實現在用戶態下實現 直接利用Chunk Ser

6、ver的文件系統存取Chunk，實現簡單 用戶態應用調試較為簡單，利于開發 用戶態的GFS不會影響Chunk Server的穩定性 提供專用的訪問接口提供專用的訪問接口 未提供標準的POSIX訪問接口 降低GFS的實現復雜度GFS架構的特點 GFS的容錯機制的容錯機制 Chunk Server容錯 每個Chunk有多個存儲副本（通常是3個），分別存儲于不通的服務器上 每個Chunk又劃分為若干Block（64KB），每個Block對應一個32bit的校驗碼，保證數據正確（若某個Block錯誤，則轉移至其他Chunk副本）GFS的容錯方法 GFS的容錯機制的容錯機制 Master容錯 三類元數據

7、：命名空間（目錄結構）、Chunk與文件名的映射以及Chunk副本的位置信息 前兩類通過日志提供容錯，Chunk副本信息存儲于Chunk Server，Master出現故障時可恢復GFS的容錯方法 超過50個GFS集群 每個集群包含數千個存儲節點 管理著PB(1015Byte)級的數據GFS在Google中的部署巨型、廉價、穩定的數據中心cStor云存儲硬件架構云存儲硬件架構cStor云存儲軟件架構云存儲軟件架構cStor云存儲云存儲硬件硬件 Master Server (管理服務器管理服務器 ) 管理整個文件系統，存儲各文件的元數據信息，調度各數據存儲服務器 Data Server (數據存

8、儲服務器數據存儲服務器 ) 存儲文件數據，接受管理服務器的調度，為客戶端提供數據傳輸 Client (客戶端客戶端) 從管理服務器上獲取修改元數據信息，并向數據服務器讀寫數據cStor云存儲軟件架構云存儲軟件架構 支持支持master節點雙機鏡像節點雙機鏡像 控制流與數據流的分離控制流與數據流的分離 Cache機制機制 支持支持POSIX接口接口 支持加入節點動態擴展支持加入節點動態擴展 支持節點損失實時自適應容錯支持節點損失實時自適應容錯核心技術核心技術 使用主備雙節點方式解決單節點故障問題使用主備雙節點方式解決單節點故障問題 主備切換時間短，且無數據丟失主備切換時間短，且無數據丟失 數據訪

9、問不間斷，而且性能不受影響數據訪問不間斷，而且性能不受影響支持支持master節點雙機鏡像節點雙機鏡像 解決了解決了master節點的性能瓶頸問題節點的性能瓶頸問題控制流與數據流的分離控制流與數據流的分離 master節點在內存中保存節點在內存中保存metadata Chunkserver節點利用本身的文件系統提供的節點利用本身的文件系統提供的 cache Client 節點緩存節點緩存metadataCache機制機制 客戶無需學習專門的客戶無需學習專門的API接口接口 可應用在可應用在Linux和和Windows等各種平臺下等各種平臺下支持支持POSIX接口接口 可以任意加入節點（包括硬盤

10、）以擴展容量可以任意加入節點（包括硬盤）以擴展容量 采用負載均衡策略重新分布數據采用負載均衡策略重新分布數據支持加入節點動態擴展支持加入節點動態擴展 1:1 容錯技術容錯技術 1:2 容錯技術容錯技術 高頑存容錯技術高頑存容錯技術支持節點損失實時自適應容錯支持節點損失實時自適應容錯cStor云存儲界面云存儲界面cStor的性能的性能0100200300400500600從1個客戶端寫數據從2個客戶端寫數據從4個客戶端寫數據從8個客戶端寫數據從11個客戶端寫數據從15個客戶端寫數據使用1個存儲節點使用2個存儲節點使用4個存儲節點使用8個存儲節點使用11個存儲節點使用15個存儲節點cStor性能性

11、能 在某數據中心已經成功應用在某數據中心已經成功應用2年，期間未出現年，期間未出現系統故障，節點故障均自動屏蔽。系統故障，節點故障均自動屏蔽。 另外還用于數字地球、視頻監控、視頻點播另外還用于數字地球、視頻監控、視頻點播等領域。等領域。cStor云存儲的應用云存儲的應用基于基于cStor的云分發系統的云分發系統基于基于cStor的云處理系統的云處理系統HBaseMap-ReduceZooKeeperNameNodeDataNodesHMasterRegionServerHDFSHive/PigJobTrackerTaskTracker 自研的超低功耗云存儲硬件節點，功耗僅自研的超低功耗云存儲硬件節點，功耗僅約為約為10W（不含硬盤），支持（不含硬盤），支持16塊硬盤，容量達到塊硬盤，容量達到32TB以上。以上。 在在1個標準的個標準的42U機架上集成總容量高達機架上集成總容量高達1024TB。下一代下一代cStor云存儲硬件說明云存儲硬件說明超低功耗云存儲節點超低功耗云存儲節點EMC EMC AtmosAtmos云存儲云存儲名稱名稱單單機機架最架最大大容容量量是否是否支持支持POSIX接口接口能耗能耗易用易用性性應用適應用適用性用性是否支是否支持對文持對文件進行件進行修改修改是否可是否可以單獨以單獨出售云出