1、MSPE培訓教材RAID技術1目 錄RAID基本概念RAID級別和特點RAID比較和選擇RAID硬盤失效處理CRAID簡述2RAID出現原因 計算機發展初期，大容量硬盤價格非常高，而需要存儲的數據量越來越大容量性能 CPU運算速度飛速提高，數據讀寫速度不應該成為計算機系統處理的瓶頸 信息時代，數據對企業和個人的重要性越來越大，數據存儲安全更需要保障RAID可靠性3RAID基本概念定義 RAID （Redundant Array of Independent Disks）即獨立磁盤冗余陣列，RAID技術將多個單獨的物理硬盤以不同的方式組合成一個邏輯硬盤，從而提高了硬盤的讀寫性能和數據安全性。 由

2、加利福尼亞大學伯克利分校（University of California-Berkeley）在1987年，發表的文章：“A Case for Redundant Arrays of Inexpensive Disks”。文章中，談到了RAID這個詞匯，而且定義了RAID的5層級。柏克萊大學研究其研究目的為，反應當時CPU快速的性能。CPU效能每年大約成長3050%，而硬磁機只能成長約7%。研究小組希望能找出一種新的技術，在短期內，立即提升效能來平衡計算機的運算能力。在當時，柏克萊研究小組的主要研究目的是效能與成本。 另外，研究小組也設計出容錯（fault-tolerance），邏輯數據備份（

3、logical data redundancy），而產生了RAID理論。研究初期，便宜（Inexpensive）的磁盤也是主要的重點，但后來發現，大量便宜磁盤組合并不能適用于現實的生產環境，后來Inexpensive被改為independence，許多獨立的磁盤組。4RAID基本概念級別 RAID 0數據條帶化，無校驗RAID 1數據鏡像，無校驗RAID 2海明碼錯誤校驗及校正RAID 3數據條帶化讀寫，校驗信息存放于專用硬盤RAID 4單次寫數據采用單個硬盤，校驗信息存放于專用硬盤RAID 5數據條帶化，校驗信息分布式存放RAID 6數據條帶化，分布式校驗并提供兩級冗余根據不同的組合方式可以

4、分為不同的RAID級別5RAID組合方式級別擴展 RAID 0+1先做RAID 0，后做RAID 1，同時提供數據條帶化和鏡像RAID 10類似于RAID 0+1，區別在于先做RAID 1，后做RAID 0RAID 50先做RAID 5，后做RAID 0，能有效提高RAID 5的性能同時采用兩種不同的RAID方式還能組合成新的RAID級別6RAID基本概念 條帶 條塊分條條帶硬盤0硬盤2硬盤1硬盤37RAID基本概念 校驗 異或運算P=A0 XOR A1數據A0和A1通過異或運算進行奇偶校驗得到校驗位PA0值A1值P值000101011110異或 XOR 的校驗原理 A1A0P數據盤數據盤校驗

5、盤8RAID基本概念 重建（Rebuild） 數據盤A1A0PA0A1PXOR故障數據盤校驗盤A2A2XOR數據盤更換9RAID基本概念RAID組狀態 RAID組正常工作RAID組降級RAID組重建RAID組創建RAID組失效10RAID基本概念物理卷和邏輯卷 RAID10RAID5RAID由幾個硬盤組成 ，從整體上看相當于一個物理卷在物理卷的基礎上可以按照指定容量創建一個或多個邏輯卷，通過LUN（Logic Unit Number）來標識物理卷物理卷邏輯卷邏輯卷單個物理卷上創建1個邏輯卷單個物理卷上創建2個邏輯卷LUN1LUN2LUN311RAID、邏輯卷的形成過程 物理磁盤物理卷（RAID

6、）12RAID、邏輯卷的形成過程 物理磁盤邏輯卷物理卷（RAID）LUN1LUN2LUN3分割13RAID級別 RAID 0 DHLCGKBFJ定義：RAID0即沒有容錯設計的條帶硬盤陣列（Striped Disk Array without Fault Tolerance），以條帶形式將RAID組的數據均勻分布在各個硬盤中ABCDEFGH數據AEI14RAID級別 RAID 0 優點極高的讀寫效率速度快，由于不存在校驗，所以不占用CPU資源部署簡單缺點無冗余，通常和其他RAID級別混合使用 不適合用于關鍵數據環境最小硬盤數2RAID 0小結：15RAID級別 RAID 1 RAID 1 定義

7、：RAID 1又稱鏡像（Mirror），數據同時一致寫到主硬盤和鏡像硬盤EDCBAEDCBAABCDE=數據16RAID級別 RAID 1 優點提供了很高的數據安全性和可用性 100的數據冗余設計、使用簡單不作校驗計算，CPU占用資源少缺點空間利用率只有1/2相對于單個硬盤，無法提高寫性能硬盤數2RAID 1小結：17A0B0C0D0ECC/AxECC/BxECC/CxECC/DxECC/AyECC/ByECC/CyECC/DyRAID級別 RAID 2 定義：RAID 2 采用早期的海明碼校驗組成硬盤陣列，RAID中第1個、第2個、第4個第2的n次冪個硬盤都是校驗盤。RAID2的硬盤利用率很

8、低，目前基本不再使用A1B1C1D1A2B2C2D2A3B3C3D3ECC/AzECC/BzECC/CzECC/DzA0A1A2A3B0B1B2B3C0C1C2數據盤校驗盤18RAID級別 RAID 3 定義：RAID 3即帶有校驗的并行數據傳輸陣列（Paralleled transfer with parity），數據條帶化分布在數據盤中，同時使用專用校驗硬盤存放校驗數據 D0C0B0A0D1C1A1B1D2C2A2B2P DP CP AP B異或運算數據盤校驗盤A0A1A2B0B1B2C019RAID級別 RAID 3 優點數據分布式存儲在連續的硬盤上，具有較高的讀速率，適合大文件連續讀操

9、作的應用如果有一個硬盤損壞，數據的有效性沒有影響缺點校驗盤是整個硬盤陣列系統的瓶頸 有數據盤故障時，每次讀操作時都需要進行校驗計算，讀性能大幅度下降最小硬盤數3RAID 3小結：20RAID級別 RAID 4 定義：RAID 4是帶有共享校驗硬盤的獨立數據盤（ Independent data disks with shared parity disk），與RAID 3類似，不同在于對數據訪問是每次一個盤，而RAID 3是每次一個條帶，RAID4的讀寫性能較差，目前較少使用（NetApp-WAFL）異或運算A0B0C0D0A1B1C1D1A2B2C2D2A3B3C3D3P0P1P2P3A0A1

10、A2A3B0B1B2B3C0數據盤校驗盤21RAID級別 RAID 5 定義：RAID 5與RAID 3機制類似，但校驗數據均勻分布在各數據硬盤上，RAID成員硬盤上同時保存數據和校驗信息，數據塊和對應的校驗信息保存在不同硬盤上。RAID 5是最常用的RAID方式之一P4A3A2A1A0B4P3B2B1B0C4C3P2C1C0D4D3D2P1D0E4E3E2E1P0異或運算A0B0C0D0A1B1C1E1A2B2D2校驗信息Px分布式存儲數據22RAID級別 RAID 5 優點高讀取速率，中等寫速率提供一定程度的數據安全缺點RAID組里單塊硬盤的故障，會導致其他硬盤讀寫性能大幅度下降 最小硬盤

11、數3RAID 5小結：23RAID級別 RAID 6 定義：RAID 6 是帶有兩個獨立分布式奇偶校驗方案的獨立數據硬盤（Independent data disks with two independent distributed parity schemes）。廣義上講，能夠允許兩個硬盤同時失效的RAID級別統稱為RAID 6，狹義上講，特指Intel的RAID P+Q技術。硬盤空間利用率為(N-2)/N，N為RAID6陣列硬盤總數RAID 6技術：目前RAID 6還沒有統一的標準，各家公司的實現方式都有所不同：RAID P+Q： INTEL和HDS公司 (XOR+伽羅瓦運算(Galois

12、)）RAID DP： NetApp公司（橫向XOR+斜向XOR）RAID ADG：HP公司（兩層XOR）24RAID級別 RAID 6原理示例 A1A3A2A4A7A10A8A5A9A13A6A15A11A12A16異或運算A1A2A3A4A5A6A7A9橫向校驗盤中P1P4為各個數據盤中橫向數據的校驗信息例：P1=A1 XOR A2 XOR A3 XOR A4斜向校驗盤中DP1DP4為各個數據盤及橫向校驗盤的斜向數據的校驗信息例：DP1=A1 XOR A6 XOR A11 XOR A16P1P2P3P4橫向校驗盤斜向校驗盤數據盤A8DP1DP2DP3DP4A14DP525RAID級別 RAI

13、D 6 優點可以同時允許兩塊硬盤失效缺點磁盤利用率比RAID5更低校驗計算復雜，對控制器性能消耗很大，增加系統負載出現硬盤失效時，RAID重建時對系統性能影響更大，并且重建時間長最小硬盤數4RAID 6小結：26RAID組合級別 RAID 10 定義：RAID 10是將鏡像和條帶進行兩級組合的RAID級別，第一級是RAID1鏡像對，第二級為RAID 0。RAID10也是一種應用比較廣泛的RAID級別。 ABCDEFGHAACBBCDDEEFFGGHH27RAID級別 RAID 10 優點高讀取速率高寫速率，較校驗RAID而言，寫開銷最小至多可以容許n個硬盤同時損壞（2N個硬盤組成的RAID10

14、陣列）缺點只有1/2的硬盤利用率最小硬盤數4RAID 10小結：28RAID組合級別 RAID 0+1 ABCDEFGH定義：RAID 0+1是將條帶和鏡像進行兩級組合的RAID級別，第一級是RAID 0，第二級為RAID 1。一般來說，RAID 0+1的失效概率要比RAID 10大，不過無硬盤故障下，RAID 0+1的讀取速度要比RAID 10快ABCDEFGHABCDEFGH29RAID組合級別 RAID 50 P13F1定義：RAID 50是將RAID5和RAID 0進行兩級組合的RAID級別，最低一級是RAID 5，第二級為RAID 0A2P02A1A0B2B1P01B0P03C1C0

15、P00異或運算A0B0D0E0A1C0D1F0B1C1D2P12D1D0E2E1P11E0F0P10硬盤0硬盤1硬盤2硬盤3硬盤4硬盤5異或運算30RAID級別 RAID 50 優點比單個RAID 5容納更多的硬盤比單個RAID 5有更好的讀性能至多可以容許N個硬盤同時損壞（N個RAID5組成的RAID 50陣列）比相同容量的單個RAID5重建時間更短缺點比較難實現同一個RAID 5組內的兩個硬盤損壞會導致整個RAID 50陣列的失效最小硬盤數6RAID 50小結：31常用RAID比較 RAID級別RAID 0RAID 1RAID 3RAID 5RAID 10RAID 0+1別名條帶鏡像專用奇

16、偶位條帶分布奇偶位條帶鏡像陣列條帶條帶陣列鏡像容錯性無有有有有有冗余類型無復制奇偶校驗奇偶校驗復制復制熱備盤選項無有有有有有讀性能高低高高一般高隨機寫性能高低最低低一般一般連續寫性能高低低低一般一般最小硬盤數2塊2塊3塊3塊4塊4塊可用容量N * 單塊硬盤容量，N為RAID組成員數量，一般不大于16(N /2) * 單塊硬盤容量， N為RAID組成員數量，一般不大于16(N -1) * 單塊硬盤容量， N為RAID組成員數量，一般不大于16(N -1) * 單塊硬盤容量， N為RAID組成員數量，一般不大于16(N /2) * 單塊硬盤容量， N為RAID組成員數量，一般不大于16(N /2)

17、 * 單塊硬盤容量， N為RAID組成員數量，一般不大于16典型應用環境迅速讀寫，安全性要求不高，如圖形工作站等隨機數據寫入，安全性要求高，如服務器、數據庫存儲領域連續數據傳輸，安全性要求高，如視頻編輯、大型數據庫等隨機數據傳輸，安全性要求高，如金融、數據庫、存儲等數據量大，安全性要求高，如銀行、金融等領域高性能和高安全性，如視頻服務器32RAID硬盤失效處理-熱備和熱插拔 熱備：HotSpare 定義：當冗余的RAID組中某個硬盤失效時，在不干擾當前RAID系統的正常使用的情況下，用RAID系統中另外一個正常的備用硬盤自動頂替失效硬盤，及時保證RAID系統的冗余性 全局式：備用硬盤為系統中所

18、有的冗余RAID組共享 專用式：備用硬盤為系統中某一組冗余RAID組專用 熱插拔：HotSwap 定義：在不影響系統正常運轉的情況下，用正常的硬盤物理替換RAID系統中失效硬盤 關鍵在于熱插拔時電子器件的保護機制33全局熱備示例 該熱備盤由系統中兩個RAID組共享，可自動頂替任何一個RAID中的一個失效硬盤磁盤1磁盤2磁盤3熱備盤磁盤4磁盤5磁盤6RAID 5RAID 5磁盤陣列34專用熱備示例 該熱備盤由系統中指定RAID組專用，可自動頂替該指定RAID組中的一個失效硬盤磁盤1磁盤2磁盤3磁盤4磁盤5磁盤6RAID 5RAID 5磁盤陣列熱備盤熱備盤3512%58%30%物理損壞非物理損壞好

19、盤關于硬盤故障的數據統計圖：硬盤故障分析定位廠家年故障率08.09-09.0309.04-09.09日立1.84%0.92%0.92%西數1.88%0.89%0.99%邁拓4.52%2.79%1.73%三星4.18%2.25%1.93%希捷5.47%2.89%2.58%表：硬盤故障率統計來源：Google硬盤故障分析，2007.02n據統計，存儲系統的硬件故障90%以上是硬盤故障！n故障硬盤中，只有12%是完全的物理損壞，88%屬于部分/完全可用 n相比中等壓力的硬盤，空閑硬盤的故障率更高圖：不同壓力下的硬盤故障率來源：法國硬盤網站Hardware.fr來源：歷史硬盤故障分析36 4000GB

20、大容量硬盤帶來的問題容量 100GB 300GB 750GB 1000GB146GB300GBSAS硬盤250GB 400GB 500GB 750GB1TBSATA硬盤 500GB 200773GB 450GB 2003 2008 2010 600GB 20052TB 2009類型業務壓力重建時間2TB SATA(7200轉)無業務壓力20小時持續寫壓力5-6天600GB SAS(15000轉)無業務壓力4小時持續寫壓力22小時 2000GB表：硬盤初始化/重建時間測試環境：RAID5，5+1塊硬盤 ：1塊2TB SATA磁盤在無流量壓力下的重建時間！20小時4TB 20123TB 2012

21、3TB 1TB 2TB 37CRAID-基于Cell的RAID技術優化的同步設置強大的重建功能按LUN同步快速重建快速同步延時同步立即同步局部重建優化重建全盤重建CRAIDCRAID能為我們帶來什么？38什么是Cell？LUNLUN5RAIDDiskDiskLUNLUNDiskDiskDiskDisklDiskDiskCellRAIDRAID以Cell為核心以Cell為核心組織數據，破除LUN與RAID、Disk之間的捆綁關系，在存儲陣列內部形成完全的虛擬化架構RAIDDiSKLUN：數據邏輯載體Disk：數據物理載體LUNRAID：磁盤組織方式Cell : 形象稱之為“細胞”，指帶“活性”的

22、數據單元，存儲資源管理的基本單位n以1GB或更小的顆粒度管理數據nLUN、Cell、RAID之間沒有綁定關系n空間資源靈活組合，按需獲取n按性能需求實時調整Cell39重建方式比較數據盤1數據盤2數據盤3傳統 RAID 5熱備盤磁盤重建數據盤1CRAID5數據盤2數據盤3熱備盤Cell重建Cell2Cell5Cell1Cell6Cell3磁盤重建多磁盤發生介質錯誤，RAID5不失效，大幅提升可靠性！40CRAID快速重建 最高可縮短重建時間至20%區別于傳統RAID先踢盤再重建的方式，CRAID的快速重建可只重建錯誤磁盤上的損壞數據塊，未發生錯誤的區域直接使用拷貝方式將數據塊復制到熱備盤，重建完成后，再將錯誤磁盤轉移至IDDC磁盤診斷中心處理，該方式可明顯降低重建過程對RAID組性能造成的影響。 傳統RAID組重建時，最消耗性能和時間的原因是需要調用所有磁盤進行異或校驗。快速重建由于將全盤校驗改成了按Cell校驗+磁盤復制，其校驗任務只有傳統全盤重建的幾百