1、網絡與信息安全技術主講人：張宏莉 余翔湛整理ppt課程內容信息安全概述網絡安全面臨的威脅信息安全體系結構物理安全運行安全數據安全信息內容安全信息安全標準、法律法規整理ppt物理安全 容災容災概述容災標準相關關鍵技術數據容災技術應用容災技術 整理ppt高頻數據備份需求對象需求：經常發生變化的數據數據恢復的需求：需要恢復到具體某個時間點的狀態 Redo，Undo恢復可能引起數據丟失的原因邏輯錯誤(由誤操作,軟件更新等引起的數據污染)物理錯誤(由介質損毀引起的數據丟失,如雪災、地震、恐怖襲擊等引起的數據丟失)實際備份中的需求數據量太大，以至于無法在有限的時間段內完成備份備份失敗。例如在備份時，有數據

2、從一個未備份的目錄移動到已經備份過的目錄備份的數據不能使用。因為備份時該文件正在進行寫操作熱備份嚴重影響應用系統的性能數據的存儲技術能否是與應用無關的整理ppt高頻數據保護技術分類整理ppt快照存儲技術什么是快照？是特定數據集的一個完整可用拷貝，該數據集包含源數據在拷貝點的靜態映象；快照可以是數據再現的一個副本或者復制。“快照”通常被定義為一組文件、目錄或卷在某個特定時間點的副本。“快照”這個名字的含義與“照片”相似，它所捕獲的是一組特定數據在某個時間點的映像。快照有三種基本形式：基于文件系統式的、基于卷管理器/虛擬化式的和基于系統式的。對應不同類型的實現主體主機文件系統(包括服務器、臺式機、

3、筆記本電腦)邏輯卷管理器(LVM)存儲虛擬化裝置主機虛擬化管理程序網絡附加存儲系統(NAS)磁盤陣列數據庫整理ppt快照的價值快速備份/恢復快照可以迅速建立，并可用作傳統備份和歸檔的數據源，所以快照可以縮小或消除備份窗口；快照存儲在磁盤上，可以快速直接存取，從快照恢復比從磁帶恢復速度快得多。多個恢復點基于磁盤的快照使存儲設備有靈活和頻繁的恢復點（或稱恢復點目標：RPO），可以快速通過不同時間點的快照盡快恢復數據。快照增多的代價是提高成本。整理ppt快照工作原理分類快照全拷貝快照分離鏡像（“Splitting”a mirror）差分快照寫即拷貝（CoW:Copy On Write)寫即重定向(R

4、oW:Redirect On Write)整理ppt快照復制技術分離鏡像（“Splitting”a mirror），克隆快照所創建的是數據的完整副本差異復制保存的是數據變化的內容Copy-on-write (COW)寫即拷貝,復制寫快照COW跟蹤數據卷的寫操作和數據塊變化。當某個數據塊發生改變時，在將舊的數據覆蓋之前，首先將該塊的舊數據復制到預留的快照卷，然后再更新數據卷。Redirect On Write（RoW）寫即重定向RoW跟蹤數據卷的寫操作和數據塊變化。當某個數據塊發生改變時，在數據卷上的舊數據不覆蓋，首先將該塊的新數據復制到預留的快照卷，然后再將該新數據的索引重定向到數據卷。整理p

5、pt差分快照實現：CoWp源盤快照前寫塊1abcdefgh01234567i8訪問陣列源卷1.寫操作（p寫入塊1）p整理ppt差分快照實現：CoWp源盤快照快照前寫塊1z快照后寫塊6apcdefgh01234567i8訪問陣列源卷快照索引和日志地址數據1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：不一次性寫入先將塊6內容移入日志z寫入源卷g66gz整理pptCoW特點源盤保持最新狀態兩次寫操作適合什么恢復？整理ppt差分快照實現：RoWp源盤快照前寫塊1abcdefgh01234567i8訪問陣列源卷1.寫操作（p寫入塊1）p整理ppt差分快照實現：RoWp源盤快照快照前寫塊1z

6、快照后寫塊6apcdefgh01234567i8訪問陣列源卷快照索引和日志地址數據1.寫操作（p寫入塊1）2.產生快照3.快照后寫入z到塊6：源卷塊6內容不變z寫入日志6z整理pptRoW特點源盤保持初始狀態一次寫操作適合什么恢復？整理ppt虛擬磁盤快照NeoStor時間點映像快照資源區域快照拷貝業務繼續訪問可以被分配給其它應用使用快照拷貝整理ppt1234567891011121234567891011122712第一次做快照時，快照資源區無數據. 內存中僅維護源卷的一個地址映射.源卷快照快照!源卷有新塊寫入時，舊塊數據首先被寫到快照資源區。新塊寫入舊塊移走快照拷貝實現 Copy-on-Wr

7、ite 整理ppt2712123456789101112123456789101112拷貝過程源虛擬盤快照資源區數據拷貝時，先檢查快照資源區的塊是否包含數據，如果有數據就直接復制到拷貝卷；如果沒有數據，則直接從源卷上復制未改變過的數據；最終結果是產生一個源卷在快照點的數據副本。快照拷貝卷快照拷貝實現 Copy-on-Write 整理ppt每小時一次的自動快照快照資源源資源數據卷9am初始快照(無數據)10am11am12pm147102581136912新數據塊寫入10:00-10:5914710258113691211:00-11:59新數據塊寫入147102581136912數據塊9:00

8、-9:59147102581136912新數據塊寫入267910112267910112舊數據塊保存在快照資源區舊數據塊保存在快照資源區舊數據塊保存在快照資源區267267910TimeMark整理ppt每小時一次的自動快照快照資源源資源數據卷9am初始快照(無數據)10am11am12pm147102581136912新數據塊寫入10:00-10:5914710258113691211:00-11:59新數據塊寫入147102581136912數據塊9:00-9:59147102581136912新數據塊寫入26791011226791011212:17pm 應用報錯需要恢復應用在 10am

9、的狀態!267267910TimeMark整理ppt10:00am!111234581269107新數據塊寫入10:00-10:5914710258113691211:00-11:59新數據塊寫入1471025811369121122679109am10am11am12pm147102581136912數據塊9:00-9:59新數據塊寫入147102581136912267910267910112267147102581136912126910127111234581269107112112910TimeMark每小時一次的自動快照快照資源源資源數據卷初始快照(無數據)整理ppt什么是CDP？

10、CDP:Continuous Data Protection CDP數據保護技術需要實時復制所有版本的更新數據，是數據保護技術的最高級別 整理pptCDP技術驅動器層次產生的CDP備份數據不會帶來明顯的寫操作延遲，適用于極高頻背景下的數據復制 CDP備份系統常用的部署方式是為業務盤配置CDP數據盤。在driver層次為業務盤驅動器配置相匹配的CDP盤驅動器，當業務盤發生寫操作（W）時，在driver層次復制寫操作，并保存到CDP數據盤中。備份數據的寫入操作與業務盤中的數據更新操作幾乎是同步進行的CDP盤中的備份數據需要建立專用的數據組織結構，以加快數據的寫入過程，并提供與之對應的數據檢索方法。

11、CDP盤中保存了所有版本的寫操作數據，隨著時間的延長，數據存儲量會急劇的增長。整理ppt整理ppt高頻數據的檢索與恢復在快照、CDP等高頻備份數據管理中面臨兩個基本問題：數據檢索效率問題數據一致性問題引入檢查點技術在結合檢查點的數據恢復過程中，通常采用前滾或后滾的檢索方式，逐漸接近目標點，實現面向應用一致性的數據恢復。 整理ppt二維坐標表示高頻數據的時空二維屬性分布，縱坐標表示數據的空間分布特性，以Key為標示；橫坐標表示時間屬性，以Time為標示。基本的索引結構為：。其中key表示數據項與時間無關的檢索標識符；數據的有效時間是starttime, endtime)的閉開區間內；info表示

12、索引項記錄具體內容。key1在t1時刻開始，產生索引項為：。其中“*” 表示數據的生命周期尚未結束。在t2時刻有Key=key2的索引項產生，表示為：。key1在t3時刻有新版本數據產生，舊版本的結束時間設為t3，索引項變為：，表示舊版本數據生命周期結束，新版本數據生命周期開始，新版本索引項為：。 整理ppt前向檢索：從一個可恢復狀態點開始依次根據數據的產生時間（starttime）進行檢索。假設t1是前向檢索的起點，則前向檢索過程為：t1版本的l1，l2，l3；t2版本的l4；t3版本的l5以及t4版本的l6。后向檢索：從當前狀態根據索引項的結束時間（endtime）依次檢索的過程。假設從當

13、前時刻t4開始執行狀態回滾，檢索順序為：t4版本下的l3；t3版本下的l2，t2版本下的ld，以及t1版本下的la，lb，lc。整理ppt問題：比如在CAW、CDP等數據復制技術中，通常根據數據的產生時間依次存儲所有版本的備份數據，滿足starttime有序。可以有效支持RF檢索，但是索引項的endtime之間是亂序的，在執行RB檢索時可能需要遍歷所有版本的備份數據才能獲得一份endtime有序的索引項排列。在COW等數據復制技術中，復制被修改前的舊版本數據并按序保存。備份數據版本之間endtime有序，可以直接支持RB檢索。但是索引項之間的starttime是亂序的。因此在高頻備份數據管理中

14、，目前的索引結構無法同時支持兩種檢索方式。 整理ppt雙向檢索索引結構設計引入雙向索引（Indexing Log）和更新表（Updating Table）兩種基本結構 Indexing Log索引項格式：key表示與時間獨立的檢索關鍵字 Time是新版本數據的開始時間，同時也是對應舊版本數據的結束時間 AddrOld：舊版本數據的存儲位置指針AddrNew：新版本數據的存儲位置指針 更新表中：記錄到當前為止所有更新數據最新版本的索引結構，基本索引項為。更新表主要作用是支持舊版本數據存儲位置的快速查找 整理ppt當有新數據寫入時, 根據key值首先在更新表中查找與key對應的舊版本數據的存儲位置

15、，設為AddrNew1。在Data Storage中為新數據分配存儲空間，新開辟地址為AddrNew2。產生一條雙向索引記錄：其AddrOld值為AddrNew1；AddrNew值為AddrNew2。索引項以按序追加方式保存在Indexing Log中。最后把AddrNew2更新到更新表中對應的記錄。 AddressKey.AddrNewkey1.Data storageOldDataNewData.IndexingLog更新表CDP Log備份數據123整理pptIndexing Log中的前向(redo)和后向(undo)檢索 整理ppt索引融合技術需求Log項太多恢復時的操作太多，效率低

16、能否去除冗余項？索引融合技術整理pptLog Chain無環、無分支有向圖描述不同備份點索引之間的依賴關系。每次差量備份，差量備份產生的Log索引項作為圖中的節點，索引之間的依賴關系構成圖的邊，能夠反映備份數據完整鏡像的索引文件稱為圖的源，把這種由索引之間依賴關系構成的圖稱為Log Chain間接依賴關系管理 I1I2I3InA0整理ppt直接依賴關系管理 整理ppt分段依賴關系管理 ImI1A0Am+1I2m+1Im+2長度為m的分段1長度為m的分段2整理ppt分段、分層疊加索引結構 ：關鍵是疊加算法索引融合：累積相關索引數據的變化過程 A0整理ppt整理ppt最后一個分段融合操作每當有新版

17、本到達時直接向上層進行索引融合，一直到達根節點為止 只有當融合窗口達到預定的窗口值時，才向上層融合索引 整理ppt疊加索引檢索分段、分層疊加索引上層索引結構反映了下層的索引的數據累計變化，在計算某個時間點的疊加索引時，首先從上層開始，逐層向下，最后檢索一個分段內部的Log Chain 整理ppt整理ppt整理ppt分層、分段依賴關系管理算法的特點收斂的在m值不斷增大時，算法收斂于間接依賴關系管理模式；算法收斂于直接依賴關系管理模式；此外，在分段、分層疊加索引結構，還可以進一步引入啟發式的索引保存策略，如只對當前的一個分段內部保存底層的Mapping Log，支持Undo操作，而對于早期的備份數

18、據，有選擇的保存上層疊加索引，支持Redo操作，這樣不僅符合備份數據的恢復特征，同時可以進一步提高元數據的存儲效率。 整理ppt變長數據管理技術block-level快照備份基于Block的增量快照，其數據可能是不規則長度的數據塊增量備份的數據塊之間存在著更復雜的關系需要新的索引和融合方法整理ppt整理ppt數據塊之間的關系 其中R為舊的數據、r為新的數據整理ppt變長數據塊索引基本索引結構為：Log Chain其中Interval為一個連續的數據塊區間，如區間為 a, b，表示區間范圍為地址a b兩個區間的相對關系需要在一維空間上進行比較，設源區間為r = a, b, ab；目標區間R =

19、A, B，AB；源區間r相對于目標區間R的相對關系可以描述。 整理ppt設源區間為r = a, b, ab；目標區間R = A, B，AB；r與R的關系可概括為6種關系，兩種運算左獨立, 左重疊 ，包含 ，右重疊 ，右獨立 ，覆蓋；區間關系描述整理ppt區間索引關系運算邏輯（索引融合）1、在滿足Overlapping關系條件下,即r覆蓋R時,R中的點在r中都有與之對應的部分,使用r替代R的過程稱為區間疊加,記為:r+R;2、在區間關系LeftOverlapping, Included, RightOverlapping條件下,把R進行分割,產生的區間子項Ra,Rb,Rc其中Ra特指r與Ra具有

20、RightIndependent的區間關系;r與Rb具有Overlapping關系,r與Rc具有LeftIndependent的區間關系,把這一過程稱為區間分割,記為:R/r;3、在區間分割運算中,如果分割R產生的子區間Rb不為空,即在R中獲得與r相匹配的子區間的過程稱為區間相減,記為:R-r. 整理ppt區間運算的物理意義：在r與R具有區間關系左獨立和右獨立的情況下,直接寫入新版本數據塊索引;在具有覆蓋關系情況下,使用新版本數據索引完全覆蓋掉舊版本數據索引;而重疊或包含關系時有部分舊版本的數據索引被覆蓋掉. 整理ppt多版本數據備份管理技術背景多版本技術決定著數據的存儲和恢復效率備份數據長期存儲過程中需要結合備份數據的多版本管理技術檢索數據決定備份數據檢索效率的因素包括版本內索引數據和遍歷版本數目，如何減少遍歷過程中的索引數據量是提高多版本管理效率的主要途徑問題描述傳輸效率效率版本管理效率版本的刪除整理ppt多版本管理方法多版本管理方法設多次備份后產生的版本序列記為：S=F1，F2，, Fn 版本融合算法根據索引融合或區間索引運