1、 Page * MERGEFORMAT 47高性能計算平臺解決方案目 錄 TOC o 1-3 h z u HYPERLINK l _Toc506671173 1概述 PAGEREF _Toc506671173 h 4 HYPERLINK l _Toc506671174 1.1建設背景 PAGEREF _Toc506671174 h 4 HYPERLINK l _Toc506671175 1.2設計范圍 PAGEREF _Toc506671175 h 4 HYPERLINK l _Toc506671176 1.3總體設計原則 PAGEREF _Toc506671176 h 4 HYPERLINK

2、 l _Toc506671177 2系統平臺設計 PAGEREF _Toc506671177 h 6 HYPERLINK l _Toc506671179 2.1項目需求 PAGEREF _Toc506671179 h 6 HYPERLINK l _Toc506671180 2.2設計思想 PAGEREF _Toc506671180 h 7 HYPERLINK l _Toc506671181 2.3云存儲系統方案 PAGEREF _Toc506671181 h 7 HYPERLINK l _Toc506671182 2.4系統優勢和特點 PAGEREF _Toc506671182 h 8 HYP

3、ERLINK l _Toc506671183 2.5作業調度系統方案 PAGEREF _Toc506671183 h 10 HYPERLINK l _Toc506671184 3系統架構 PAGEREF _Toc506671184 h 11 HYPERLINK l _Toc506671186 3.1平臺系統基本組成 PAGEREF _Toc506671186 h 11 HYPERLINK l _Toc506671187 3.2平臺系統功能描述 PAGEREF _Toc506671187 h 13 HYPERLINK l _Toc506671188 3.3Jobkeeper系統基本組成 PAGE

4、REF _Toc506671188 h 20 HYPERLINK l _Toc506671189 4系統安全性設計 PAGEREF _Toc506671189 h 23 HYPERLINK l _Toc506671191 4.1安全保障體系框架 PAGEREF _Toc506671191 h 23 HYPERLINK l _Toc506671192 4.2云計算平臺的多級信任保護 PAGEREF _Toc506671192 h 25 HYPERLINK l _Toc506671193 4.3基于多級信任保護的訪問控制 PAGEREF _Toc506671193 h 30 HYPERLINK l

5、 _Toc506671194 4.4云平臺安全審計 PAGEREF _Toc506671194 h 32 HYPERLINK l _Toc506671195 5工作機制 PAGEREF _Toc506671195 h 36 HYPERLINK l _Toc506671197 5.1數據寫入機制 PAGEREF _Toc506671197 h 36 HYPERLINK l _Toc506671198 5.2數據讀出機制 PAGEREF _Toc506671198 h 37 HYPERLINK l _Toc506671199 6關鍵技術 PAGEREF _Toc506671199 h 39 HYP

6、ERLINK l _Toc506671201 6.1負載自動均衡技術 PAGEREF _Toc506671201 h 39 HYPERLINK l _Toc506671202 6.2高速并發訪問技術 PAGEREF _Toc506671202 h 39 HYPERLINK l _Toc506671203 6.3高可靠性保證技術 PAGEREF _Toc506671203 h 40 HYPERLINK l _Toc506671204 6.4高可用技術 PAGEREF _Toc506671204 h 40 HYPERLINK l _Toc506671205 6.5故障恢復技術 PAGEREF _T

7、oc506671205 h 41 HYPERLINK l _Toc506671206 7接口描述 PAGEREF _Toc506671206 h 42 HYPERLINK l _Toc506671208 7.1POSIX通用文件系統接口訪問 PAGEREF _Toc506671208 h 42 HYPERLINK l _Toc506671209 7.2應用程序API接口調用 PAGEREF _Toc506671209 h 42 HYPERLINK l _Toc506671210 8本地容錯與診斷技術 PAGEREF _Toc506671210 h 43 HYPERLINK l _Toc5066

8、71213 8.1 平臺高可靠性 PAGEREF _Toc506671213 h 43 HYPERLINK l _Toc506671214 8.2平臺數據完整性 PAGEREF _Toc506671214 h 43 HYPERLINK l _Toc506671215 8.3平臺快照技術 PAGEREF _Toc506671215 h 44 HYPERLINK l _Toc506671216 8.4Jopkeeper故障處理技術 PAGEREF _Toc506671216 h 44 HYPERLINK l _Toc506671217 9異地容災與恢復技術 PAGEREF _Toc50667121

9、7 h 46 HYPERLINK l _Toc506671220 9.1平臺數據備份與恢復系統功能 PAGEREF _Toc506671220 h 46 HYPERLINK l _Toc506671221 9.2平臺異地文件恢復 PAGEREF _Toc506671221 h 47概述建設背景云存儲平臺與作業調度為本次高性能計算總體解決方案的一部分。主要針對海量的數據的集中存儲、共享、計算與挖掘，建立一套具有高可靠、可在線彈性伸縮，滿足高吞吐量并發訪問需求的云存儲與計算平臺。為數據存儲和高效計算提供便捷、統一管理和高效應用的基礎平臺支撐。設計范圍本技術解決方案針對海量數據集中存儲、共享與計算，

10、提供從系統軟硬件技術架構、原理、硬件選型、網絡接入以及軟件與應用之間的接口等方面的全面設計闡述。總體設計原則針對本次工程的實際情況,充分考慮系統建設的建設發展需求，以實現系統統一管理、高效應用、平滑擴展為目標，以“先進、安全、成熟、開放、經濟”為總體設計原則。先進性原則在系統總體方案設計時采用業界先進的方案和技術，以確保一定時間內不落后。選擇實用性強產品，模塊化結構設計，既可滿足當前的需要又可實現今后系統發展平滑擴展。安全性原則數據是業務系統核心應用的最終保障，不但要保證整套系統能夠7X24運行，而且存儲系統必須有高可用性，以保證應用系統對數據的隨時存取。同時配置安全的備份系統，對應用數據進行

11、更加安全的數據保護，降低人為操作失誤或病毒襲擊給系統造成的數據丟失。在進行系統設計時，充分考慮數據高可靠存儲，采用高度可靠的軟硬件容錯設計，進行有效的安全訪問控制，實現故障屏蔽、自動冗余重建等智能化安全可靠措施，提供統一的系統管理和監控平臺，進行有效的故障定位、預警。成熟性原則為確保整個系統能夠穩定工作，軟件平臺將使用先進、完善、易于管理和穩定可靠的云存儲資源管理系統，對于與應用的集成接口，提供統一的通用穩定訪問接口。開放性原則系統建設具有開放性的標準體系，提供符合POSIX標準的通用文件系統訪問接口，開放的應用API編程接口，提供人性化的應用和管理界面，以滿足用戶需求。遵循規范的通用接口標準

12、，使全系統中的硬件、通信、軟件、操作平臺之間的互聯共享。充分考慮系統的升級和維護問題，維護采用在線式的，即在系統不停止工作的情況下，可以更換單元備件。系統的維護和升級操作由系統管理員即可完成。經濟性原則現有業務系統存儲數據量較大，且數據的增長速度較快。因此在建設系統存儲架構時，應從長遠的角度考慮，建設一個長期的存儲架構，除了可以應對存儲硬件設備的升級速度外，還必須考慮到對前期存儲設備的投資保護，在保證不斷提供功能和性能提高的同時，存儲架構在較長的時間內能夠保持相對穩定。結合先進的云平臺技術架構優勢，根據本次項目建設的實際容量需求設計，同時充分考慮應用發展需求，實現系統可彈性在線平滑升級。通過軟

13、件實現在較廉價普通服務器上實現高度容錯，同時能夠在較低冗余度的情況下實現高度可靠容錯，大大節約和降低系統建設的硬件成本。系統平臺設計項目需求容量需求針對本次建設實際數據容量，一期擬建設XXTB裸容量數據存儲平臺，主要存儲數據。吞吐量需求為滿足多用戶或應用整體吞吐帶寬需要，確保數據訪問流暢，系統需提供多用戶或應用并發訪問高吞吐帶寬設計，系統能夠有效利用網絡帶寬，性能可通過規模增加實現平滑增長。擴展性需求未來根據業務應用的變化和發展，需要快速實施系統資源的升級，可以在業務服務不間斷的狀態下平滑擴展，不會導致架構發生根本性變化，為不斷產生和變化的業務需求提供持續的支持，支持業務系統的快速整合和部署對

14、核心系統基礎架構的特別要求。低成本需求要求系統能夠以低硬件成本、低維護成本實現高可靠高性能應用要求，充分提高資源利用率，簡化管理，并能靈活、可持續擴展。可維護性需求要求系統具有自適應管理能力，安裝、維護、升級簡易方便，提供統一易用的WEB配置管理監控平臺，實現智能化管理。接口需求要求能夠提供通用的文件系統接口，方便用戶及應用系統訪問，減少與應用集成或開發工作量，實現系統快速部署與集成。設計思想采用業界成熟先進的云平臺架構思想，采用軟件實現對大量普通商用服務器存儲空間資源進行虛擬化整合，實現軟硬件故障高度容錯，將系統控制流與數據流分離，同時使得數據在邏輯上集中、物理上分散，每臺服務器同時對外提供

15、服務，以達到多并發高吞吐量的性能要求，采用自注冊機制、故障自動屏蔽、自動冗余重建技術實現系統自我維護和平滑擴展，系統服務724小時不間斷。系統采用先進的編解碼容錯技術，可根據數據可靠性要求設置適當的冗余編解碼策略進行系統部署，可以以極小的磁盤和硬件冗余度，實現高度的可靠性數據容錯。云存儲系統方案采用業界已經成熟的平臺云存儲資源管理系統，在多臺普通商用服務器上構建高性能高可靠云存儲系統，作為本次云媒資系統云數據中心存儲平臺，其應用部署示意圖如下圖所示。平臺云存儲資源管理系統部署示意圖系統優勢和特點平臺云存儲系統是一套軟件與硬件相結合的系統，其中專有技術和軟件是高附加值部分，可以廣泛應用于需要存儲

16、大量數據的應用場合（如安防、廣電、電信、互聯網、銀行等領域）。該系統相比傳統存儲系統有如下技術優勢：高度可靠存儲系統采用云架構，數據被分塊存儲在不同的存儲節點上，數據采用先進的1:1容錯機制進行容錯，可在任意損壞一個存儲服務器節點的情況下實現數據完整可靠，系統對外存儲訪問服務不間斷。云存儲的管理節點采用了主備雙機鏡像熱備的高可用機制，在主管理節點出現故障時，備管理節點自動接替主管理節點的工作，成為新的主管理節點，待故障節點修復并重啟服務后，它則成為新的備管理節點，保障系統的724小時不間斷服務。優異性能平臺采用控制流與數據流分離的技術，數據的存儲或讀取實際上是與各個存儲節點上并行讀寫，這樣隨著

17、存儲節點數目的增多，整個系統的吞吐量和IO性能將呈線性增長。同時，平臺采用負載均衡技術，自動均衡各服務器負載，使得各存儲節點的性能調節到最高，實現資源優化配置。無限容量系統容量僅受限于卷管理服務器內存，可支撐的容量接近無限，經推算，理論容量為102410241024 PB (1G個PB容量)。在線伸縮平臺云存儲資源管理系統擴容非常方便，支持不停止服務的情況下，動態加入新的存儲節點，無需任何操作，即實現擴容；同時，無需人為干預，也可以摘下任意節點，系統自動縮小規模而不丟失數據，存儲在此節點上的數據將會重新備份到其他節點上。通用易用平臺云存儲系統提供符合POSIX標準的通用文件系統接口，無論是哪種

18、操作系統下的應用程序，都可以不經修改將云存儲當成自己的海量磁盤來使用。同時，也提供專用的API接口，供開發人員調用。智能管理提供基于WEB的管理控制平臺，所有的管理工作均由平臺管理模塊自動完成，使用人員無需任何專業知識便可以輕松管理整個系統。通過管理平臺，可以對平臺中的所有節點實行實時監控，用戶通過監控界面可以清楚地了解到每一個節點和磁盤的運行情況；同時也可以實現對文件級別的系統監控，支持損壞文件的查找和修復功能。系統提供用戶安全認證及對不同用戶進行配額設置與權限管理功能，滿足應用的日常維護和安全管理需求。作業調度系統方案采用業界已經成熟的Jobkeeper多任務調度系統，在多臺普通商用服務器

19、上構建高性能高可靠的任務調度平臺。高度可靠性Jobkeeper采用“多主多備，負載均衡”的管理節點，從而保證無論管理節點還是處理節點都不存在任何單點故障問題。低依賴性Jobkeeper采用模塊化設計思想，通過統一化配置和API接口的方式向用戶提供服務。低干預性Jobkeeper采用基于事件化的統一管理模式。在系統無人值守的情況下自動完成故障處理等功能。高實時性Jobkeeper在機器性能允許的范圍內，所有任務的控制工作基本都在秒級完成，具有前所未有的高效性。系統架構在本次高性能計算系統建設中，云存儲系統屬于基礎平臺支撐層，以用于數據集中存儲和共享，實現對數據的統一管理和高效應用。將數據邏輯集中

20、物理分散，以提供多并發高吞吐帶寬，最大程度降低系統訪問瓶頸，任務調度則基于云存儲進行大規模的高性能的并發計算。下面具體說明平臺云存儲資源管理系統和Jobkeeper任務調度系統的基本組成和主要功能。平臺系統基本組成平臺云存儲資源管理系統采用分布式的存儲機制，將數據分散存儲在多臺獨立的存儲服務器上。它采用包括卷管理服務器、元數據管理服務器（Master Server）、數據存儲節點服務器（Chunk Server）和掛接訪問客戶端以及管理監控中心服務器的結構構成虛擬統一的海量存儲空間。在每個服務器節點上運行平臺云存儲資源管理系統的相應的軟件服務程序模塊。系統架構框圖如下圖所示。平臺云存儲資源管理

21、系統架構其中，Master Server保存系統的元數據，負責對整個文件系統的管理，Master Server在邏輯上只有一個，但采用主備雙機鏡像的方式，保證系統的不間斷服務；Chunk Server負責具體的數據存儲工作，數據以文件的形式存儲在Chunk Server上，Chunk Server的個數可以有多個，它的數目直接決定了平臺云存儲系統的規模；掛接訪問客戶端即為服務器對外提供數據存儲和訪問服務的窗口，通常情況下，客戶端可以部署在Chunk Server上，每一個塊數據服務器，既可以作為存儲服務器同時也可以作為客戶端服務器。由一對元數據服務器及其管理的存儲服務器節點所提供的存儲空間稱為

22、一個卷空間，不同的卷空間由卷管理服務器虛擬化統一管理，對外可提供統一的海量存儲空間。管理監控中心提供統一易用的WEB配置管理監控平臺，提供設備監控、空間監控、文件監控、服務監控、用戶認證管理、配額管理、故障告警及預警等功能，實現智能化管理。這種分布式系統最大的好處是有利于存儲系統的擴展和實現，在小規模的數據擴展時，只需要添加具體的Chunk Server即可，而不需要添加整套設備。在實現大規模擴展時也可方便地添加整個卷設備。平臺系統功能描述平臺云存儲資源管理系統從功能上劃份為三大部分：平臺分布式文件系統分布式文件系統實現文件數據存儲、可靠性容錯、可伸縮性保證、高可用保證、負載均衡和流量分擔等功

23、能。存儲訪問接口平臺提供符合POSIX規范的文件系統訪問接口，通過平臺訪問掛接程序可將云存儲空間掛接為本地目錄或磁盤。同時可提供專用的API接口，支持業務應用層程序對云存儲系統的直接訪問。管理監控中心管理監控中心提供帳戶管理、設備管理、系統監控、卷管理、告警管理、故障管理等功能。下面逐一詳細介紹各部分系統功能。平臺分布式文件系統平臺分布式文件系統包括卷管理、元數據管理、塊數據管理服務。參考上面系統架構框圖左側部分。元數據是指文件的名稱、屬性、數據塊位置信息等，元數據管理通過元數據服務程序完成。因元數據訪問頻繁，故系統將元數據加載緩存至內存中管理，提高訪問效率。由于元數據的重要性，元數據損壞或丟

24、失則相當于文件數據丟失，因此實現了元數據服務器主備雙機高可用，確保小時不間斷服務。通過元數據遠程多機冗余備份功能，實現在多臺其它機器上備份元數據，當元數據服務器損壞，可以通過備份的元數據重新恢復服務，切保數據可以完整找回。塊數據是指文件數據被按照一定大小（默認64MB）分割而成的多個數據塊，分布存儲到不同的存儲節點服務器上，并通過編解碼容錯算法產生相應的冗余塊。塊數據服務是運行在每個存儲節點服務器上的塊數據管理程序，負責使用存儲服務器上的磁盤空間存儲文件數據塊，并實現相應的編解碼功能。相比較傳統業界的云存儲采用塊數據簡單備份冗余容錯機制，編解碼容錯方式大大降低了硬件資源冗余度，提高了磁盤利用率

25、。由一對主備元數據服務器及其所管理的塊數據服務器管理節點設備及其所提供的存儲空間稱為一個卷。卷管理服務器負責將多個卷虛擬化整合，對外提供統一的整體訪問云存儲空間。文件系統采用中心服務器模式分布式存儲架構，控制流與數據流分離，通過增加存儲節點系統采用自動注冊機制，實現系統高可伸縮性，增加或減少存儲節點規模，不影響系統正常提供存儲訪問服務。該系統架構實現了統一調度，負載均衡和流量自動分擔功能，多個存儲節點同時對外提供數據流服務，系統根據磁盤空間使用比例進行資源優化配置。同時在多個不同的存儲節點之間實現根據空間比例進行優化配置，數據優先存儲的空間利用比例相對較低的磁盤或存儲服務器上。平臺分布式文件系

26、統具有自動冗余重建功能，確保損壞的數據塊能夠被解碼或編碼后存儲到在線的正常的存儲服務器節點上。存儲訪問接口平臺分布式文件系統提供符合POSIX規范的文件系統訪問接口。支持Linux、Windows、MaxOS X等操作系統平臺。可將云存儲系統提供的存儲空間掛接為本地目錄或本地盤符來使用。用戶操作云存儲空間和操作本地文件相同。另外平臺提供專用的高速存取訪問API接口，供性能要求很高的高端應用程序對接使用。管理監控中心管理監控中心為系統管理員配置和維護平臺云存儲資源管理系統的有效工具，充分體現了系統的可維護性。管理監控中心提供帳戶管理、設備管理、系統監控、卷管理、告警管理、故障管理等功能。以下為部

27、分系統管理界面。設備管理系統監控告警信息告警配置告警日志故障處理卷管理帳戶管理添加帳戶Jobkeeper系統基本組成Jobkeeper的系統架構如下圖所示：上圖中對Jobkeeper進行了分層，對每層進行具體闡述虛擬化資源層：將機器進行虛擬化，形成更大范圍的服務集群。存儲層：存儲數據的處理結果集或其他中間結果集的單元。數據處理層：獨立的數據處理程序，是對不同需求數據的統一處理方案，由JobKeeper調度平臺進行統一的配置管理。業務層：對于應用層的相關功能的業務化，數字化處理，用于將應用層的需求任務進行規則化劃分，形成統一的處理化模式。應用層：一組用于管理和結果反饋的顯示組件。是整個系統面向用

28、戶和開發人員的基礎承載。JobKeeper的任務分發流程如下圖所示： JobKeeper任務分發流程圖當用戶在應用層下發任務給管理節點，管理節點調度機器采集機器節點的信息，根據具體的算法選取最優節點并分發任務，接下來具體的處理節點接收到任務并處理同時將結果返回給管理節點，管理節點整理匯總處理結果，而后返回給應用層。服務器節點組：負責對處理節點的系統信息以及任務處理信息進行實時的跟蹤和保存，對應的信息鏡像存儲在基于平臺或者NFS服務的存儲系統上。處理節點組：通過RPC的遠程調用獲取各自節點的任務處理目標，并實時的和處理節點上的任務處理目標進行對比，控制程序的執行和結束。處理節點組會在一個設定的心

29、跳間隔內主動的和管理節點組聯系一次，報告節點存活狀態。系統安全性設計安全保障體系框架NSA提出的信息安全保障技術框架（IATF），如下圖所示。IATF依據“深度防護戰略”理論，要求從整體、過程的角度看待信息安全問題，強調人、技術、操作這三個核心原則，關注四個層次的安全保障：保護網絡和基礎設施、保護邊界、保護計算環境、支撐基礎設施。 圖表 基于深度防護戰略的IATF模型IATF模型從深度防護戰略出發，強調人、技術和操作三個要素：人：人是信息的主體，是信息系統的擁有者、管理者和使用者，是信息保障體系的核心，是第一位的要素，同時也是最脆弱的。正是基于這樣的認識，安全組織和安全管理在安全保障體系中是第

30、一位的，要建設信息安全保障體系，首先必須建立安全組織和安全管理，包括組織管理、技術管理和操作管理等多個方面。技術：技術是實現信息安全保障的重要手段，信息安全保障體系所應具備的各項安全服務就是通過技術機制來實現的。當然IATF所指的技術是防護、檢測、響應、恢復并重的、動態的技術體系。操作：也可稱之“運行”，它體現了安全保障體系的主動防御，如果說技術的構成是被動的，那操作和流程就是將各方面技術緊密結合在一起的主動過程，運行保障至少包括安全評估、入侵檢測、安全審計、安全監控、響應恢復等內容。信息安全保障體系的實現就是通過建立安全組織、安全管理和防護技術體系，協調組織、技術、運作三者之間的關系，明確技

31、術實施和安全操作中技術人員的安全職責，從網絡和基礎設施、區域邊界、計算環境、支撐基礎設施等多層次保護，從而達到對安全風險的及時發現和有效控制，提高安全問題發生時的反應速度和恢復能力，增強網絡與信息的整體安全保障能力。對于云計算安全參考模型，云安全聯盟CSA（Cloud Security Alliance）提出了基于3種基本云服務的層次性及其依賴關系的安全參考模型,并實現了從云服務模型到安全控制模型的映射。該模型顯示PaaS位于IaaS之上,SaaS位于PaaS之上。該模型的重要特點是供應商所在的等級越低,云服務用戶所要承擔的安全能力和管理職責就越多。 根據資源或服務的管理權、所有權和資源物理位

32、置的不同,CSA也給出了不同的云部署模型的可能實現方式及其不同部署模式下共享云服務的消費者之間的信任關系,如下圖所示。圖表 云部署模型的實現此圖顯示,對于私有云和社區云,有多種實現方式,可以和公共云一樣,由第三方擁有和管理并提供場外服務（off-premises）,所不同的是共享云服務的消費者群體之間具有信任關系,局限于組織內部和可信任的群體之間。 對于每一種云部署實現方式,都可以提供3種基本的云服務。云部署實現的不同方式和基本云服務的組合構成不同的云服務消費模式。結合云服務安全參考模型,可以確定不同的云服務消費模式下供應商和用戶的安全控制范圍和責任,用戶評估和比較不同云服務消費模式的風險及現

33、有安全控制與要求的安全控制之間的差距,做出合理的決策。云計算平臺的多級信任保護云計算可信平臺實現系統平臺（計算環境）認證、應用系統完整性認證、分布式資源信任認證和用戶身份認證4個層次。多層信任保護的具體結構如下圖所示。圖表 多級信任保護在上圖中，平臺認證是基礎，為其他3種認證提供一個可靠的計算環境。平臺認證、應用認證、資源認證和用戶認證都通過統一的證書機制來實現。（1）云平臺信任保護由于TPM（trust platform module）規范能夠支持現有的公鑰基礎設施，并且TPM內部的認證密鑰和64位物理唯一序列號都能很好地實現自身和平臺的綁定。因此可信平臺之間的信任關系可以借助基于可信第三方

34、的證書機制來保障。即每一個節點將能夠代表自身特征的關鍵信息以可靠地方式提交到可信第三方（如CA中心），可信第三方在核實這些數據的真實性和完整性后對其簽名，并為其頒發一個平臺證書。此后，該平臺在和其他平臺通信時可以出示該證書，以表明自己的合法身份。平臺在向可信第三方提交平臺信息和驗證其他平臺證書合法性時，都需要借助TPM的硬件支持。在下圖所示的實例中，云平臺A和B都從證書頒發中心獲得自己的平臺證書。當B請求與A建立連接并向A出示自己的證書后，A借助TPM驗證B出示的證書的有效性。圖表 基于可信第三方的平臺認證為了確保云端用戶訪問云平臺的可信性，并確保遠程節點具有期望的完全保障條件，基于可信計算平

35、臺的多級信任保護方法構造包含下表中各種主要因素的平臺證書。數據名稱數據類型數據說明Cert_NumChar證書編號Cert_TypeShort證書類型Cert_DistributeTimeByte20頒發時間Cert_LimitTimeByte20有效期限TPM_IDByte8TPM序列號Hardware_CodeByte20平臺硬件標識Software_CodeByte20平臺軟件標識SecureComponent_CodeByte20安全組織組件標識CA_SignatureByte128CA簽名信息圖表 主要因素平臺證書在圖中，TPM和端系統唯一綁定；硬件標識碼代表了端系統中各種硬件設備的

36、完整性信息，包括CPU序列號、主板型號、硬盤序列號、內存容量等；軟件標識碼代表了端系統中包含操作系統版本、補丁、主要服務等軟件完整性信息；安全組件標識碼是各種安全組件的完整性度量結果，包括防火墻類型、安全補丁、防病毒軟件名稱等。為了獲取這些數據的完整性度量結果，采用Hash函數對系統中的硬件標識信息、軟件版本信息或安全組件描述信息進行計算，得出一個代表該系統相關信息完整性的度量值。此處，選擇SHA-1算法作為完整性度量函數。簽名信息是可信第三方對證書內容的數字簽名，簽名信息的存在確保了證書的合法性和不可篡改性。（2）應用信任保護有了云平臺認證，用戶就能斷言遠程協作者在確定的節點和環境中進行工作

37、。但在網絡計算等復雜應用中，一個節點可能承載了多個應用系統、擔負著多個計算任務。所以，需要確保單個應用系統不同部分間（如客戶端和服務器端）的可信。Seshadri等人研究了代碼的遠程完整性驗證方法。該方法從數據完整性的角度解決了授權執行的遠程應用的可信性。借鑒他的思想，采用認證應用系統中進程完整性的辦法對應用系統進行信任保護。即端系統控制各個應用的進程，只有通過完整性認證并授權執行的進程才能被啟動。為此，系統為每個重要的分布式應用定義若干個進行完整性證書，證書的主要內容如下表所示。數據名稱數據類型數據說明Process_IDByte20進程IDProcess_IntegrityByte20完整

38、性度量值TPM_SignByte20TPM簽名信息在圖中，進程完整性度量值是采用單向散列函數對進程代碼進行計算后得出的值。進程完整性證書中。進程完整性認證可以確保遠程協作進程的可信性，一定程度上降低病毒和木馬進行插入攻擊的風險。（3）資源信任保護多級信任保護方法仍然采用證書機制實現對資源的信任保護，即端系統基于TPM給平臺中共享的網絡資源頒發完整性證書并簽名。其他對等的端系統需要訪問該資源時，可以驗證該證書的合法性并從證書中獲悉資源的完整性度量數據。由于采用單向散列函數計算出的資源完整性度量值能夠代表該資源的可信性，因此遠程用戶可以據此決定是否訪問該網絡資源。考慮單純采用單向散列函數計算資源的

39、完整性消耗的時間過長，實際實現時根據資源可信要求的不同采取了一些靈活的措施。如一些可信要求不高的資源文件，只針對資源文件的基本屬性或按樣條規則抽出部分數據進行完整性度量；資源完整性證書的主要數據成員如下表所示。數據名稱數據類型數據說明Process_IDByte20資源標識IDProcess_IntegrityByte20資源完整性信息TPM_SignByte20TPM簽名信息（4）用戶信任保護用戶信任保護的需求在現有分布式應用中已經普遍存在，但現有基于身份認證的用戶信任保護方法僅僅針對用戶實體進行認證，無法將用戶實體和計算環境以及用戶的物理存在性聯系起來。基于可信平臺的多級信任保護方法在系統

40、平臺認證和應用認證的基礎上進一步進行用戶身份認證，從而能夠將系統中的用戶鎖定到具體的計算平臺和具體的應用系統。多級信任保護方法中的用戶身份證書的主要數據成員如下表所示。數據名稱數據類型數據說明User_IDByte16用戶IDApplication_IDByte16應用IDPlatform_IDByte16平臺IDApp_SignByte16應用簽名TPM_SignByte16TPM簽名在上表中，用戶ID是系統中用戶的惟一標識，可以使用用戶編號（用戶名稱）或者用戶擁有的智能卡（SKEY）的序列號；所屬應用ID是用戶所屬應用的惟一標識，可以使用應用的完整性度量值來代替（單進程應用可以使用進程的完

41、整性數據代替，多進程應用可以將各個進程完整性度量數據拼接后，計算出新的整個應用的完整性度量數據）；平臺ID是創建該用戶的端系統標識，可以使用和平臺綁定的TPM的惟一序列號。基于多級信任保護的訪問控制用戶管理與權限控制子系統的接口關系如下圖所示，各模塊間接口關系如下：身份服務模塊在用戶提交進入系統的申請后向身份管理系統模塊提交用戶信息和身份申請；身份管理系統模塊在確認用戶信息后將身份管理指令和身份信息反饋至身份服務模塊；認證服務模塊對用戶身份進行驗證，確認用戶合法性；訪問控制模塊接收用戶的授權請求后，向授權管理系統模塊提交用戶授權和相關信息；授權管理系統模塊根據用戶信息（如用戶所對應角色、所在安

42、全域等）為用戶分配相應的權限或回收相應權限將結果反饋給訪問控制模塊；訪問控制模塊得到用戶的權限信息后根據信息的內容和用戶請求執行需要的具體操作。數據隔離、數據校驗（防篡改）、數據加密和數據保護模塊提供對存儲數據的安全保護。圖表 云存儲安全子系統接口關系圖在云平臺中，用戶有不同的訪問權限，針對不同權限的用戶可以設定不同等級的操作。同時存儲在底層資源池中的資源也同樣劃分為不同的安全等級，不同等級的資源，訪問途徑是不相同的。本項目提出了基于可信平臺的多級信任保護方法，其主要目標是能夠認證訪問云平臺的應用（進程）、資源和用戶的可信性，從而能夠非常方便地服務于多級訪問控制技術，為其提供良好的基礎。簡單地

43、，可以將系統中的資源按可信性需求程度分為高、中和低3個等級。資源的可信要求越高，對訪問該資源的用戶的可信性也要求越高。具體流程如下圖所示：圖表 基于多級信任保護的多級訪問控制流程為了更好的保護虛擬資源池的數據安全，首先要建立一個可信的資源訪問控制，可以利用網閘和訪問控制器建立一套監控機制，對訪問資源池的請求進行監督，只允許外部連接通過專用的協議進行訪問，而對其它非可信的訪問一律拒絕，以防止惡意的非法入侵和攻擊，包括漏洞攻擊、DDoS攻擊和帶寬攻擊等，建立一個數據安全交換平臺，如下圖所示。圖表 數據安全交換平臺具體實現方式包括：會話終止：請求端通過網閘與資源池建立連接時，網閘的對外網絡接口會通過

44、模擬應用的服務器端，終止網絡之間的會話連接，這樣可確保在不可信和可信網絡之間沒有一條激活的會話連接；協議安全檢查：對來自連接的數據包進行基于內部RFC的協議分析，也可以對某些協議進行動態分析，檢查是否有攻擊成分；數據抽取和內部封裝：在協議檢查同時，將協議分析后的數據包中的數據提取出來，然后將數據和安全協議一起通過特定的格式壓縮、數據封裝轉化成網閘另一端能接受的格式；基于安全策略的決策審查：安全策略決策是運行在訪問控制器上，由系統管理員定義。它分析外部來的數據，主要是源地址、目的地址以及協議等信息，并且和規則庫進行匹配，看是否允許通過或丟棄；編碼與解碼：對靜態的數據塊進行編碼，編碼是相對復雜而且

45、基于隨機關鍵字的。一旦編碼，則打亂了數據或命令的原有格式，使數據中可能攜帶的可執行惡意代碼失效，阻止惡意程序執行。一旦數據經過了內容檢測且確認是安全的，它就被解碼，準備發送到內部網絡；會話生成內部服務器模擬應用的客戶端，將經檢測過的數據發送到內部網絡，和內部網絡上真正的應用服務器建立一個新的連接，接著生成符合RFC協議的新通信包。同時，通過外部集成入侵檢測系統IDS，對網絡通信進行安全審計，及時發現和追蹤各類非法連接行為；通過外部集成的負載均衡設備，為訪問用戶提供虛擬IP地址，保證物理機器對用戶不可見，避免非法用戶對真實物理機的直接訪問，避免對物理機的可能操作動作。云平臺安全審計云平臺安全審計

46、任務由分布于網絡各處的功能單元協作完成，這些單元還能在更高層次結構上進一步擴展，從而能夠適應網絡規模的擴大。云安全審計體系結構如下圖所示。圖表 云存儲安全審計體系結構它由三部分組成：主機代理模塊：在受監視系統中作為后臺進程運行的審計信息收集模塊。主要目的是收集主機上與安全相關的事件信息，并將數據傳送給中央管理者。局域網監視器代理模塊：主要分析局域網通訊流量，根據需要將結果報告給中央管理者。中央管理者模塊：接收包括來自局域網監視器和主機代理的數據和報告，控制整個系統的通信信息，對接收到的數據進行分析。在云安全審計體系結構中，代理截獲審計收集系統生成的審計記錄，應用過濾器去掉與安全無關的記錄，然后

47、將這些記錄轉化成一種標準格式以實現互操作。然后，代理中的分析模塊分析記錄，并與該用戶的歷史映像相比較，當檢測出異常時，向中央管理者報警。局域網監視器代理審計主機與主機之間的連接以及使用的服務和通訊量的大小，以查找出顯著的事件，如網絡負載的突然改變、安全相關服務的使用等。對于安全審計系統來說，數據源可以分為三類：基于主機、基于目標、基于網絡，下面分別對每類來源進行論述。（1）基于主機的數據源基于主機（包括虛擬機）的數據有以下四類：操作系統日志、系統日志、應用日志和基于目標的信息。（2）基于目標的數據源評估出系統中關鍵的或是有特殊價值的對象，針對每一個對象制定信息收集和監視機制，該對象即為審計的目

48、標；對于審計目標的每一次狀態轉變，與系統的安全策略進行比較，所出現的任何異常都進行記錄或響應。最常見的基于目標的審計技術是完整性校驗，其審計對象多為文件。采用消息摘要算法，計算需要保護的系統對象（如關鍵文件）的校驗值，并存儲在安全區域。周期性地對目標進行檢查，可以發現目標是否被改變，從而提供一定級別的保護。（3）基于網絡的數據源網絡數據源的基本原理是：當網絡數據流在網段中傳播時，采用特殊的數據提取技術，收取網絡中傳輸的數據，作為安全審計系統的數據源。在計算機網絡系統中，局域網普遍采用的是基于廣播機制的IEEE 802.3協議，即以太網（Ethernet）協議。該協議保證傳輸的數據包能被同一沖突

49、域內的所有主機接收，基于網絡的安全審計正是利用了以太網的這一特性。安全審計方法描述：為系統描述方便，用T表示安全服務器，與外部網絡隔離，它的通信安全性可由各種方法實現，如抵賴的令牌、VPN安全信道、SSL安全信道等，如內部網絡中的安全服務器、安全的電子證據收集設備或安全的中央服務器等；用U表示不安全的系統，容易受到攻擊卻記錄著日志的計算機系統，它在物理位置上并不安全，也就是說它是接入網絡的，也沒有有效的防御措施來確保不被攻擊者控制，如個人PC、防火墻、入侵檢測系統或其它應用系統等；用V表示某些授權用戶使用的計算機，安全性介于U和T之間，它能被信任查看某些日志記錄，但不能修改記錄，也就是說并不支

50、持所有的操作，如內部工作站等。本系統創建新的安全日志文件時，由U隨機產生初始認證密鑰，并由安全信道發送到T保存。U產生原始日志信息，通過多種加密的標準工具對原始日志的每條記錄進行保護后寫入安全審計日志文件中，并定期將安全審計日志文件備份到T中保存。安全審計時，T發送認證碼給V，指定V查看或審計U和T中的日志文件的部分日志記錄，也可由T直接對U中的日志文件進行安全審計，出現可疑信息時與T中的備份日志數據進行比較，發現確實不一致的則可初步判斷U可能遭受攻擊。安全日志審計系統結構如下圖所示。圖表 安全日志審計系統結構圖U開始創建日志文件時與安全的認證系統T共享一個密鑰，用這個密鑰創建日志文件。對于分

51、布式安全審計系統的具體實現來說，應用Agent技術是一個較好的解決方案，該技術已經在一些實際的安全審計系統中得到了應用。Agent最早起源于人工智能，現廣泛地應用于人工智能、網絡管理、軟件工程等領域。我們將Agent（代理）定義為“一個自治的實體，它能夠感知環境，并且對外界的信息做出判斷和推理，來控制自己的決策和行動，以便完成一定的任務”。基于Agent的安全審計系統是將Agent分布于系統的關鍵點上，包括提供各項服務的服務器、重要的工作站、內部網關和防火墻上，完成大部分安全審計和響應任務。由于代理本身具有自治性，可以針對特定的應用環境編程和配置，使得代理占用系統資源最小；在將代理放入具體復雜

52、環境前可以對它進行獨立測試；同時通過Agent間的有限交互（包括數據和控制信息），可以獲得更復雜的信息，有利于解決網絡中的協作入侵活動。安全審計中Agent通過探查所在的系統的日志文件，捕獲網絡數據包或其他的信息源獲取數據。 此外，將審計任務分配到多臺計算機上有利于減少監控計算機的負荷，而且能提高系統的處理速度和效率，提高系統的實時性；最后，Agent可以自動升級，而且對系統的其他部分保持透明。工作機制數據寫入機制數據寫入過程參考下圖：客戶端向元數據服務器請求寫入文件數據，元數據服務器返回寫入服務器列表；客戶端進行文件切塊寫入有塊數據服務器；客戶端每寫入一定量的塊數據后，通知元數據服務器，由元

53、數據服務器啟動一個編碼任務，進行編碼；而客戶端繼續寫數據，真到寫完成為止；元數據服務器調度一個或多個塊數據服務器進行編碼任務；被調度的塊數據服務器，獲取需要的原始信息塊組進行編碼，產生冗余數據塊；數據讀出機制數據讀出過程參考下圖：客戶端向元數據服務器請求讀出文件數據，元數據服務器返回數據塊位置列表；客戶端進行數據塊讀出；客戶端進行數據塊校驗；對未能讀出的數據塊或無效塊通過同編碼組內其它數據塊進行解碼，獲得完整正解的文件數據。關鍵技術負載自動均衡技術云存儲系統采用中心服務器模式來管理整個云存儲文件系統，所有元數據均保存在主管理服務器上，文件則劃分為多個節點存儲在不同的節點服務器上。主卷管理服務器

54、維護了一個統一的命名空間，同時掌握整個系統內節點服務器的使用情況，當客戶端向元數據服務器發送數據讀寫的請求時，元數據服務器根據節點服務器的磁盤使用情況、網絡負擔等情況，選擇負擔最輕的節點服務器對外提供服務，自動均衡負載負擔。另外，當某有一個節點服務器因為機器故障或者其他原因造成離線時，主卷管理服務器會將此機器自動屏蔽掉，不再將此節點服務器提供給客戶端使用，同時存儲在此節點服務器上的數據也會自動的編碼冗余到其他可用的節點服務器上，自動屏蔽節點服務器故障對系統的影響。高速并發訪問技術客戶端在訪問云存儲時，首先訪問主卷管理服務器節點，獲取將要與之進行交互的節點服務器信息，然后直接訪問這些節點服務器完

55、成數據存取。客戶端與主卷管理服務器之間只有控制流，而無數據流，這樣就極大地降低了主卷管理服務器的負載，使之不成為系統性能的一個瓶頸。客戶端與節點服務器之間直接傳輸數據流，同時由于文件被分成多個節點進行分布式存儲，客戶端可以同時訪問多個節點服務器，從而使得整個系統的I/O高度并行，系統整體性能得到提高。通常情況下，系統的整體吞吐率與節點服務器的數量呈正比。高可靠性保證技術云存儲系統對于元數據，通過操作日志來提供容錯功能，當主管理服務器發生故障時，在磁盤數據保存完好的情況下，可以迅速恢復以上元數據。為了防止主管理服務器徹底死機的情況，還提供了主管理服務器遠程的實時備份，這樣在當前的主管理服務器出現

56、故障無法工作的時候，另外一臺備管理服務器可以迅速接替其工作。對于節點服務器，采用編解碼的方式實現容錯，分布存儲在不同的節點服務器上。數據塊的分布策略考慮了多種因素，如網絡的拓撲、機架的分布、磁盤的利用率等。在其后的過程中，如果相關的數據塊出現丟失或不可恢復等狀況，主管理服務器會自動將該數據塊編解碼冗余到其他節點服務器，從而確保數據塊的一定的冗余容錯，進行自動冗余容錯重建。在有多個節點服務器的情況下，任意損失一個節點，數據都不會丟失，而且隨著節點服務器數目的增多，整個系統的可靠性越大。高可用技術云存儲系統中的所有服務節點均是通過網絡連接在一起，由于采用了高可靠的容錯機制，系統增減節點不必停止服務，可在線增減存儲節點，存儲節點和元數據節點間通過注冊管理機制自適應管理，實現自動伸縮。元數據服務器采用主備雙機熱備技術，主機故障，備機自動接替其工作，對外服務不停止；存儲節點采用編解碼冗余備份機制，如采用4:2編碼容錯，任意損失兩個節點，數據不丟失，服