1、計算機科學與技術學院09級11班薛守來53091104海量數據存儲方式概述隨著信息技術的飛速發展，數據爆炸已成為一個突出問題，海量數據存儲和管理技術已經是近幾年的研究熱點之一。傳統的數據存儲與管理方式已經很難滿足海量數據存儲在在容量、性能、存儲效率和安全性等方面的要求。而且大部分數據采集系統，比如雷達回波信號數據采集、數字視頻信號處理及高碼率衛星數據信號的采集等，都要求對數據進行實時的傳輸與存儲，這就對數據采集存儲系統的采集速率、傳輸速度、存儲速度、存儲容量以及數據存儲的可靠性等方面提出了更高的要求。因此，對高速海量數據存儲技術的研究就越發顯得重要。近年來，海量數據存儲技術發展迅速，各種各樣的

2、存儲系統不斷涌現。下面就從存儲介質、存儲模式兩個方面對海量數據存儲技術進行簡要的介紹。海量存儲介質主要有磁帶、光盤、硬盤三大類，并在這三種儲介質的基礎上分別構成了磁帶機、光盤庫、磁盤陣列三種主要的存儲設備。止匕外，固態存儲和全息存儲是未來高速海量數據存儲的重要發展趨勢。磁帶機以其廉價的優勢應用普遍，光盤庫適用于保存多媒體數據和用于聯機檢索，應用也越來越廣泛，磁盤陣列由于能夠提供較高的存取速度和數據可靠性而成為實現高速海量數據存儲的主要方式。從數據存儲的模式來看，海量存儲技術可以分為DAS（DirectAttachedStorage,直接附加存儲）和網絡存儲兩種，其中網絡存儲又可以分為NAS（N

3、etworkAttachedstorage,網絡附加存儲）和SAN（StorageAreaNet、Work,存儲區域網絡）。（1）DASR用的方式是外部數據存儲設備直接掛接在服務器內部總線上（這樣I/8占用系統帶寬），存儲設備是服務器結構的一部分，這種方案是傳統的存儲方式，主要在個人計算機和小型服務器上使用，只能滿足數據存儲量較低的應用,不直接支持多機共享存儲。DASfNASR大的不同便是，DASS過服務器與網絡連接，NASft接與網絡連接。磁帶機與磁盤陣列系統就是典型的DASS備。（2）NAS實際上是一個網絡的附加存儲設備，它通過集線器或交換機直接連接在網絡上，通過TCFYIP協議進行通信，

4、面向消息傳遞，以文件的方式進行數據的傳輸。NA添統由兩個突出的特點，其一是，物理連接上將存儲器直接連到網絡上，然后再掛存服務器后端，避免了給服務器增加I/O®載；其二是，技術上通過專用軟件減少磁頭臂機械移動的次數，克服由此造成的延時。但從NAS勺構成看，其路徑在本質上仍然是傳統的服務器存儲設備I/OT式。(3)SAN是以數據存儲為中心，采用可伸縮的網絡拓撲結構，通過具有高速光纖通道的直接連接方式，提供SA曬部任意節點之間的多路可選擇的數據交換，并將數據存儲管理集中在相對獨立的存儲區域網內，實現最大限度的數據共享和數據優化管理，以及系統的無縫擴充。從數據存儲系統的組成上看，無論是DAS

5、NAS5是SAN其存儲系統都可以分為三個部分：首先是磁盤陣列，它是存儲系統的基礎，是完成數據存儲的基本保證；其次是連接和網絡子系統，通過它們實現了一個或多個磁盤陣列與服務器之間的連接；最后是存儲管理軟件，在系統和應用級上，實現多個服務器共享、防災等存儲管理任務。在對海量存儲的研究中，下面幾個方面是目前研究的重點：一是分布式存儲與P2"f儲，利用對等網絡實現數據存儲，其目標是提供高效率的、魯棒的和負載平衡的文件存取功能；二是智能存儲系統，要求存儲系統具備可用性、可維護性和自進化性，能夠提供主動信息采集、主動信息分析以及主動調整等功能，目標是滿足服務質量QoSS求，盡量減少入工參與以及系

6、統性能的自動提高；要是系統容災機制，即建立異地存儲系統，該系統是本地存儲系統的可用副本，目的是最大限度的保障存儲安全；四是數據網格，剩用網格中所有節點的能力，為網格環境中的數據文件提供高速、可靠的存儲管理服務。網格是把整個因特網整合成一臺臣大的超級計算機，實現計算資源、存儲資源、數據資源、信息資源、知識資源、專家資源的全面共享。當然，網格的根本特征是資源共享而不是它的規模，也可以構造地區性的網格，如企事業單位內部網格、局域網網格、甚至家庭網格和個人網格，透明而且高效率地提供各種服務。網格技術的研究目標是要實現網絡虛擬環境下高性能資源的共享和協同工作，解決各種分散的資源的一致使用問題?？茖W計算及

7、商業應用領域的數據呈現爆炸式增長，科學計算和商業應用越來越趨向于以計算為中心的模式，網格技術的發展為收集、組織、存儲、分析、可視億和分發大容量數據對象提供了新的實現方法。而網格上的大量數據有必要使用數據庫系統來管理，原因是許多網格應用要用到結構化的數據，并且網格本身也需要用結構化的數據來實現其運行和管理。因此，在利用數據網格解決海量數據存儲問題時，有必要使用數據庫對數據進行管理。這就面臨著如何把數據庫技術應用到網格中的問題。目前有許多有關如何將數據庫技術和數據網格技術結合起來的研究，主要有兩個方向：一是網格數據庫方向，即如何在網格中集成數據庫系統，也就是考慮將數據庫管理系統納入到網格體系中，建

8、立網格環境來共享數據庫中的資源；另一個是數據庫網格方向，即如何把數據庫技術應用在網格中，也就是考慮如何在網格中使用數據庫發展所積累的技術，從而構建功能更加強大的網格環境。這兩個方向在網格數據庫的研究方面是相輔相成的，網格數據庫強調的是數據庫在數據網格環境下的應用，其主要研究內容是如何將分布異構的數據庫有效的集成到網格環境中，從而實現海量數據在網格環境下的高性能存儲，并基于中間件技術為用戶提供更好的服務。一方面使用數據網格技術，能夠滿足數據存儲與處理在容量、性能、存儲效率和安全性等方面的要求；另一方面使用數據庫技術，對數據進行結構化管理，為上述問題提供了一個較好的解決方案。網格數據庫已成為解決海

9、量數據存儲、訪問與管理的一種重要途徑。網格的主要特點有共享性、分布性、自相似性、動態性、多樣性、自治性以及管理的多重性。數據網格是網格環境下共享和管理存儲資源和分布式數據資源的大規模、可擴展的框架結構，實現了安全、可靠和有效的網格環境中的數據傳輸以及訪問、復制等操作。它適應數據密集型應用對網格環境下數據共享和處理的需要，為用戶提供了透明訪闖遠程異構數據資源的楓制。數據網格為解決巨大的數據量存儲問題提供了新的方法，例如，利用數據網格可以將歐洲空間局地面站的數據分散到整個歐洲范圍進行保存，充分利用存儲資源。數據網格還提供了靈活的、基于分層的一組接口模型，使得多個實現可以共存，而每個接網的實現集中于

10、不同的特性如性能和可維持性。數據網格的各組件具有良好的定義并且是松耦合的，因此不同的組織能夠把他們自己的某個實現及時而又容易的插入其中，從而使得數據密集型的高性能計算和大量的共享數據密集型的事務處理及科學研究成為可能。它在電子商務、數據倉庫和數據挖掘、高能物理、生物信息科學等科學工程領域發揮著越來越重要的作用。數據網格主要提供存儲系統及數據管理兩大功能。存儲系統的功能主要是為存儲在存儲系統上的數據提供一個基本的訪問和管理機制，提供給用戶一個統一的數據建立、刪除、訪問以及修改等操作的抽象，因此用戶不必關心存儲介質的異構性和它們的物理位置，從而實現海量數據的存儲；而數據管理是對所存儲的數據進行管理，包括數據的傳送、訪問和復制等操作，側重點為數據管理，提供與數據資源有關的各種服務。目前海量數據存儲技術