淺談數(shù)據(jù)存儲管理

體積存儲管理技術(shù)得到越來越多的關(guān)注和應(yīng)用。隨著各行各業(yè)信息化程度的提高,企業(yè)數(shù)據(jù)急劇膨脹,尤其是近年來衛(wèi)星遙感技術(shù)的發(fā)展,海量數(shù)據(jù)存儲管理在國民經(jīng)濟中應(yīng)用的越來越廣泛。結(jié)合近年來從事的海量數(shù)據(jù)存儲管理研究及實際項目研發(fā),談?wù)労Ａ看鎯芾淼娜舾杉夹g(shù)。1網(wǎng)絡(luò)存儲的實現(xiàn)海量信息存儲早期采用大型服務(wù)器存儲,基本都是以服務(wù)器為中心的處理模式,使用直連存儲(DirectAttachedStorage),存儲設(shè)備(包括磁盤陣列,磁帶庫,光盤庫等)作為服務(wù)器的外設(shè)使用。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,服務(wù)器之間交換數(shù)據(jù)或向磁盤庫等存儲設(shè)備備份數(shù)據(jù)時,開始通過局域網(wǎng)進行,這主要依賴網(wǎng)絡(luò)附加存儲(NetworkAttachedStorage)技術(shù)來實現(xiàn)網(wǎng)絡(luò)存儲。NAS實際上使用TCP/IP協(xié)議的以太網(wǎng)文件服務(wù)器,它安裝優(yōu)化的文件系統(tǒng)和瘦操作系統(tǒng)(弱化計算功能,增強數(shù)據(jù)的安全管理)。NAS將存儲設(shè)備從服務(wù)器的后端移到通信網(wǎng)絡(luò)上來,具有成本低、易安裝、易管理、有效利用原有存儲設(shè)備等優(yōu)點,但這將占用大量的網(wǎng)絡(luò)開銷,嚴(yán)重影響網(wǎng)絡(luò)的整體性能。為了能夠共享大容量,高速度存儲設(shè)備,并且不占用局域網(wǎng)資源的海量信息傳輸和備份,就需要專用存儲區(qū)域網(wǎng)絡(luò)(StorageAreaNetwork)來實現(xiàn)。目前海量存儲系統(tǒng)大多采用SAN存儲架構(gòu)的文件共享系統(tǒng),所有服務(wù)器(客戶端)都以光纖通道(FibreChannel,簡稱FC)直接訪問盤陣上的共享文件系統(tǒng)(如圖1所示)。數(shù)據(jù)在存儲上是共享的,數(shù)據(jù)在任何一臺服務(wù)器(客戶端)上都可以直接通過FC鏈路進行訪問,無需考慮服務(wù)器(客戶端)的操作系統(tǒng)平臺,存儲區(qū)域網(wǎng)絡(luò)(SAN)避免了對傳統(tǒng)LAN帶寬的依賴和影響。SAN存儲架構(gòu)可以方便的通過擴展盤陣數(shù)量以達到擴展存儲容量的目的,且不影響數(shù)據(jù)共享效率。2存儲的技術(shù)在網(wǎng)絡(luò)存儲中的應(yīng)用分級存儲是當(dāng)今存儲策略中最有影響力的方案,它的主要意圖在于在幾乎不降低效率的同時,極大的降低存儲成本,是最具性價比的存儲策略。分級存儲又稱為數(shù)據(jù)生命周期管理,它的理論依據(jù)是數(shù)據(jù)的價值隨時間的推移而變化(一般是降低),并借鑒了計算機系統(tǒng)結(jié)構(gòu)設(shè)計的緩存/主存/硬盤的設(shè)計原理。通常采用分級存儲(也稱為分層存儲)技術(shù),將價值最大的數(shù)據(jù)保存在等級最高、性能最好的存儲資源上,以保證高性能、高可靠性,通常這部分?jǐn)?shù)據(jù)在所有存儲量中占的比例相對較小,但應(yīng)用頻繁,所要求的訪問實時性也較高;而對應(yīng)用不太頻繁的數(shù)據(jù),可以存儲在相對廉價的存儲資源上。根據(jù)需要可劃分為兩級、三級存儲,目前應(yīng)用較多的三級存儲:在線、近線、離線。在線設(shè)備一般采用性能較高的高端盤陣(例如光纖盤陣),近線設(shè)備一般采用普通的大容量盤陣(如SATA盤陣),離線設(shè)備一般采用磁帶庫設(shè)備。在需要離線數(shù)據(jù)的時候,可以將磁帶庫中的數(shù)據(jù)恢復(fù)到近線(或在線)設(shè)備上。分級存儲的技術(shù)保證了重要數(shù)據(jù)的高可用性,又最大程度的降低了整個存儲系統(tǒng)的成本,在工程應(yīng)用中被普遍采用。分級存儲技術(shù)需要遷移、回遷軟件的配合才能真正發(fā)揮作用,具體來講就是定時(如每天)或條件觸發(fā)(如存儲空間空閑率小于一定的閾值)遷移,按照算法(如存儲最久數(shù)據(jù)或或最久未訪問等)將滿足條件的數(shù)據(jù)遷移到低一級存儲設(shè)備上。如果要訪問離線數(shù)據(jù),還需要把相關(guān)數(shù)據(jù)恢復(fù)到在線設(shè)備上。技術(shù)實現(xiàn)路線既可以采用成熟的商業(yè)軟件,也可以根據(jù)業(yè)務(wù)具體情況自行研發(fā),還可以在封裝商業(yè)軟件的命令加入自身的業(yè)務(wù)處理邏輯。3效性不高,療效評價難由于在海量數(shù)據(jù)存儲管理系統(tǒng)中,每天都有大量的新數(shù)據(jù)到達(沒有節(jié)假日),且這些數(shù)據(jù)通常是根據(jù)上級數(shù)據(jù)產(chǎn)生系統(tǒng)不定時到達的,如果靠人工操作程序來完成數(shù)據(jù)的入庫歸檔工作,成本無疑太過巨大,效率低、容易出錯,且時效性不高。因此,數(shù)據(jù)自動化歸檔技術(shù)就成為海量存儲管理系統(tǒng)中的一個關(guān)鍵技術(shù),特別是針對衛(wèi)星數(shù)據(jù),要求接收處理后要及時入庫歸檔。自動化歸檔一般設(shè)計為后臺服務(wù)進程,開機即啟動,7×24小時隨服務(wù)器運行。自動化歸檔需要完成數(shù)據(jù)接收、數(shù)據(jù)解析、數(shù)據(jù)入庫、日志記錄、狀態(tài)反饋等工作。對于海量數(shù)據(jù)(尤其是大文件數(shù)據(jù)),一般不采取全部入關(guān)系數(shù)據(jù)庫的做法,這樣會使關(guān)系數(shù)據(jù)庫的庫體急劇膨脹,而適宜存儲在共享文件系統(tǒng)中。歸檔操作完成數(shù)據(jù)文件從接收區(qū)到數(shù)據(jù)存儲共享區(qū)的數(shù)據(jù)搬移,并從文件名、文件頭或?qū)ｉT的元數(shù)據(jù)文件中抽取出用于管理、查詢的元數(shù)據(jù)信息,把元數(shù)據(jù)信息插入到關(guān)系數(shù)據(jù)庫中,利用成熟的關(guān)系數(shù)據(jù)庫優(yōu)化性能以方便對這些數(shù)據(jù)的查詢、管理。4業(yè)務(wù)控制進程多將會出現(xiàn)分化,有利于統(tǒng)一監(jiān)視方式在一個完整的海量數(shù)據(jù)存儲管理系統(tǒng)中,通常包括數(shù)據(jù)接收、數(shù)據(jù)歸檔、數(shù)據(jù)備份、數(shù)據(jù)遷移(回遷)、數(shù)據(jù)輸出等多個后臺業(yè)務(wù)進程,這些業(yè)務(wù)進程各負(fù)其責(zé),共同完成一些業(yè)務(wù)流程。如果這些進程直接進行通信完成控制指令(反饋)的交互,則各個業(yè)務(wù)進程的通信工作就會顯得復(fù)雜,而且也不便于集中控制流程、掌握業(yè)務(wù)運行情況。因此在海量數(shù)據(jù)存儲管理系統(tǒng)中需要有一個業(yè)務(wù)控制進程,各個業(yè)務(wù)進程受業(yè)務(wù)控制進程的調(diào)度指揮,并把業(yè)務(wù)執(zhí)行情況反饋給業(yè)務(wù)控制進程,而不必關(guān)心負(fù)責(zé)自己的任務(wù)處理完后下一步該執(zhí)行什么任務(wù),業(yè)務(wù)控制進程負(fù)責(zé)接收各業(yè)務(wù)進程的狀態(tài)反饋,并根據(jù)狀態(tài)反饋決定接下來該向什么業(yè)務(wù)進程發(fā)送調(diào)度指令。這樣各業(yè)務(wù)進程之間避免了直接的耦合,各業(yè)務(wù)進程只負(fù)責(zé)和總指揮(業(yè)務(wù)調(diào)度控制進程)通信,業(yè)務(wù)控制進程不負(fù)責(zé)具體業(yè)務(wù),僅負(fù)責(zé)業(yè)務(wù)流程的控制,也有利于業(yè)務(wù)控制進程統(tǒng)一監(jiān)視記錄業(yè)務(wù)的執(zhí)行情況。對于需要人工控制干預(yù)(或發(fā)起業(yè)務(wù))的情況,也可由前臺界面把控制信息發(fā)送給業(yè)務(wù)控制進程,由業(yè)務(wù)控制進程調(diào)度相關(guān)的業(yè)務(wù)進程,并反饋執(zhí)行情況,這樣就避免了前臺界面與各個業(yè)務(wù)進程進行通信,降低了復(fù)雜度。常見的海量數(shù)據(jù)存儲管理系統(tǒng)業(yè)務(wù)流程如圖2所示。5多進程模式的實現(xiàn)在海量數(shù)據(jù)存儲管理系統(tǒng)中,為提高收發(fā)、歸檔、服務(wù)、備份等業(yè)務(wù)的處理能力,常采用并發(fā)設(shè)計。并發(fā)設(shè)計可以采用多線程和多進程兩種模式。一個業(yè)務(wù)處理可以采用單進程多線程的方式,也可以采用多進程的方式。前者由進程的主線程完成任務(wù)消息的接收,針對每個任務(wù),啟動一個線程進行業(yè)務(wù)處理,一次業(yè)務(wù)處理完畢,相應(yīng)的業(yè)務(wù)線程也就隨之結(jié)束。后者則由多個業(yè)務(wù)進程并發(fā)的從消息隊列中獲取任務(wù)消息(同一個消息可保證不會被取走兩次),分別進行處理。對于多進程的模式,需要有一個進程控制程序,根據(jù)任務(wù)的繁忙程度,負(fù)責(zé)啟動或停止相應(yīng)的業(yè)務(wù)進程。但作為系統(tǒng)業(yè)務(wù)中心的調(diào)度程序一般不采用并發(fā),而采用主備模式。6調(diào)整業(yè)務(wù)需求,及時上傳數(shù)據(jù)上傳海量數(shù)據(jù)存儲管理系統(tǒng)通常還包括對外提供數(shù)據(jù)服務(wù)的功能,這也是數(shù)據(jù)存儲管理系統(tǒng)發(fā)揮價值的關(guān)鍵所在。提供服務(wù)的方式一般包括以下幾種:API調(diào)用、訂單服務(wù)、實時推送等。API調(diào)用通常用于實時性要求高、使用方式靈活的場景下,API調(diào)用對使用者有一定的編程要求,編程者可在API的基礎(chǔ)上實現(xiàn)更復(fù)雜、更強大的功能。訂單服務(wù)由數(shù)據(jù)使用者通過網(wǎng)站填寫訂單,存儲管理系統(tǒng)接收到訂單后查詢數(shù)據(jù)庫,提取滿足條件的數(shù)據(jù),并提供給訂單提交者。實時推送主要針對少量對特定數(shù)據(jù)實時性要求高的場景,一旦接收到相關(guān)種類的數(shù)據(jù),就向數(shù)據(jù)使用者(或應(yīng)用系統(tǒng))推送對應(yīng)的數(shù)據(jù),使數(shù)據(jù)使用者在第一時間獲取到數(shù)據(jù)。使用何種服務(wù)模型要根據(jù)業(yè)務(wù)的情況具體分析,在大型的海量存儲管理系統(tǒng)中一般都同時采用多種數(shù)據(jù)服務(wù)模型,對不同的服務(wù)需求采用不同的服務(wù)模式,充分發(fā)揮每種服務(wù)模型的優(yōu)點。7存儲分布式海量數(shù)據(jù)存儲管理技術(shù)的發(fā)展如火如荼的進行中,海量存儲管理目前要面對的問題包括海量數(shù)據(jù)存儲管理數(shù)據(jù)量的持續(xù)增加、存儲管理業(yè)務(wù)的容錯處理、文件系統(tǒng)與關(guān)系數(shù)據(jù)庫的無縫連接等。目前海量存儲管理技術(shù)在在以下幾個方面面臨著重大的發(fā)展機遇:IPSAN技術(shù):將存儲和IP網(wǎng)絡(luò)相結(jié)合,使得用戶可以在IP網(wǎng)絡(luò)上傳輸塊級的存儲流量負(fù)載。IPSAN具有SAN的大部分優(yōu)點,成本卻遠低于SAN,且由于其存儲與訪問同時基于IP使得存儲、計算和網(wǎng)絡(luò)可以結(jié)為一體,為數(shù)據(jù)密集型的網(wǎng)格計算提供良好的基礎(chǔ)。對象存儲技術(shù):為了解決文件數(shù)量的增加而產(chǎn)生的,基本的存儲單元是對象而不是塊,對象存儲設(shè)備相對于塊設(shè)備具有更高的智能,對象是智能化、封裝的更好的塊。