報告人：韓昭核探測器與核電子學國家重點實驗室（科大部）2013年5月3日1石油地震勘探及其大數據快速存儲技術研究介紹

2石油地震勘探簡介石油地震勘探是指利用儀器檢測、記錄人工激發地震的反射波、折射波的傳播時間、振幅、波形等，對地層界面、巖土性質、地質構造進行成像分析。人造地震是現在最重要的一種油氣勘探方法。3石油地震勘探簡介地震石油勘探的特點與發展趨勢：1、在地震數據處理中，利用檢波器采集的數據對地質結構成像分析。地震數據有很大的噪聲，檢波器排布越密集，可以得到越準確的地質結構。2、為了勘探更深處的油氣，探測設備覆蓋的范圍越來越廣。3、因為上述原因，現在地震勘探使用的地震儀器，達到了萬道量級，有些勘探公司已經做到了十萬道，并且提出了百萬道的目標。4石油地震勘探中要解決的問題對如此大規模的地震勘探設備，在前端的數據采集傳輸，后端的數據存取都要面臨很多問題1、數據采集傳輸中的問題（1）大量節點的管理（2）數據可靠傳輸（3）供電（4）低功耗（5）節點同步5石油地震勘探中要解決的問題2、數據存取處理中的問題（1）近年來處理器的能力隨著半導體工藝的發展進步很快，比如，主流PC的CPU主頻已經達到3GHz以上，服務器CPU大都達到十核以上。然而提供數據存儲的仍然是傳統的磁介質硬盤，它的性能卻提高很有限。很多文獻資料表明IO速度已經成為制約數據處理過程的一個瓶頸。（2）地震數據采集中，原始數據是記錄在磁帶中的，進行數據處理時，會將磁帶中的數據按一定的格式存儲在硬盤中。現階段由于檢波器數目的增大地球物理勘探所產生的數據量越來越大，大都達到了TB甚至PB的量級，這對于后端的大數據處理產生了巨大的壓力。在一些地震數據處理的過程中數據分發所用的時間已經和數據處理所花費的時間基本相當。（3）地震數據處理的過程中，需要對各種不同的數據組合進行讀取分析，大部分情況下，這些數據都離散的分散在文件中，并不是連續的，這些離散的數據會導致數據獲取的速度大大降低。（4）本人主要工作是解決這一部分的問題。6離散數據存取速度慢的原因事實上，硬盤讀出數據的速度并不慢，但受到機械運動因素的影響，尋道時間非常慢。對于8KB數據，數據讀取時間約為0.05ms平均尋道時間約為9ms平均尋道時間>>數據讀取時間對于機械式硬盤，最影響速度的是隨機訪問。然而地震的數據需要不同的組合，絕大部分是隨機的小數據訪問模式。解決辦法，多硬盤有效并行工作7磁盤陣列磁盤陣列（RedundantArraysofInexpensiveDisksRAID），利用數組方式來作磁盤組，在一定程度上實現了數據的分布存儲，可以達到并行，增加IO的作用。8傳統的地震數據存取方式以POSIX為代表的基于文件系統的存儲是現在大多數實驗中大數據的存儲模式。地震數據按照一定格式存儲在文件中，典型的訪問函數為open文件，seek到特定的位置，read一定長度的內容。POSIX標準是以一種流（stream）的串行的方式來訪問數據存儲區的。9磁盤陣列存在的問題磁盤陣列并沒有拋棄傳統的串行的文件系統存儲方式，每個硬盤并不知道自己的數據，這些需要上層的串行命令，并靠RAID控制器分發實現。而這一過程是串行的，在硬盤數量不斷增加的情況下，會成為阻礙性能的瓶頸。其次，RAID是一種通用的存儲設備，并不理解數據的含義，只是固定長度的切割，這也會造成性能的下降。因為磁盤陣列并沒有實現硬盤與硬盤之間的完全獨立，因此很難實現太大規模的并行。10Google提出的key-value存儲模式完全拋棄了POSIX的訪問模式，把每一個數據（value）打上一個key標簽，然后作分布式的存儲。需要訪問數據的時候以key為關鍵字進行檢索，可以同時有很多的客戶端同時響應，從而實現并發訪問。11Key-value面臨的最大問題因為與傳統的以文件系統為基礎的數據存儲方式差異太大，提出的主要應用對象是針對數據庫的應用。很多已經成熟的軟件應用無法直接使用key-value模式，即使重新移植風險也太大。這是因為key-value模式與傳統的數據存儲方式，底層操作差別太大，需要對原本成熟的應用程序進行大量修改。12我們提出的iSmartDisk方案基于key-value的思想，提出了iSmartDisk的分布式存儲模式，把實驗數據分布的存儲在用internet連接起來的具有CPU控制的硬盤上，訪問時，利用Key-value的方式，向各個節點分發需要的數據的標簽。所有節點并行的查找，提供自己的數據。在提供快速IO并發訪問的同時，對現有的大型應用程序保持兼容。13iSmartDisk初步測試結果系統測試結果，IO性能同節點數呈線性增長關系。在同傳統的建立在RAID的基礎上的文件系統的IO速度相比，在同樣的硬盤數目下，IO速度提高了8倍！現有RAID速度測試平臺：地空學院曙光服務器存儲設備：服務器26個計算節點上的硬盤測試方法：將數據文件按照相應的算法分布存儲在計算節點的硬盤上，然后根據需要讀取數據14iSmartDisk的特點iSmartDisk提出了把key-value分布式數據庫的存儲思想用于大型實驗數據的新存儲概念。實現了每個硬盤的完全獨立，所有的節點都是并行處理，正因如此，可以支持大量的并行。在key-value的基礎上還提出了通過算法實現無元數據（meta-data）的存儲模式，進一步加快隨機IO速度。利用虛擬文件的技術，在利用iSmartDisk的快速IO能力的同時保持了應用程序級的兼容。