數據管理與方案概 數據中心A的低優先級數據庫架 數據庫集群的部 數據中心B和C的低優先級數據庫架 數據中心B、C到A的數據同 硬件層的架構設 3.1容量估 3.2分析與策 3.2.1需求分 集群NAS簡 A、B、C數據中心的架 總體構 集群NAS方案的特 集群NAS所具備的增強功 集群NAS的參 數據與管理方案的總體指 數據與管理方案的價格測 數據與管理方案的特 數據管理與方案概勢、軟硬件產品的新產品成熟度等方面的內容，完成了A、B、C三個數據中心的集群NAS、SAN等先進的產品及技術，達到滿足PB級非結構化數據和管理，TB級結構化數據分析的設計目標。根據應急中心的海量和海量數特點，設計的集群NAS方案、并行數據庫分析集群方案、異地數據庫之間快速數據同步方案相結合形成一套集非結構化數據結構化數據管理與分析于一體的綜合與管理方案。上T批量非結構化數據的快速具有實時讀寫負載特性的事務與分析結合的上TPB級非結構化數據的彈性的問整個數據與管理軟硬件系統的高性價三個數據中心數據的和管理問題以下章節將對整個方案的設計做一個詳細的闡述。整個方案分成結數據庫層主要用于和管理數據中心A、B、C中的高優先級的結構化以及低優先級數據中的結構化數據而高優先級的非結構化數據于高優先級數據庫服務器本地磁盤的文件系統中，低優先級的非結構化數據存于后端集群NAS中檢索出非結構化的小文件或流文件之后應用程序再到文件系統上去或修改小文件和流文件。邏輯和結構如圖2-1讀讀讀讀讀讀讀讀讀讀讀備恢中心A備恢備恢S絡備恢備恢備恢中心B中心C中心AIP絡（與文海文件量件存小存儲文與）件流

集群網圖2-1三個中心的邏輯和架構高優先級數據的數據庫架構每條結構化數據對應一個非結構化文件,A、B、C三個數據中心都部分高優先級數據但是數據重要程度高，且與高優先級結構化數據對應的非結構化文件量不小約為00M1T分三個中心因此AC每個數據中心的高50.5T在高優先級數據管理架構中擬采用在每個數據中心部署一套雙機盤配RAID5，數據備份到的硬件中。2-22-2OracleDataguard，采用日志傳輸技術的方案通過在兩臺神通數服務器的對外提供數據務器的繼續進行與主服務器進行日志同步工作。客戶主數據主數據雙機熱從數據集群NAS網光纖交換光纖磁盤陣2-3結構化數據于數據庫中心高優先級非結構化數據在服務器的本地磁盤上，后端的NAS和SAN用于結構化和非結構化數據的備份。結構化數低優先級結構化數據的數據庫架根據ABC1結構化記錄從C匯總到A2日均千萬級結構化記錄每條約K。3周期性生成日報、周報、月報、年報，報表保存；可以估算：30300G，A1T。由于ATPC服務器是難以完成的，為此我A、B、C數據中心低優先級結構化數據的量級和特點，分別設計的架構數據中心A的低優先級數據庫架2-4Clusterware神通數據庫并行集群介128Shared-nothing架構每個數據節點不受共享磁盤的帶寬限制非單純的“只讀”操作，支INSERT、UPDATE，DELETE標準的聯接接口，支持JDBC，ODBC，ADO.NET數據庫集群的部客戶備用協調客戶備用協調集群NAS網光纖交換磁盤陣心跳主協調2-5計算分析節點層是實現數據中心ATB結構化數據管理和分析的關鍵執行層，SQL型SQL的執行速度，達到對低優先級數據中心A的數據進行快速統計分析。數據庫集群的組成說主協調主協調員是整個集群的對外接口，并負責集群的一系列操作實時的元數據庫，以獲取生成計劃所需的信執行常規的DBMS管理server同各個Agent2)元數據記錄表的分區、鏡像等信記錄集群的DDL操作生成的模式信息，包括表、索引、視圖，表空間，記錄集群中的各個節點的信息，包括：IP，端口，JDBCxsysconstraints,xsystabspaces,xsysindexes,xsysindexkeys,xsysviews,xsysstatin,xsysstad3）數據節點SQL數據庫集群的語句執行特DDL(數據定義語言)操DDL操作的主要對象是基本表，對基本表進行創建與修改等基礎操作，按照4種方式定義基本表：基于某一列進行哈希分區（Partitionedby定義基本表在集群中按照哈希分區的方式在各節點上分別循環分發到若干節點（Roundrobin）到若干節點data僅存在于單節點（Single適用非頻繁，且通常為單表操作的基本表創建表 INTEGERNOT CHAR(25)NOTNULL, 創建分區表（哈希到所有節點，同時指定哈希桶數為4）CREATETABLEORDERS(O_ORDERKEY INTEGERNOTNULL, INTEGERNOTNULL, CHAR(1)NOTNULL, FLOAT8NOTNULL, DATENOTNULL, CHAR(15)NOTNULL, CHAR(15)NOTNULL, INTEGERNOTNULL, PARTITIONINGKEYO_ORDERKEYONALLBUCKETS4;數據分儲的關系，查找到對應的目標節點。循環分集群采用循環的方式，依次各個節點，最終各個節點的數據量應該表集群會將數據發送到表所在的各個節點3）數據裝4普通的單行記錄操作：insert批量的文本導入：copyfrom帶有容錯操作的批量文本導入：oscar-loader.bat或oscar-loader.sh；獨立于server的第并發導入工具；并發導入會使server數據導入操作變為瓶頸，影響并發性能，因此提供了第并發導入工具數據庫集群的高速和高擴展集群中各類表的數據查詢特希算法以及元數據庫中的關系查找目標節點，最終會將查詢局限到循環分查找循環分時，必須要查找表對應的所有節點，當循環分的數表集群的均衡負載特如圖2-6所示。為方便用戶查詢當前的集群狀態，集群有一套機制，于衡負載是通過調整表到各個節點的關系來實現的；集群調節負載的基本操查找位于該些節點上的hash調整hash分區表到各節點上的舉例：hash分區表分布到節點123，節點41的表與節點間的關系）將節點1上此后的操作和數據分流到節點3。ash個新的關系續上例如果集群上尚有個負載較小的節點也通過均1（5上對應的ash分區表就變為分布到。哈希

(可調整

SNSNSN58679數據遷

哈希

(可調整

SNSNSN負載信58679負

負負載信

負2-6集群的動態擴展能力動態擴

SN不需要停止集群，擴展添加節點操作，不影響業務2-7數據庫集群線性提高分析性能的機查詢解析（Query查詢優化（Query生成計劃（Query分階段執行（QueryExecutedIn以操作為例，可以分為如下幾個階段先將第一次操作下降到各個節點并行執在相應的節點上的執行第二次操（orderby）操作，協調者會相應的先做合并排序（mergesort）操作SQL的例子--ordershash4個節點selectcount(*)fromorders;Query將 0_Select:SELECTCOUNT(*)AS"XCOL1"FROM 操作變為了SUMStep:

Select:SELECT--lineitemhash4個節點 ty)as sum(l_extendedprice)as sum(l_extendedprice*(1-l_discount))as sum(l_extendedprice*(1-l_discount)*(1+l_tax))as ty)as avg(l_discount)as count(*)ascount_order l_shipdate<=date'1998-12-01'-interval'120day'groupby orderby Query四個節點并行做查詢，因為函數的存在，在匯聚了各個節點的結果后需要做二次操作，因此Step0操作需要查詢額外的信息。比如：計算c1avg平c1sum值與count值:CREATE T1_1"("XCOL1"CHAR(1),"XCOL2"CHAR(1),"XCOL3"DOUBLEPRECISION,"XCOL4"DOUBLEPRECISION,"XCOL5"DOUBLEPRECISION,"XCOL6"DOUBLEPRECISION,"XCOL7"DOUBLEPRECISION,"XCOL8"BIGINT,"XCOL9"DOUBLEPRECISION,"XCOL10"BIGINT,"XCOL11"DOUBLEPRECISION,"XCOL12"BIGINT,"XCOL13"INT)NOLOGGINGSelect:SELECT"LINEITEM"."L_RETURNFLAG"AS"XCOL1","LINEITEM"."L_LINESTATUS"AS"XCOL2",SUM("LINEITEM"."L_TY")AS"XCOL3",SUM("LINEITEM"."L_EXTENDEDPRICE")AS"XCOL4",SUM(("LINEITEM"."L_EXTENDEDPRICE"*(1-"LINEITEM"."L_DISCOUNT")))AS"XCOL5",SUM((("LINEITEM"."L_EXTENDEDPRICE"*(1-"LINEITEM"."L_DISCOUNT"))*(1+ AS"XCOL6",SUM("LINEITEM"."L_TY") "XCOL10",SUM("LINEITEM"."L_DISCOUNT")AS"XCOL11",COUNT("LINEITEM"."L_DISCOUNT")AS"XCOL12",COUNT(*)AS"XCOL13"FROM"LINEITEM"WHERE("LINEITEM"."L_SHIPDATE"<='19980803')groupby"LINEITEM"."L_RETURNFLAG","LINEITEM"."L_LINESTATUS"步的匯聚操作，如：sum1+sum2+sum3+sum4=sum，Step:Select:SELECT"XCOL1"AS"L_RETURNFLAG","XCOL2"AS"L_LINESTATUS",SUM("XCOL3") "SUM_DISC_PRICE",SUM("XCOL6")AS"SUM_CHARGE",(SUM("XCOL7")/SUM("XCOL8"))AS"AVG_QTY",(SUM("XCOL9")/SUM("XCOL10"))AS"AVG_PRICE",(SUM("XCOL11")/SUM("XCOL12"))AS"AVG_DISC",SUM("XCOL13")AS"COUNT_ORDER"FROM"TMPTT1_1"groupby"XCOL1","XCOL2","XCOL1","XCOL2"--orderslineitemhash4selectl_returnflag,l_linestatusfromorders,lineitemwhereo_orderkey=Query Step: "L_RETURNFLAG","LINEITEM"."L_LINESTATUS"AS"L_LINESTATUS"FROM"ORDERS"INNERJOIN"LINEITEM"ON("ORDERS"."O_ORDERKEY"="LINEITEM"."L_ORDERKEY")神通數據庫集群的優1)為智能分析和數據倉庫等大型數據庫應用提供了快速創 和使用的OLTP將報表從昂貴的OLTP硬件平臺上移植到廉 使數據易于通過在超大數據集上使用報告和決策支持系統，提高組織的能力，分析能力、并且對關鍵信息提供更方便的方式。由各個節點組成的數據庫層在應用中被當做一個的虛擬數據庫提供服靈活的分區策略結合了對大表的的分區和對lookup表或dimension表的，使得在所有分布式服務器上數據存取更加快速。Clusterware使用帶有Clusterware的神通數據庫集群進行應用開發將和使用單個神通用標準的SQL，并且可以通過各種形式的連接接口，比如JDBC和ODBC，它們實集中的管理/神通Clusterware管理控制臺提供了一個圖形化的工具來監測性能以及整數據中心BC的低優先級數據庫架鑒于數據中心B、C的結構化數據屬于暫存性質，最終將匯總到數據中心A進行分析，數據中心B和C的數據庫主要接受新的結構化數據的增刪改，屬于事務型操作，因此擬在數據中心B、C應用通用的關系型數據庫。A、B、C三個數據中心低優先級結構化數據的總量預估為1T，在三B、C500G32GCPUPC2-8：客戶主數據主數據雙機熱從數據集群NAS網光纖交換光纖磁盤陣2-8數據中心B、CA的數據同數據中心B、C的低優先級數據庫需要匯總到數據中心A的低優先級數據庫進行分析，產生日、周、月的各種報表，由于對A中心的低優先級數據庫的查詢時隨時而不定期的，因此從B、C中心到A中心低優先級數據庫的同步需要準實時快速的完成。鑒于本方案設計的B、C中心低優先級數據庫和A中心的神步工具可以實現即時同步，故在本方案中首推神通SIB（SystemIntegrationBus）B、CASIB據的構件（Source類進行數據轉換的構件（Transform類進行數據傳輸的構件（Transfer類，接收數據的構件（類，實現應用程序之間進行同2-9圖2-9采用數據集成方式實現連接模式通過在數據中心A、B、CSIB，可以配置實現秒級的數據同步，將數據及時從中心B、C匯總到中心A2-10所示。圖2-10三個中心的低優先級結構化數據庫關硬件層（即磁盤陣列）是整個系統的基石，它負責低優先層的磁盤陣列通過集群文件系統被虛擬成的共享資源用于存PB級的非結構化數據。在業務系統工作的過程中，在數據庫中查詢到非結構容量估根據A、B、C三個數據中心的非結構化數據的要求：1）日均千萬級非1MB。2）日均萬級非結構化流文件，每個約百M至GB。3）數據保存三個月。可測算：小文件量留文件量即三個數據中心的非結構化小文件和流文件的總量為2P考慮到需消除單點故障所有數據軍需做備份整個的實際容量需要翻倍即實際總4P4P在磁盤柜上進行備份，故設計A、B、C1.4P分析與策需求分根據A、B、C三個數據中心的硬件需求特點PB級的容量需求屬于非結構化小文件和流文件屬于、共享類應用，需要隨時查詢A、B、C三個中心的數據非結構數據的常進行批量，需要IO處理能力高，結合對高性價比的考量通過對比SAN云NAS等技術，結合上層數據庫的特點，以某公司一款產品為例，提出了通過集群NAS技術產品來構建A、B、C三個數據中心平臺的方案。，集群NAS簡本文所述的集群NAS是由多個SAN基于集群NAS網關聯接形成的大型存儲架構，其一般構成圖由下圖3-1所示，由磁盤陣列、SAN網絡、集群NAS網關、以及上層的服務器組成。目前同類產品主要有：賽門鐵克的N8000，IBMSONAS、BlueArcTitanMercuryEMC公司配備有多鏈路文件系統(MPFS)CelerraNS-960，ExanetExaStore，HPIbrixFusion以及StorageWorks系列的可擴展NAS(之前被稱作PolyServe)，HDSHNAS以及3200系列，Isilon系統的IQ，NetApp公司的OntapGX，Panasas公司的ActiveStor以及ScaleComputing的SN系列等產品，屬于較成集群產NASNAS3-1NASNASNAS節點以及百萬至十億數量級的可管理文件對象的大容量空間系統采用集群架構，支持上百個控制節點，支持多節點共享的虛擬池，具備單卷支持100T以上，系統最大可達10PB以上的海量能力，可以支持多廠商異構SAN磁盤陣列，通常配有豐富的數據和管理軟于互聯網、廣電、企業、的非結構化文件數據和備份應用。便利的文件8)自動分層、識別熱點數A、B、C數據中心的架總體構針對A、B、C三個數據中心的4PB總需求和三地分部的特點，本文所設計的硬件總體架構如圖3-2所示整個集群NAS由9臺集群NAS網關構的集群NAS網絡，SAN層在三個中心各選用2臺光纖交換機形成多路徑、高可用的高速層，磁盤陣列層三個中心各配兩臺柜，每個機柜裝8各陣列，每個陣列容量100T，形成總容量達100T*8*2*3=4.8P的和備份能力.這些空間,通過集群NAS提供的集群文件系統,虛擬成多個數據節點均可的共享磁盤,每個共享磁盤最大可以達到100TB,可以有多個這樣的磁盤空間構成三個中心的共4T以上的能力.ABCB務器構建兩套雙機熱備方案完成結構化數據的和管理。由于結構化數據在各中心上的數據量均在1TB以下，故都通過服務器主機配多塊磁盤實現結構化數據的管理在后端集群NAS上進行數據的備份以達中心A中心A中心A（并行數據庫集群中心B中心B中心C中心C主據從據主據從據主據從據主據從據雙熱雙熱雙熱雙熱主據從據

與非結構化數據圖3-2硬 總架構

集群NAS方案的特配備相應的功能后，本集群NAS方案可實現如下技術NASNAS供一個高性能的接口； 達到了空間使用限額，系統自動用戶的使用請求；數據鏡像可以將生產數據本地或到另一個文件系統中NAS真正的文件共享基于TCP/IP或UDP的數據傳輸，支持NFS、CIFS采用NAS模式，文件系統被放置在設備端，數據獨立于主機操作平臺，可以支持Windows，UNIX,Linux,MAC等，實現真正的跨共享，同時保證了各自的權限；高可用，高性能系統整體性能高，無需應用服務器的干預，NAS設備允許用戶在網絡上CPU、內存等資源開銷，也能可以滿足20000用戶并發，2.4GB帶寬，可以支持64000個并發視隨需應變的容量擴展40PB易于管理，最大限度減低用戶性價比的SAS磁盤，使用戶投資選擇更靈活；集群NAS所具備的增強功快照技集群NAS的快照技術是一項功能強大的工具，是管理員的理想選擇。該3-23-3NAS提供即時恢復的數據保IT通過采取高效的自動快照策略企業可以避免意外或損失無“備份窗口”如何都可以執行備份；用戶能夠迅速地檢索自己丟失的數據；IT員工可以將更多精力投入到工作中。快照技術的工作副本也不會產生任何影響。實施可按需動態分配并且無需專為快照保留卷第一次進行快照時，將文件系統的整個只讀圖像。當對文件系統進行更改時獨立的塊級讀寫記錄通過寫時技術不斷進行更改獲取下一個快照時，錄與上一個快照的差異，因此只需要非常少的空間。設置快儲管理員可以設置快照頻率和每個卷每小時、每天、每周的最大快照數量。當達到最大快照數量時，最早的快照將被刪除，的快照取代其位置。另外，并且可以保存。這對更新前后非常有用。典型的方案可以是在滾動482這意味著磁帶備份中斷次數將大大減少并且可以在主要班次時間予以本方案的快照技術集成了領先的備份應用程序。快照恢IT數據容災—鏡本方案的DataMirror在多個廠商陣列之間提供異步數據功能它無需昂貴的近線設備即可快速獲得基于磁盤的備份和接近即時數據的恢復。Mirror可在同一地點或異地的多廠商陣列之間數據。開放方法經濟高效（包含SATA陣列，可作為目標進行部署。能夠以超低3-43-4NASDataMirror不同陣列之間的磁盤到磁盤異步數據基于SAN的消除了局域網瓶頸可以隨時和備份數據處理器可在備份作業期間確保全面的文NDMP支持行業領先的備份支持多種方式，用于適應不同的容災環境，包括：準同步，異步，且異步方式的對于生產系統和容災系統的距離沒有限制；支持多種網絡環境，用于適應不同的容災環境，包括：IPFC接支持多種拓撲方式的，包括：1對多；多對只傳輸變化的數據塊，可以網絡帶寬和減輕節點的負載DataMirror采用非對稱容災方式，即主和容災可以為不同型號、不同級別、甚至不同介質（FC或SATA）的設備，滿足經備份—當通知集群