并行數據庫技術分析及未來展望Agenda并行數據庫技術要點分析未來展望Paralleldatabasesystemseekstoimproveperformancethroughparallelizationofvariousoperationssuchasloadingdata,buildingindexes,andevaluatingqueriesbyusingmultipleCPUsandDisksinParallel.[1]MotivationParallelmachinesarebecomingquitecommonandaffordablePricesofmicroprocessors,memoryanddiskshavedroppedsharplyDatabasesaregrowingincreasinglylargelargevolumesoftransactiondataarecollectedandstoredforlateranalysis.multimediaobjectslikeimagesareincreasinglystoredindatabases并行數據庫

ImprovesResponseTime.

INTERQUERYPARALLELISM

Itispossibletoprocessanumberoftransactionsinparallelwitheachother.

ImprovesThroughput.

INTRAQUERYPARALLELISMItispossibletoprocess‘sub-tasks’ofatransaction

inparallelwitheachother.并行數據庫–目標(1)

Speed-UpAddingmoreresourcesresultsinproportionallylessrunningtimeforafixedamountofdata.10secondstoscanaDBof10,000recordsusing1CPU1secondtoscanaDBof10,000recordsusing10CPUs

Scale-Up(transaction/data)Ifresourcesareincreasedinproportiontoanincreaseindata/problemsize,theoveralltimeshouldremainconstant1secondtoscanaDBof1,000recordsusing1CPU

1secondtoscanaDBof10,000recordsusing10CPUs并行數據庫–目標(2)Shared-MemoryandShared-DiskArchitecturesShared-Memory:allprocessorsshareacommonmainmemoryandsecondarymemoryLoadbalancingisrelativelyeasytoachieve,butsufferfrommemoryandbuscontentionShared-Disk:allprocessors,eachofwhichhasitsownlocalmainmemory,sharethedisks并行數據庫-體系結構(1)Shared-NothingArchitectureEachprocessorhasitsownlocalmainmemoryanddisksLoadbalancingbecomesdifficult并行數據庫-體系結構(2)Shared-SomethingArchitectureAmixtureofshared-memoryandshared-nothingarchitecturesEachnodeisashared-memoryarchitectureconnectedtoaninterconnectionnetworkalashared-nothingarchitecture并行數據庫-體系結構(3)元數據管理查詢分析和執行器分布式事務分布式鎖并發控制副本數據同步并行數據庫–功能模塊Agenda架構特點技術要點分析未來展望2/5/2023111.ParallelDB/D.S.Jagli111.ParallelDB/D.S.Jagli技術要點–層次結構MasterServer:外部App訪問入口集群元數據管理SQLParser生成執行計劃和任務調度2/5/2023121.ParallelDB/D.S.Jagli12Range

HashRoundRobinA...EF...JK...NO...ST...ZA...EF...JK...NO...ST...ZA...EF...JK...NO...ST...ZGoodforequijoins,exact-matchqueries,andrangequeriesGoodforequijoins,exactmatchqueriesGoodtospreadload1.ParallelDB/D.S.Jagli技術要點–數據分區2/5/2023131.ParallelDB/D.S.Jagli131.ParallelDB/D.S.Jagli技術要點–存儲和索引(1)列存儲(columnstore)數據按列存儲，每一列單獨存放只訪問查詢涉及的列，大量降低I/O數據類型一致，方便壓縮數據包建索引，數據即索引行存儲(rowstore)數據是按行存儲的 沒有索引的查詢使用大量I/O建立索引和物化視圖需要花費大量時間和資源面對查詢的需求，數據庫必須被大量膨脹才能滿足性能要求。技術要點–存儲和索引(2)混合存儲(hybridstore)在大尺度上數據是按行存儲，在小尺度上數據是按列存儲在大尺度上以行作為任務切分，在小尺度上以列進行I/O優化技術要點–存儲和索引(3)模糊索引精確索引

B+樹

LSM

COLA3.列存索引(Projection）

技術要點–查詢引擎技術要點–分布式事務(1)技術要點–分布式事務(2)技術要點–任務調度與資源管理技術要點–高可用技術要點–集群擴展數據庫對一致性的天然要求數據庫元數據管理數據分布的再平衡技術要點–備份和災難恢復在線增量備份。支持HDFS作為備份存儲介質，HDFS上的備份數據可通過Hadoop平臺直接進行分析。以異地災備替代常規備份操作。異地數據中心之間實現同步/異步操作。備份和恢復兩個過程，以及異地災備中的主從集群可實現異構恢復。技術要點–SSD應用場景數據量大，熱點數據無法全部在緩存中。用戶訪問I/O量大，造成系統響應慢系統整體壓力低，QPS值無法提高系統切換后，預熱時間長等于故障Agenda并行數據庫技術要點分析未來展望未來展望–并行數據庫在大數據基礎設置中的定位(1)適應已有的數據庫生態，平滑替代無法跟上快速增長的數據量的傳統EDW，連接BI工具。EDW工具的復雜性和對復雜SQL的支持程度，超過了目前Hadoop的能力。IngestLandingandAnalyticsSandboxZoneIndexes,facetsHive/HBaseColStoresDocumentsInVarietyofFormatsAnalyticsMapReduceIngestionandReal-timeAnalyticZoneDataSinksFilter,TransformIngestCorrelate,ClassifyExtract,AnnotateWarehousingZoneEnterpriseWarehouseDataMartsQueryEnginesCubesDescriptive,PredictiveModelsModelsWidgetsDiscovery,VisualizerSearchAnalyticsandReportingZoneMetadataandGovernanceZoneConnectors未來展望–并行數據庫與Hadoop未來展望–并行數據庫與Hadoop集成(SQL-on-HadoopGoogle,Mega，Spanner和F1向我們展現了跨數據中心數據庫的可能。Cloudera開源了大數據查詢分析引擎。ImpalaHortonworks開源了StingerFackbook開源了Presto類似Pregel，UCBerkeleyAMPLAB實驗室開發了Spark圖計算框架，并以Spark為核心開源了大數據查詢分析引擎Shark。EMC的PivotalHAWQHadapt的HybridStorageEngine未來展望–并行數據庫與Hadoop集成(Connector)未來展望–并行數據庫與Hadoop集成(Hybrid)未來展望–IT基礎設施的變化新的IT基礎設置，如企業云環境，一體機，存儲平臺SDS(SoftwareDefineStorage)都解決了傳統MPP數據庫中的存儲高可用問題。新一代的MPP數據庫，將不再需要在MPP內部進行存儲層副本的管理和高可用機制，這將極大簡化MPP實現的復雜度。MPP數據庫將更傾向于具有事務能力的SQLSuperComputer，以及通過對存儲層的適配，達到最高性能。

Figure5.Tenant-relatedfactorsandhowtheyaffect“

isolatedversusshared"dataarchitecturedecisions未來展望–IT基礎設施的變化（多租戶）未來展望–并行數據庫技術的發展實現跨不同地理位置數據中心數據庫。例如,Google的Mega加強數據庫內部的資源管理機制和任務的優先級調用實現完整的事務和并發控制能力。擴展支持應用類型的范圍，逐漸模糊NOSQL與SQL的不同。例如，Vertica中的FlexEngine支持類似MongoDB可動態調整的基于非循環有向圖的具有容錯