1、回顧一下傳統關系型數據庫回顧一下傳統關系型數據庫事務的保障，事務的保障，ACID豐富的數據類型和豐富的數據類型和SQL操作操作嚴格的數據模型嚴格的數據模型,行式存儲行式存儲互聯網的需求互聯網的需求對數據高并發讀寫的要求對數據高并發讀寫的要求對海量數據的存儲和訪問對海量數據的存儲和訪問伸縮性，可用性，可靠性方面的需求伸縮性，可用性，可靠性方面的需求關系型數據庫的解決方案關系型數據庫的解決方案高并發高并發 措施：讀寫分離，分庫分表 帶來數據一致性問題海量數據海量數據 措施：分庫分表 實現復雜，后期遷移維護復雜， 路由規則（DHT，自定義）高可用，可靠，伸縮高可用，可靠，伸縮 措施：主備，主從，多主

2、 本身擴展性差，增加和節點宕機需要進行數據的遷移 NOSQL-CAPCAPBASENOSQL一致性一致性強一致強一致 2PC W+RN PAXOS弱一致弱一致 Gossip 向量時鐘 時間戳 Merkle treeHBase在在hadoop體系中位置體系中位置分布式數據庫分布式數據庫HBase的特點的特點基于列式的高效存儲基于列式的高效存儲強一致的數據訪問強一致的數據訪問高可靠高可靠高性能高性能可可伸縮伸縮，自動切分，遷移，自動切分，遷移Schema free邏輯數據模型邏輯數據模型TableRegionColumnFamilyRowColumnValueTimeStampHBase的體系組成

3、的體系組成體系結構組成體系結構組成體系結構組成體系結構組成HBase各對象職責各對象職責Client HBase的訪問接口，維護cache加快HBase的訪問Zookeeper 監控master，保證只有一個master 存儲Region的入口地址 監控RegionServer上下線，并告知Master 存儲Hbase shcema和table 的元數據Master 分配Region到RegionServer RegionSever的負載均衡 發現失效的RegionServer并重新分配其上的Region 管理用戶對Table的增刪改查操作RegionServer 維護Region，處理對這些

4、Region的IO Split&CompactRegion的定位的定位-ROOT-.METARegion的定位的定位LSM-TreeBTree（索引讀）（索引讀） mysql,Oracle Hash（key value） redis,mongodb 無法范圍查詢 無法避免表掃描 無法避免數據排序 LSM-Tree（寫）（寫） HBaseBooleamFilter 快速定位數據是否位于某集合 少量的錯判率Lsm-treebitmapPut/Get操作操作存儲分布存儲分布HFileHLogRegionServer宕機恢復宕機恢復(可靠性可靠性)冗余冗余節點宕機節點宕機,內存中的數據還未內存

5、中的數據還未Flush到文件中到文件中 Region Server1MasterzookeeperRegion1storesHDFSRegion2stores Store1 store2WAL.logs/rs1/xxxxx1.logs/rs1/xxxxx2Region1 .splitlogsRegion2 .splitlogsSeqNum checkRegion Server2Split logAssign RegionOpen RegionRelay logSplit&Compact（可用性）（可用性）為什么要分裂為什么要分裂 避免單個region訪問過于頻繁 單機壓力過大，均衡壓力

6、 為什么要為什么要Compact 減少HFile文件的個數 提高性能 清除過期和刪除數據 分裂過程分裂過程 觸發split region zookeeper創建split點 hdfs創建臨時分裂目錄 Region下線 分裂兩個子region 更新META表 打開Region 更新META表關于子Region的位置信息 更新zookeeper分裂狀態完成 *建議禁止自動split，系統不忙的時候手動進行 Split&Compact（可用性）（可用性）Compact minor compact major compact Region所有的Hfile合并成一個，垃圾清理 建議定時或者手工進行 MemStoreHFileCompact ThreadFlush, snapshotCompact queueHFileHFileHFile應用方式應用方式RowKey設計設計 userNum$2013