1、廈門大學數據庫實驗室NoSQL系列學習之列族數據庫HBase架構介紹報告人：謝榮東指導老師：林子雨2015年7月10日遇到的問題遇到的問題目錄1、列族數據庫簡介2、Hbase架構簡介3、總結Part 1列族數據庫- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -基本概念列族數據庫列族數據庫列式數據庫以列相關存儲架構進行數據存儲的數據庫適合與批量數據處理和即席查詢行式數據庫數據以行相關的存儲體系架構進行空間分配適合與小批量的數據處理，

2、常用于聯機事務型數據處理數據格式：1,Smith,Joe,40000;2,Jones,Mary,50000;3,Johnson,Cathy,44000;數據格式：1,2,3;Smith,Jones,Johnson;Joe,Mary,Cathy;40000,50000,44000;EmpIdLastnameFirstnameSalary1SmithJoe400002JonesMary500003JohnsonCathy44000Part 2HBase架構簡介- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

3、- - - - - - - - - - - - - - - - - - -HBase介紹歷史回顧歷史回顧HBase是一個分布式的、面向列的開源數據庫，該技術來源于 Fay Chang 所撰寫的Google論文“BigTable：一個結構化數據的分布式存儲系統”。HBase Hadoop Database，具有高可靠性、高性能、面向列、可伸縮等特點，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

4、- - - - - - - - - -HBase介紹HBase定位定位 HBASE是存儲 基于HDFS 實時隨機讀寫- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase介紹HBase特性特性 線性擴展 行操作的強一致性，是CP系統 自動分表 支持MapReduce Java,Thrift,REST-ful接口- - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

5、 - - - - - - - - - - - - - - - - - - - - - - - -Hbase數據模型數據模型數據模型TableRegionColumnFamilyRowColumnVersionValueCELL- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase架構設計總體結構總體結構 Master Region之上的操作 Put/Get不經過Master RegionServer Region之下的操作 H

6、DFS HFile HLog ZooKeeper 狀態信息- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase架構設計RegionServer結構結構- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase基本操作與與RDBMS的區別的區別HBasel 數據類

7、型：數據類型：HBase只有簡單的字符類型，所有的類型都是交由用戶自己處理，它只保存字符串。而關系數據庫有豐富的類型和存儲方式。RDBMSl 數據類型：數據類型：關系數據庫有豐富的類型和存儲方式。l 數據操作：數據操作：HBase只有很簡單的插入、查詢、刪除、清空等操作，表和表之間是分離的，沒有復雜的表和表之間的關系l 數據操作：數據操作：通常有各式各樣的函數和連接操作。 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase

8、基本操作與與RDBMS的區別的區別HBasel 存儲模式：存儲模式： HBase是基于列存儲的，每個列族都由幾個文件保存，不同的列族的文件時分離的RDBMSl 存儲模式：存儲模式：基于表格結構和行模式保存的 l 數據維護：數據維護： HBase的更新操作不應該叫更新，它實際上是插入了新的數據l 數據維護：數據維護：傳統數據庫是替換修改l 可伸縮性：可伸縮性： Hbase這類分布式數據庫就是為了這個目的而開發出來的，所以它能夠輕松增加或減少硬件的數量，并且對錯誤的兼容性比較高。l 可伸縮性：可伸縮性：通常需要增加中間層才能實現類似的功能- - - - - - - - - - - - - - -

9、- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase基本操作創建表創建表l 創建表：“create blog_user,userInfo”- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本操作插入數據插入數據l 插入數據：“ putblog_user,userInfo:user_Name,aboutyun”上

10、面我們看到了l 1所示是什么，我們在傳統數據塊里面根本沒有，這是nosql所特有的，是一個rowkey，是系統自帶的，也是nosql中一條記錄的唯一標識。但是這個唯一標識，有跟我們的傳統數據庫是有所差別的。如圖1所示，“記錄1”便是rowkey.l 2所示是我們插入的列user_Name，這也是最難以理解的地方，列竟然可以插入。并且其“value”為3即aboutyun- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本

11、操作插入數據插入數據我們會看到l 1為rowkey，插入數據，l 2為列族下面列的名字user_Namel 3我們并沒有在設計的添加這個列族，所以這個是系統自帶的，這個是記錄的操作時間，以時間戳的形式放到hbase里面。l 4是我們插入的user_Name的值- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本操作插入數據插入數據l 再插入列Password：“putblog_user,userInfo:user_Pas

12、sword,aboutyun”到這里，我們看到兩行記錄，傳統數據塊認為這是兩行數據，對于nosql，這是一條記錄。- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本操作刪除刪除數據數據刪除單元格數據刪除單元格數據delete blog_user,userInfo:user_PasswordPart 3總結總結總結- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -優點：極高的裝載速度適合大量的數據而不