hbase 概念

在hbase里面有几个通俗的名称会经常出现

1）Hregion = region

2）Hregionserver = regionserver

3）Hmaster = master

4）Hmamstore = memstore

5）Hfile = storeFile

1、什么是hbase？

1）它是基于稀疏的、分布式的、持久化的、多维有序映射，它基于行健、列簇、时间戳建立索引

2）构建在hdfs之上的分布式列式键值存储系统，hbase内部管理的文件存储在hdfs中。

2、有什么特点？

1）不介意数据类型，允许动态的、灵活的数据模型，并不限制存储数据的种类。因此他可以自如的存储结构化和半结构化的数据。

2）它不要sql语音，不强调数据之间的关系

3）它不允许跨行的事物，可以在一行的某一列存储一个整数，而在另一行的同一列存储一个字符串

4）它被设计在一个服务器集群上运行，而不是单台服务器。这就意味着是一种强大的、可扩展的数据使用方式。

3、列式存储

列式存储的基础：对于特定的查询，不是所有的值都是必须的。

1）以列为单位聚合数据，然后将列值顺序的存入磁盘

2）数据类型一致，数据特征相似，更利于压缩

3）大量降低系统I/O

4、HBASE特性

1）容量巨大：单表可以有百亿行，百万列

2）面向列

3）稀疏性：空值不占用存储空间

4）扩展性：由hdfs决定，热扩展

5）高可用性：WAL和Replication机制；hdfs；zookeeper

6）共性能：LSM数据结构；Rowkey有序排列

7）无模式

8）数据多版本

9）数据类型单一

10）TTL

5、client

1）包含访问hbase的接口，并维护cache来加快对hbase的访问

2）通过rpc机制和master，region server通信

6、zookeeper

1）保证任何时候，集群中只有一个master

2）存储所有region的寻址入口

3）实时监控region server的上下线信息。并通知给master

4）存储hbase元数据信息

5）hbase中可以启动多个Hmaster，通过zookeeper的master election机制保证总有一个master运行

7、HMaster主要负责：table、region管理工作

1）管理用户对table的增删改查

2）管理regionserver的负载均衡，跳转region分布

3）在region分裂后，负责新region的分配

4）在regionserver死机后，负责失效regionserver上的region迁移

(由于master只维护表和region的元数据，而不参与表数据IO的过程，master下线仅导致所有元数据的修改被冻结(无法创建删除表，无法修改表的schema，无法进行region的负载均衡，无法处理region上下线，无法进行region的合并，唯一例外的是region的split可以正常进行，因为只有region server参与)，表的数据读写还可以正常进行。

因此master下线短时间内对整个hbase集群没有影响。)

8、regionserver：主要负责响应用户I/O请求，向hdfs文件系统中读写数据

1）管理了一系列Hregion对象，每个Hregion对应了table中的region

2）Hregion由多个Hstore组成，每个Hstore对应了table中的一个column Family的存储

每个column Family其实就是一个集中的存储单位，简称Hstore

3）regionserver维护region，处理对这些region的IO请求

4）regionserver负责切分在运行过程中变得过大的region

5）regionserver提供行级锁

注：

1）Hregionserver：Hregion：Hstore = Column Family

2）Hstore：

- memStore：用户首先先写入MemStore。（flush操作）