关于hbasestorefile的信息

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

hbase依赖什么提供消息通信机制

client整个HBase集群的访问入口；使用HBase RPC机制与HMaster和HRegionServer进行通信；client与HMaster进行通信进行管理表的操作；client与HRegionServer进行数据读写类操作；包含访问HBase的接口，并维护cache来加快对HBase的访问。

首先Hbase是依赖于HDFS和zookeeper的。 Zookeeper分担了Hmaster的一部分功能，客户端进行DML语句的时候，都是先跟ZK交互。

扩展性：由于 HBase 的底层依赖于 HDFS，所以当磁盘空间不足时，可以动态地增加机器（即 DataNode 节点服务）来增加磁盘空间，从而避免像关系数据库那样进行数据迁移。

HBase 依赖ZooKeeper，默认情况下，HBase 管理ZooKeeper 实例。比如，启动或者停止ZooKeeper。Master与RegionServers 启动时会向ZooKeeper注册。因此，Zookeeper的引入使得 Master不再是单点故障。

Hbase读写原理

1、Hbase是Hadoop的一个存储组件可以提供低延迟的读写操作，它一般构建在HDFS之上，可以处理海量的数据。Hbase有个很好的特性是可以自动分片，也就是意味着当表的数据量变得很大的时候，系统可以自动的分配这些数据。

2、hbase是一个构建在HDFS上的分布式列存储系统。HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储。从逻辑上讲，HBase将数据按照表、行和列进行存储。如图所示，Hbase构建在HDFS之上，hadoop之下。

3、使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase 还有一种方式就是使用HBase原生Client API（put）前两种方式因为须要频繁的与数据所存储的RegionServer通信。

4、MSLAB的工作原理如下：在MemStore初始化时，创建MemStoreLAB对象allocator。创建一个2M大小的Chunk数组，偏移量起始设置为0。Chunk的大小可以通过参数hbase.hregion.memstore.mslab.chunksize调整。

HBase读写操作-ROOT-表和.META.表

1、HBase的用-ROOT-表来记录.META.的Region信息，就和.META.记录用户表的Region信息一模一样。-ROOT-只会有一个Region。这么一来Client端就需要先去访问-ROOT-表。所以需要知道管理-ROOT-表的RegionServer的地址。

2、首先访问Zookeeper，获取-ROOT表的位置信息，然后访问-ROOT表，获得.MATA.表的信息，接着访问.MATA.表，找到所需的Region具体位于哪个服务器，最后才找到该Region服务器读取数据。

3、、 -ROOT- 该表是一张的HBase表，只是它存储的是.META.表的信息。

hbase合并storefile的原因是什么

1、HStore的storeFile的文件数大于配置值，则在flush memstore前先进行split或者compact，除非超过hbase.hstore.blockingWaitTime配置的时间，默认为7，可调大，比如：100，避免memstore不及时flush，当写入量大时，触发memstore的block，从而阻塞写操作。

2、为了解决因为内存碎片造成的Full-GC的现象，RegionServer引入了MSLAB（HBASE-3455）。MSLAB全称是MemStore-Local Allocation Buffers。它通过预先分配连续的内存块，把零散的内存申请合并，有效改善了过多内存碎片导致的Full GC问题。

3、StoreFile是只读的，一旦创建后就不可以再修改。因此Hbase的更新其实是不断追加的操作。当一个Store中的StoreFile达到一定阈值后，就会进行一次合并操作，将对同一个key的修改合并到一起，形成一个大的StoreFile。