简述hbase中region的步骤，hbase详解

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

六、HBase写入流程

它通过运行一个MapReduce Job，将数据从TSV文件中直接写入HBase的表或者写入一个HBase的自有格式数据文件。

(1)当一个Region中的某个Store下的StoreFile的总大小查过某个值，由参数hbase.hregion.max.filesize设定(默认10g)，该Region就会按照RowKey进行拆分。

由于是通过IDE端运行hadoop程序，所以我们需要将需要用到的依赖库导入，而这个过程如果不借助maven的话，就会特别的痛苦。下图是我配置的项目依赖包，仅供参考。

和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值(128M)之后，系统会异步将Memstore中数据flush到HDFS形成小文件。

HFile V2的写操作流程： 1)Append KV到 Data Block。在每次Append之前，首先检查当前DataBlock的大小是否超过了默认的设置，如果不超出阈值，写入输出流。

该过程会自动从指定hbase表内一行一行读取数据进行处理。

1、理想情况下，在不超过hbase.regionserver.global.memstore.upperLimit的情况下，Memstore应该尽可能多的使用内存(配置给Memstore部分的，而不是真个Heap的)。

2、MemStore 是 HBase 非常重要的组成部分，MemStore 作为 HBase 的写缓存，保存着数据的最近一次更新，同时是HBase能够实现高性能随机读写的重要组成。

3、regionServer 其实是hbase的服务，部署在一台物理服务器上，region有一点像关系型数据的分区，数据存放在region中，当然region下面还有很多结构，确切来说数据存放在memstore和hfile中。

4、一个MemStore大小通常在128~256MB，见参数： hbase.hregion.memstore.flush.size 。

5、RegionServer 拆分 Region的步骤是：先将该 Region 下线，然后拆分，将其子 Region 加入到 META 元信息中，再将他们加入到原本的 RegionServer 中，最后汇报 Master。执行split 的线程是 CompactSplitThread。

partition 顾名思义就是分区式，这种分区有点类似于 mapreduce 中的 partitioner，将区域用长整数作为分区号，每个 Region 管理着相应的区域数据，在 RowKey 生成时，将 id 取模后，然后拼上 id 整体作为 RowKey 。

具体步骤如下：需要知道要查询的表名和分区的起始行键或结束行键。可以使用scan命令来扫描hbase：meta表，这个表存储了所有分区的元数据信息。可以使用PrefixFilter或RowFilter来过滤出要查询的分区的记录。

hbase swap分区使用率根据相应信息分析系统状况的需要。在系统维护的过程中，随时可能有需要查看CPU使用率，并根据相应信息分析系统状况的需要。在 CentOS 中，可以通过 top 命令来查看 CPU 使用状况。

一张表预分区N个，那就是一开始就设定了N个region；hbase.hregion.max.filesize 设定的region大小，超过了就会split，就会增加一个region，对预分区没什么影响。

rowkey的设计主要为了方便后期的查询（条件查询语句），如果设计的合理，查询速率可以大大提升分区的设计，主要考量的是入库HBase的速率。如果设计的不合理，会导致局部入库数据过热，严重的有可能出现入库失败的情况。

关于简述hbase中region的步骤和hbase详解的介绍到此就结束了，不知道你从中找到你需要的信息了吗？如果你还想了解更多这方面的信息，记得收藏关注本站。