hbase中region的压缩，hbase数据压缩

hbase中什么是Region,什么是RegionServer

1、regionServer 其实是hbase的服务，部署在一台物理服务器上，region有一点像关系型数据的分区，数据存放在region中，当然region下面还有很多结构，确切来说数据存放在memstore和hfile中。

2、Region是HBase数据存储和管理的基本单位。 一个表中可以包含一个或多个Region。 每个Region只能被一个RS（RegionServer）提供服务，RS可以同时服务多个Region，来自不同RS上的Region组合成表格的整体逻辑视图。

3、HBase中，表会被划分为1…n个Region，被托管在RegionServer中。

4、在Hbase中，slave也被称作RegionServer，每个RegionServer负责管理一些Region，同时一个Region只能属于一个RegionServer。一个RegionServer可以服务一个或多个Region，每个Region在Region Server启动的时候被分配。

hbase预分区与region切割的关系

hbase.hregion.max.filesize 设定的region大小，超过了就会split，就会增加一个region，对预分区没什么影响。

默认，HBase 在创建表的时候，会自动为表分配一个 Region，正处于混沌时期，start-end key 无边界，所有 RowKey 都往这个 Region里分配。

HBase表的列族在创建之初只有一个Region，随着插入数据的增多Region变得越来越大。

以fileServer为例，在使用默认的split策略--IncreasingToUpperBoundRegionSplitPolicy 的情况下，16个预分区Region， 则单个Resion容量达到 min(32，50)，即32GB时分裂。

HBase写数据的异常问题以及优化

HBase数据写入通常会遇到两类问题，一类是写性能较差，另一类是数据根本写不进去。

出现这种问题的原因是因为和服务器通信超时导致的。所以需要将下面两个参数的默认值进行调整。hbase.snapshot.region.timeout hbase.snapshot.master.timeoutMillis 这两个值的默认值为60000，单位是毫秒，也即1min。

必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

）对于读端，捕获异常后，可以采取休眠一段时间后进行重试等方式。3）当然，还可以根据实际情况合理调整hbase.client.retries.number和hbase.client.pause配置选项。

TT在预发过程中我们分别因为Meta表损坏以及split方面的bug曾经丢失过数据，因此也单独写了meta表恢复工具，确保今后不发生类 似问题(hbase-0.90.5以后的版本都增加了类似工具)。

HBase从入门到精通11:HBase数据保存过程和Region分裂

HBase保存数据的流程有以下几个步骤：HBase表的列族在创建之初只有一个Region，随着插入数据的增多Region变得越来越大。

默认，HBase 在创建表的时候，会自动为表分配一个 Region，正处于混沌时期，start-end key 无边界，所有 RowKey 都往这个 Region里分配。

/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。

hbase是如何做到并发写的和随机写的

1、第二步，将HFile加载到HBase集群，假设这个步骤使用的账号为：u_load。

2、HDFS不太适合做大量的随机读应用，但HBASE却特别适合随机的读写 个人理解：数据库一般都会有一层缓存，任何对数据的更改实际上是先更改内存中的数据。然后有异步的守护进程负责将脏页按照一定策略刷新到磁盘空间中去。

3、(1)当一个Region中的某个Store下的StoreFile的总大小查过某个值，由参数hbase.hregion.max.filesize设定(默认10g)，该Region就会按照RowKey进行拆分。

4、通过这种方式，HBase能够支持高并发、高吞吐量的数据写入，同时保证数据的一致性和可靠性。另外，HBase还采用了Bloom Filter、MemStore和Compaction等技术来提高数据查询效率和存储效率。

HBase调优:预分区与行键设计

像这样预先创建hbase表分区的方式，称之为预分区。hash(主键) + 年月日时(2019062315)这里只取hash(主键)的前6位，使得行键的长度正好是16，也就是8的整数倍，在64位计算机中，效果最好。

像这样预先创建hbase表分区的方式，称之为预分区。hash(主键)+年月日时(2019062315)这里只取hash(主键)的前6位，使得行键的长度正好是16，也就是8的整数倍，在64位计算机中，效果最好。

已经有自动分区了，为什么还需要预分区？ HBase 在创建表的时候，会自动为表分配一个Region，当一个 Region 达到拆分条件时(shouldSplit 为 true)，HBase 中该 Region 将会进行 split，分裂为2个 Region，以此类推。

优化建议：检查RowKey设计以及预分区策略，保证写入请求均衡。 KeyValue大小对写入性能的影响巨大，一旦遇到写入性能比较差的情况，需要考虑是否由于写入KeyValue数据太大导致。

hbase中region的压缩的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hbase数据压缩、hbase中region的压缩的信息别忘了在本站进行查找喔。