正文
hbase默认split数,hbase的lsm
小程序:扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序
【扫一扫了解最新限行尾号】
复制小程序
region下所有的hfile默认存放
1、/hbase/.archive HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到.archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。
2、Key的格式如下:HBase会自动挑选小的临近的HFiles将它们重新写到一些大的HFiles中。这个过程称为次压缩。次压缩通过将更小的files写到一些大的flies进行合并操作来实现减少file的数量。
3、每一个hfile当达到一定大小的时候就会拆分成两个hfile所以一个store目录中会包含多个hfile。
4、每一个BloomBlock会对应index信息,存储在Meta Index区域。
5、)MemStore Flush阶段:当Region中MemStore容量达到一定阈值之后,系统异步执行flush操作,将内存写入文件,形成HFile 用户写入请求在完成写入MemStore之后就会返回成功。MemStore Flush是一个异步执行的过程。
Hbase分区
HBase 在创建表的时候,会自动为表分配一个Region,当一个 Region 达到拆分条件时(shouldSplit 为 true),HBase 中该 Region 将会进行 split,分裂为2个 Region,以此类推。
像这样预先创建hbase表分区的方式,称之为预分区。hash(主键) + 年月日时(2019062315)这里只取hash(主键)的前6位,使得行键的长度正好是16,也就是8的整数倍,在64位计算机中,效果最好。
hbase swap分区使用率根据相应信息分析系统状况的需要。在系统维护的过程中,随时可能有需要查看CPU使用率,并根据相应信息分析系统状况的需要。在 CentOS 中,可以通过 top 命令来查看 CPU 使用状况。
四、HBase客户端
Connction维持了客户端到整个HBase集群的链接,如一个HBase集群有2个Master、5个RegionServer,那么一般来说整个Connection会维持一个到Active Master的TCP连接和5个到ReginonServer的TCP链接。
整个写入顺序图流程如下:1 客户端查找对应region 客户端根据要操作rowkey,查找rowkey对应的region。查找region的过程为通过zk获取到hbase:meta表所在region。
首先访问Zookeeper,获取-ROOT表的位置信息,然后访问-ROOT表,获得.MATA.表的信息,接着访问.MATA.表,找到所需的Region具体位于哪个服务器,最后才找到该Region服务器读取数据。
软件环境 OS:Red Hat 64bit;hadoop-0.3;HBase0.90 3 组网 2 写性能测试 ●黑色曲线 4个客户端,分别部署在SM2SM2SM23和SM24。
HBase从入门到精通11:HBase数据保存过程和Region分裂
1、HBase表的列族在创建之初只有一个Region,随着插入数据的增多Region变得越来越大。
2、以fileServer为例,在使用默认的split策略--IncreasingToUpperBoundRegionSplitPolicy 的情况下,16个预分区Region, 则单个Resion容量达到 min(32,50),即32GB时分裂。
3、Hbase Split 是一个很重要的功能,HBase 通过把数据分配到一定数量的 Region 来达到负载均衡的。
4、hbase.hregion.memstore.flush.size 2)部分源码: 在默认情况,使用IncreasingToUpperBoundRegionSplitPolicy 策略拆分 Region 的过程是: 3)拆分效果: 和ConstantSizeRegionSplitPolicy 一样,也是均匀拆分。
5、可以看出-ROOT-表存储在 dchbase3 机器中,对应界面如下:以上就是HBase客户端根据指定的rowkey从zookeeper开始找到对应的数据的过程。
6、hbase.hregion.max.filesize 设定的region大小,超过了就会split,就会增加一个region,对预分区没什么影响。
HBase存储架构
hbase的核心数据结构为LSM树。LSM树分为内存部分和磁盘部分。内存部分是一个维护有序数据集合的数据结构。RowKey与nosql数据库们一样,RowKey是用来检索记录的主键。
HBase采用了类似Google Bigtable的数据模型,即一个稀疏的、分布式的、持久化的多维映射表,每个表都由行键、列族、列限定符和时间戳组成。
/hbase/.archive HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到.archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。
HBase系统架构如下所示,包括客户端、Zookeeper服务器、Master主服务器、Region服务器。一般而言,HBase会采用HDFS作为底层数据存储。
在Hbase架构中,由于底层的HDFS不支持追加,更新。
hbase默认split数的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于hbase的lsm、hbase默认split数的信息别忘了在本站进行查找喔。