hbase的data目录空间过大，hbase目录下用来存放配置的目录是

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

HBase性能优化-Rowkey&列族设计

1、必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

2、必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

3、HBase的Rowkey是按照ASCII有序设计的，我们在设计Rowkey时要充分利用这点。比如视频网站上对影片《泰坦尼克号》的弹幕信息，这个弹幕是按照时间倒排序展示视频里，这个时候我们设计的Rowkey要和时间顺序相关。

4、行键(RowKey)的设计首先应该避免使用时序或单调(递减/递增)行键。

hbase的核心数据结构为LSM树。LSM树分为内存部分和磁盘部分。内存部分是一个维护有序数据集合的数据结构。RowKey与nosql数据库们一样，RowKey是用来检索记录的主键。

HBase采用了类似Google Bigtable的数据模型，即一个稀疏的、分布式的、持久化的多维映射表，每个表都由行键、列族、列限定符和时间戳组成。

/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。

1、可以看到由于数据都挂载在根目录，而home、data目录却有大量空间，故在home目录下创建dfs、log，并将根目录下/dfs，/var/log下关于cdh的文件或目录mv到/home下，并做软链接，然后启动服务就ok了，记得mv前停止服务。

1、HBase的主要用途是作为大数据存储系统，用于存储非结构化和半结构化的稀疏数据。大数据存储：HBase是一个分布式、可伸缩的大数据存储系统，能够存储数十亿行甚至更多的数据。

2、HBase 是典型的 NoSQL 数据库，通常被描述成稀疏的、分布式的、持久化的，由行键、列键和时间戳进行索引的多维有序映射数据库，主要用来存储非结构化和半结构化的数据。

3、HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

4、具体包括：管理用户对Table表的增、删、改、查操作；管理HRegion服务器的负载均衡，调整HRegion分布；在HRegion分裂后，负责新HRegion的分配；在HRegion服务器停机后，负责失效HRegion服务器上的HRegion迁移。

5、Zookeeper 分布式协调服务基础组件，Hbase 分布式海量数据库，离线分析和在线业务处理。Hive sql 数据仓库工具，使用方便，功能丰富，基于MR延迟大，可以方便对数据的分析，并且数据的处理可以自定义方法进行操作，简单方便。

6、现代数据库系统是一个不断发展的范畴，它是集成了传统关系数据库技术和计算机新技术，以适应现代工程型应用，从而形成新型数据库集合。数据库充分有效地管理和利用各类信息资源，是进行科学研究和决策管理的前提条件。

1、HBase保存数据的流程有以下几个步骤：HBase表的列族在创建之初只有一个Region，随着插入数据的增多Region变得越来越大。

2、以fileServer为例，在使用默认的split策略--IncreasingToUpperBoundRegionSplitPolicy 的情况下，16个预分区Region，则单个Resion容量达到 min(32，50)，即32GB时分裂。

3、默认，HBase 在创建表的时候，会自动为表分配一个 Region，正处于混沌时期，start-end key 无边界，所有 RowKey 都往这个 Region里分配。

4、Hbase Split 是一个很重要的功能，HBase 通过把数据分配到一定数量的 Region 来达到负载均衡的。

hbase的data目录空间过大的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hbase目录下用来存放配置的目录是、hbase的data目录空间过大的信息别忘了在本站进行查找喔。