正文

hbase元数据备份，hbase数据备份恢复

IP云
IP云V管理员/1 阅读
09/19
小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

HBase存储架构

1、hbase的核心数据结构为LSM树。LSM树分为内存部分和磁盘部分。内存部分是一个维护有序数据集合的数据结构。RowKey与nosql数据库们一样，RowKey是用来检索记录的主键。

2、HBase采用了类似Google Bigtable的数据模型，即一个稀疏的、分布式的、持久化的多维映射表，每个表都由行键、列族、列限定符和时间戳组成。

3、/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。

HBase是什么呢,都有哪些特点呢?

1、hbase的特点：高可靠性、高性能、面向列、可伸缩的。HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

2、容量大：HBase 分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase 的数据在表中是按照某列存储的，根据数据动态地增加列，并且可以单独对列进行各种操作。

3、非关系型数据库，列存储和文档存储(查询低延迟)，hbase是nosql的一个种类，其特点是列式存储。

4、HBase 是典型的 NoSQL 数据库，通常被描述成稀疏的、分布式的、持久化的，由行键、列键和时间戳进行索引的多维有序映射数据库，主要用来存储非结构化和半结构化的数据。

5、Hbase是一个面向列存储的分布式存储系统，它的优点在于可以实现高性能的并发读写操作，同时Hbase还会对数据进行透明的切分，这样就使得存储本身具有了水平伸缩性。通常，顺序读取数据要比随机访问更快。

Hbase读写原理

1、Hbase是Hadoop的一个存储组件可以提供低延迟的读写操作，它一般构建在HDFS之上，可以处理海量的数据。Hbase有个很好的特性是可以自动分片，也就是意味着当表的数据量变得很大的时候，系统可以自动的分配这些数据。

2、hbase是一个构建在HDFS上的分布式列存储系统。HBase是Apache Hadoop生态系统中的重要 一员，主要用于海量结构化数据存储。从逻辑上讲，HBase将数据按照表、行和列进行存储。如图所示，Hbase构建在HDFS之上，hadoop之下。

3、使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase 还有一种方式就是使用HBase原生Client API（put）前两种方式因为须要频繁的与数据所存储的RegionServer通信。

Hbase副本数与hdfs副本数

1、hbase的副本与hdfs的副本之间没有任何关系。hbase的副本是对历史数据的备份，是新旧数据，而非相同数据的copy；hdfs的副本是同一数据的copy。hbase的数据文件存放在hdfs上，但是在hdfs上具体如何存储对hbase是透明的。

2、解决方法如下：hdfs的默认副本数量是3个，配置在/etc/hadoop/conf/hdfs-site.xml中 dfs.replication。我们也可以通过hdfs dfs -ls /path/to/file 命令查看hdfs上的文件： 文件类型会在第二列显示副本数量。

3、来增加磁盘空间，从而避免像关系数据库那样进行数据迁移。高可靠性：HBase 在 HDFS 之上，而 HDFS 本身具有备份机制，所以在 HBase 集群出现严重问题时，Replication（即副本）机制能够保证数据不会发生丢失或损坏。

ZooKeeper在HBase中的应用

1、、zookeeper是hbase必不可少的，它提供了分布式系统当中的高效协调服务。 hbase内置了zookeeper，但效果一般不好，一般都选择外置独立的zookeeper。 好长时间不整这个了，其实这些东西自己搭建一遍就能明白个八九了。

2、cd $HBASE_HOME/bin bin/hbase zkcl即可 使用ZooKeeper四字命令 传递四个字母的字符串给ZooKeeper，ZooKeeper会返回一些有用的信息。ZooKeeper 四字命令 功能描述 conf 输出相关服务配置的详细信息。

3、HBase依赖Zookeeper提供消息通信机制。与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统。

4、因为我们是好多hbase集群共用一个zookeeper的，其中一个集群需要从hbase 0.90.2 升级到hbase 0.92上，自然，包也要更新。

关于hbase元数据备份和hbase数据备份恢复的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。