恢复hbase源数据，hbase快照恢复

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

HBase宕机恢复-SplitWAL

在0版本 HBase 实现了新的分布式事务框架 Procedure V2（HBASE-12439），使用 HLog 存储这种单机事务（DDL、Split、Move 等操作）的中间状态。

猜测是GC或者split过程中没有及时和ZK通信，导致与ZK连接时间超时，zk返回dead region到master，当Hbase Region恢复正常后，找不到wal，产生如下报错。

发现有张HBase表丢失了一半数据，然后在HBase Master UI上发现Region的数量少了一半，但是随后进入HDFS目录中查看，其实Region数据是存在的，那么原因就确定了，是META表中数据丢失，想要恢复数据，需要对META表进行数据修复。

HBase 运行在 HDFS 上，HDFS 的多副本存储可以让它在岀现故障时自动恢复，同时 HBase 内部也提供 WAL 和 Replication 机制。

原始采集数据采用HBase进行存储。实时采集数据流量很大，在入库的时候，有时候会发生阻塞。测试环境正常，生产环境下，时不时出现HRegionServer挂掉的情况，而HMaster正常。

1、通过ambari修改hdfs配置文件：可以修改为5，则设置集群数据副本数为保存并重启hdfs生效。注：这样即使三台主机的磁盘出现损坏，这个文件夹的数据也不会丢。除非同时五台主机的磁盘出现损坏，这个文件夹下的数据才可能丢失。

2、Hadoop节点集群挂了，Hbase数据源损坏怎么办如果是搭建的集群模式的话，保存的hdfs的数据保存了三分，如果不是三分数据源都损坏，集群会自动切换。

3、检查目标节点服务是否已经启动，可以使用如下命令确认服务状态：`sudo systemctl status `，其中 `` 是具体的服务名称，例如：`hadoop-hdfs-datanode`。确保网络连接正常，可以尝试 ping 目标节点，确保可以通信。

4、检查一下HADOOP集群是否正常，DATANODE是否正常。具体问题可根据日期进行排查。HRegionServer是HBase中最主要的组件，负责table数据的实际读写，管理Region。

是因为：系统bug，使用软件hbase写代码时，当代码写入成功却查不出来，是系统bug的问题，将代码重新运行即可，HBase是一个分布式的。

和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值(128M)之后，系统会异步将Memstore中数据flush到HDFS形成小文件。

网络问题。如果存储了数据但是在用hbase运行查询不到是因为网络问题，更换网络，重新启动即可。

LogRecoveredEditsOutputSink的工作是直接按照region，把相对应的log写到hdfs的 hbase.rootdir/data/namespace(比如test)/table_name/region_encoded_name/recovered.edits下。

Hbase是不支持条件查询、聚集操作和Order by查询的！Hbase查询方式只有三种：根据主键，根据主键范围和全表。

恢复hbase源数据的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hbase快照恢复、恢复hbase源数据的信息别忘了在本站进行查找喔。