hbase多层列簇，hbase列簇本质

hbase是如何做到并发写的和随机写的

整个写入顺序图流程如下：1 客户端查找对应region 客户端根据要操作rowkey，查找rowkey对应的region。查找region的过程为通过zk获取到hbase：meta表所在region。

第二步，将HFile加载到HBase集群，假设这个步骤使用的账号为：u_load。

(1)当一个Region中的某个Store下的StoreFile的总大小查过某个值，由参数hbase.hregion.max.filesize设定(默认10g)，该Region就会按照RowKey进行拆分。

MemStore 是 HBase 非常重要的组成部分，MemStore 作为 HBase 的写缓存，保存着数据的最近一次更新，同时是HBase能够实现高性能随机读写的重要组成。

HBase数据到底是怎么存储的

1、而HBase中的数据存储是基于列族（column family）和行键（row key）的，HBase的数据存储结构是按行键排序的有序映射表，可以通过行键的前缀匹配来检索数据。

2、在HBase中，数据是以列族的形式进行存储的，而不是行。每个列族可以包含多个列，这些列在物理存储上是聚集在一起的。

3、每个列簇对应HDFS中的一个单独文件，hbase不是按行存储，你想一行有多列族的情况下，就会把数据存在多个文件下，按行存储的意思，是会把行数据存在一个文件中，所以hbase是按列存储的。

4、HBase是介于MapEntry(key&value)和DBRow之间的一种数据存储方式。hbase使用的是jdk提供的ConcurrentSkipListMap，并对其进行了的封装，Map结构是KeyValue，KeyValue的形式。Concurrent表示线程安全。

如何使用scala+spark读写hbase

1、从上面的代码可以看出来，使用spark+scala操作hbase是非常简单的。

2、首先是pom.xml，注释了一些东西，比如 不用 添加hbase-client和hbase-server，java中写MapReduce操作hbase需要这两个，scala写spark操作hbase不需要这两个，程序跑不起来，sc无法创建。

3、一般如果每个节点都安装了hbase和hadoop的安装包的话，可以在hadoop-env内将hadoop的classpath设置上hbase的classpath，可以解决你的问题。如果不是的话，建议学习使用distribution cache，减少jar上传的时间。

4、spark读取hbase数据形成RDD，构建schma信息，形成DF 通过sparkSQL 将df数据写入到指定的hive表格中。

5、此外，Spark还能与Hadoop无缝衔接，Spark可以使用YARN作为它的集群管理器，可以读取HDFS、HBase等一切Hadoop的数据。Spark在最近几年发展迅速，相较于其他大数据平台或框架，Spark的代码库最为活跃。

6、使用IDE新建Scala 或 Java 工程，确保项目结构符合 Maven 推荐的项目结构。

Hbase的特性有哪些

hbase的特点：高可靠性、高性能、面向列、可伸缩的。HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

多版本：HBase支持多版本数据存储，这意味着每个单元格可以存储多个版本的数据。每个版本都有一个时间戳，可以根据时间戳来检索特定的版本。这种多版本特性使得HBase非常适合存储历史数据和审计日志等数据。

HBase采用了数据冗余和自动故障恢复的机制，可以保证数据的高可靠性。它将数据副本存储在不同的服务器上，并在主节点故障时自动切换到备用节点，确保数据的持久性和可用性。

行键：每行都有唯一的行键，行键没有数据类型，它内部被认为是一个字节数组。列簇：数据在行中被组织成列簇，每行有相同的列簇，但是在行之间，相同的列簇不需要有相同的列修饰符。

分区容错性：HBase是一个分布式数据库，在设计时就考虑了分区容错性，通过数据的分布式存储和副本机制来保证数据的可靠性和容错性。当系统出现分区时，HBase可以通过副本机制来保证数据的可用性。

region下所有的hfile默认存放

1、/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。

2、每一个hfile当达到一定大小的时候就会拆分成两个hfile所以一个store目录中会包含多个hfile。

3、依次加载各部分的HFileBlock(load-on-open所有部分都是以HFileBlock格式存储)：data index block、meta index block、FileInfo block、generate bloom filter index、和delete bloom filter。HFileBlock的格式会在下面介绍。

4、即HFile和region不在同一个DataNode。这种情况会在major compaction 之后得到解决。

关于hbase多层列簇和hbase列簇本质的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。