正文
hbase管理指南 hbase概述
小程序:扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序
【扫一扫了解最新限行尾号】
复制小程序
《HBase权威指南5中文版》pdf下载在线阅读全文,求百度网盘云资源
《HBase权威指南5中文版》百度网盘pdf最新全集下载:
链接:
?pwd=6ddr 提取码: 6ddr
简介:探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单;把大型数据集分布到相对廉价的商业服务器集群中;使用本地Java客户端,或者通过提供了REST、Avro和Thrift应用编程接口的网关服务器来访问HBase;了解HBase架构的细节,包括存储格式、预写日志、后台进程等;在HBase中集成MapReduce框架;了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。
hbase有哪些可视化工具,图形界面管理工具
1.hbase有那些管理工具,首先hbase有自带的简单的web界面
2.还有一种HBase图形界面管理工具HBaseXplorer
HBaseXplorer 是一款HBase管理工具,采用JAVA界面方式,查看和管理数据都很发布.
HBaseXplorer原名为 hbase-gui-admin ,是由 zpasal 开发的一款HBase管理工具
下载地址: 提供了 0.94.* 和 0.20.*
版本.
开启程序:
Mac OS X 下,直接启动 HBaseXplorer.jar
Linux 下,启动 HBaseXplorer.sh
Win 下,启动 HBaseXplorer.bat
启动输入zookeeper地址 , 需要配置好 host
3.hbase web管理工具phphbaseadmin
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。由于hbase自带的操作工具只有hbase
shell,创建表、批量删除表、查看记录等操作很不方便,因此开发了phphbaseadmin工具,使用hbase thrift接口、php
CI框架、bootstrap前端框架开发。
目前实现的功能主要有
浏览表、创建表、批量删除表、查看表metadata、搜索表记录、清空表,其中搜索记录可以根据rowkey
、timestamp、value几个字段查询。
4.IBM 的BigInsights
IBM 对 HBase 的改进和扩展
BigInsights 最大限度的提供了统一的,IBM 特有的 HBase
管理功能,包括用户界面以及后台命令行管理模式。这样,用户可以通过简单的界面操作或者后台命令来启停 / 查看 HBase 集群,而不用关心具体的实现细节。
与此同时,IBM 还提供了统一的用户界面和添加、删除节点命令来支持 HBase 集群的可伸缩性。
另外,HBase Master 多结点功能的实现,提供并保证了 HBase 在 BigInsights 中的高可用性。
HBase是什么呢,都有哪些特点呢?
Hbase是一种NoSQL数据库,这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。Hbase是一种分布式存储的数据库,技术上来讲,它更像是分布式存储而不是分布式数据库,它缺少很多RDBMS系统的特性,比如列类型,辅助索引,触发器,和高级查询语言等待
那Hbase有什么特性呢?如下:
强读写一致,但是不是“最终一致性”的数据存储,这使得它非常适合高速的计算聚合
自动分片,通过Region分散在集群中,当行数增长的时候,Region也会自动的切分和再分配
自动的故障转移
Hadoop/HDFS集成,和HDFS开箱即用,不用太麻烦的衔接
丰富的“简洁,高效”API,Thrift/REST API,Java API
块缓存,布隆过滤器,可以高效的列查询优化
操作管理,Hbase提供了内置的web界面来操作,还可以监控JMX指标
什么时候用Hbase?
Hbase不适合解决所有的问题:
首先数据库量要足够多,如果有十亿及百亿行数据,那么Hbase是一个很好的选项,如果只有几百万行甚至不到的数据量,RDBMS是一个很好的选择。因为数据量小的话,真正能工作的机器量少,剩余的机器都处于空闲的状态
其次,如果你不需要辅助索引,静态类型的列,事务等特性,一个已经用RDBMS的系统想要切换到Hbase,则需要重新设计系统。
最后,保证硬件资源足够,每个HDFS集群在少于5个节点的时候,都不能表现的很好。因为HDFS默认的复制数量是3,再加上一个NameNode。
Hbase在单机环境也能运行,但是请在开发环境的时候使用。
内部应用
存储业务数据:车辆GPS信息,司机点位信息,用户操作信息,设备访问信息。。。
存储日志数据:架构监控数据(登录日志,中间件访问日志,推送日志,短信邮件发送记录。。。),业务操作日志信息
存储业务附件:UDFS系统存储图像,视频,文档等附件信息
不过在公司使用的时候,一般不使用原生的Hbase API,使用原生的API会导致访问不可监控,影响系统稳定性,以致于版本升级的不可控。
HFile
HFile是Hbase在HDFS中存储数据的格式,它包含多层的索引,这样在Hbase检索数据的时候就不用完全的加载整个文件。索引的大小(keys的大小,数据量的大小)影响block的大小,在大数据集的情况下,block的大小设置为每个RegionServer 1GB也是常见的。
探讨数据库的数据存储方式,其实就是探讨数据如何在磁盘上进行有效的组织。因为我们通常以如何高效读取和消费数据为目的,而不是数据存储本身。
Hfile生成方式
起初,HFile中并没有任何Block,数据还存在于MemStore中。
Flush发生时,创建HFile Writer,第一个空的Data Block出现,初始化后的Data Block中为Header部分预留了空间,Header部分用来存放一个Data Block的元数据信息。
而后,位于MemStore中的KeyValues被一个个append到位于内存中的第一个Data Block中:
注:如果配置了Data Block Encoding,则会在Append KeyValue的时候进行同步编码,编码后的数据不再是单纯的KeyValue模式。Data Block Encoding是HBase为了降低KeyValue结构性膨胀而提供的内部编码机制。
hbase实战 hbase权威指南哪本好书
《HBase原理与实践》、《HBase实战》、《HBase权威指南》、《HBase企业应用开发实战》、《HBase入门与实践》。以上书籍都是与hbase相关的专业性书籍,作者由浅入深地介绍了hbase的技术与应用。
1、《HBase原理与实践》:这是一本深入介绍HBase系统的书籍,由HBase PMC成员与网易资深工程师倾力打造,多位技术专家联袂推荐。本书不仅用大量图片详细解剖HBase内核,还用案例展示了HBase的开发运维技巧。
2、《HBase实战》:本书在介绍HBase核心工作原理的基础上,使用大量篇幅以案例的形式介绍HBase集群实践相关方法。相信通过这些方法的实践掌握,结合理论知识,完全可以运维好大规模的HBase集群。
3、《HBase权威指南》:本书探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单;把大型数据集分布到相对廉价的商业服务器集群中;使用本地Java客户端,或者通过应用编程接口的网关服务器来访问HBase。
4、《HBase企业应用开发实战》:本书系统介绍HBase的功能使用、框架设计、基本原理和高级特性;详细讲解使用HBase设计大型数据应用系统的实践方法和技巧;深刻总结系统运维、监控和性能调优的最佳实践。
5、《HBase入门与实践》:全书共分为3个部分。前两个部分分别介绍了分布式系统和大规模数据处理的发展历史;第三部分通过真实的应用和代码示例以及支持这些实践技巧的理论知识,进一步探索HBase的一些实用技术。
hbase有哪些可视化工具,图形界面管理工具
1、首先hbase有自带的简单的web界面
2.还有一种HBase图形界面管理工具
是一款HBase管理工具,采用JAVA界面方式,查看和管理数据都很发布.
3.hbaseweb管理工具
HBase_Hadoop
Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。由于hbase自带的操作工具只有hbase
shell,创建表、批量删除表、查看记录等操作很不方便,因此开发了工具,使用hbasethrift接口、php
CI框架、bootstrap前端框架开发。
目前实现的功能主要有
浏览表、创建表、批量删除表、查看表metadata、搜索表记录、清空表,其中搜索记录可以根据rowkey、timestamp、value几个字段查询。
4.IBM的BigInsights
IBM对HBase的改进和扩展
hbase管理指南的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于hbase概述、hbase管理指南的信息别忘了在本站进行查找喔。