hdfs的特性、命令、安全模式、基准测试

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

1.第一点：如何理解hdfs分布式文件系统，每台机器出一块磁盘，凑成一个大的硬盘，大的硬盘的容量来自各个服务器的硬盘容量之和。

你出5毛，我出5毛，大家凑成1块。

2. HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。

3.hdfs的特性：

（1）master/slave架构：namenode是我们的主节点，datanode是我们的从节点

namenode主要管理元数据信息 datanode主要存储各种数据

（2）分块存储

（3）名字空间（NameSpace）

（4）HDFS 会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。

（5）Namenode 元数据管理；

（6）Datanode 数据存储；

（7）副本机制；

（8）一次写入，多次读出：频繁的写入会造成元数据的频繁的更新改变，比较麻烦。

3. hdfs常用的操作命令：

hdfs dfs -ls / 查看根路径下面的文件或者文件夹

hdfs dfs -mkdir -p /xx/xxx 在hdfs上面递归的创建文件夹

hdfs dfs -moveFromLocal sourceDir(本地磁盘的文件或者文件夹的路径) destDir（hdfs的路径）（剪切）

hdfs dfs -mv hdfsSourceDir hdfsDestDir（剪切，从hdfs上的一个位置移动到另一个位置）

hdfs dfs -put localDir hdfsDir 将本地文件系统的文件或者文件夹放到hdfs上面去（复制）

Usage: hdfs dfs -rm [-f] [-r|-R递归] [-skipTrash跳过垃圾桶永久删除] URI [URI ...] 删除hdfs上的一个或多个文件或文件夹。

hdfs dfs -tail [-f] URI (Displays last kilobyte of the file to stdout)

hdfs dfs -appendToFile <localsrc> ... <dst> 将本地系统的一个或多个文件追加到hdfs的一个文件中。

hdfs dfs -cat hdfsFiles 查看一个或多个hdfs的文件内容

hdfs dfs -cp hdfsSourceDIr hdfsDestDir 拷贝文件或者文件夹，从hdfs上的一个位置拷贝到另一个位置

hdfs的权限管理两个命令：

hdfs dfs -chmod -R 777 /xxx

hdfs dfs -chown -R hadoop:hadoop /xxx

hdfs dfs -expunge 清空回收站

2.hdfs高级命令使用：主要就是用于限制某个路径下面的文件的个数，或者限制某个路径下面文件的大小。

hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹

hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件，上传文件，发现只能上传一个文件

hdfs dfsadmin -clrQuota /user/root/lisi # 清除文件数量限制

hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi # 限制空间大小4KB

hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

hdfs dfsadmin -clrSpaceQuota /user/root/lisi #清除空间限额

hdfs dfs -count -q -h /user/root/lisi 查看hdfs文件限额数量

注意：hdfs dfs -count -q -h /user/root/lisi 可以简写为hdfs dfs -count -q -h lisi 这里使用了相对路径，

当前登录用户是root，所以当前路径是/user/root/

3. hdfs的安全模式：文件系统只接受读数据请求，而不接受删除、修改等变更请求。hdfs集群刚启动的时候，默认30S钟的时间是出于安全期的，去检测datanode了,只有过了30S之后，集群脱离了安全期，然后才可以对集群进行操作

hdfs dfsadmin -safemode [ enter | leave | get ]

4. hdfs基准测试（压力测试）

测试写入速度：

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB

完成之后查看写入速度结果，写入速度一般在30M/S左右超不多：

hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000

测试读取速度：

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

查看读取结果，实际工作当中通过MR读取速度大概在100M/s左右：

hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000

清除测试数据：

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -clean

注：在执行命令时的当前路径下，会生成一个测试报告文件：-rw-r--r-- 1 root root 303 May 23 22:06 TestDFSIO_results.log