linux环境下的伪分布式环境搭建

本文的配置环境是VMware10+centos2.5。

在学习大数据过程中，首先是要搭建环境，通过实验，在这里简短粘贴书写关于自己搭建大数据伪分布式环境的经验。

如果感觉有问题，欢迎咨询评论。

一:伪分布式准备工作

1.规划目录

2.修改目录所有者和所属组

3.删除原有的jdk

4.上传需要的jdk包

5.增加jdk 的执行权限

6.解压jdk

7.修改profile的JAVA_HOME，PATH

8.切换至root用户，使文件生效

9.检验jdk是否成功

二：搭建为分布式

1.解压hadoop

2.进入hadoop主目录

3.获取JAVA_HOME的目录

4.修改hadoop-env.sh的JAVA_HOME

5.修改mapred-env.h的JAVA_HOME

6.修改yarn-env.sh的JAVA_HOME

7.配置core-site.xml

8.修改slave的配置

9.修改hdfs.site.xml

10.检验hdfs

11.格式化hdfs

12.启动namenode 以及datanode进程

13.查看浏览器，方便管理HDFS

14.在HDFS上新建文件夹

15.在HDFS上上传文件

 

16.在HDFS上读取wenjian

17.在HDFS上下载文件到本地

18.配置yarn-site.xml

19.启动resourcemanager与nodemanager

20.在浏览器上运行yarn，方便管理

21.配置MapReduce的配置，MapReduce.site.xml

表示mapreduce将要运行在yarn上

22.新建将要测试的文件

23.在HDFS上新建文件目录

24.上传本地的wc.input文件进刚刚新建的目录

25.在yarn上运行计算

26.查看结果

三：细节

1.配置历史服务器，修改mapred-xite.xml

2.启动服务器

3.建议历史服务器在yarn启动之后紧接着启动，这样就可以看到二.26的结果

4.日志聚集功能，修改yarn.site.xml

5.重新启动resourcemanager，nodemanager，jobhistory

6.再次在yarn上运行程序

7.这时就可以点击logs，在yarn的管理页面上观看日志文件

8.logs点击的结果

9.HDFS用户权限的修改，点击tmp时，出现的问题效果

10.修改hdfs.xite.xml,使hdfs不在检查用户权限

11.重新启动HDFS

12.再次点击tmp，即可进入

13.修改静态用户名，之前的状态

14.修改core.site.xml

15.重启HDFS和YARN

16.重启任务

17.这时静态用户将会变成设置的用户