centoos 安装hadoop集群

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

环境准备

两台centoos系统服务器

H30(192.168.3.238)

H31(192.168.3.237)

H30为master，H31为slave，slave后续还可以再加机器；

先通过xshell 登录到H30进行配置

1、添加主机名解析

将如下记录添加到/etc/hosts 中

192.168.3.238 H30

192.168.3.237 H31

H31那台机器上也要执行同样的操作，注意要保证两台机器要内互通，并且主机名要为H30和H31

如果主机名不一样可在/etc/sysconfig/network中进行修改，修改完记得重启机器生效；

2、安装java环境

yum remove java* -- 卸载之前安装的版本

yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel --通过yum安装jdk1.7

执行rpm -ql java-1.7.0-openjdk-devel | grep '/bin/javac'可查看安装路径

将/bin/javac前面的那一段作为JAVA_HOME的值，在~/.bashrc.sh文件底部添加

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.141.x86_64/

然后执行source ~/.bashrc.sh 让配置生效；

3、配置ssh免密码登录

先查看是否安装ssh

rpm -qa | grep ssh

没有安装则执行如下命令进行安装

yum install openssh-clients

yum install openssh-server

安装完成后切换的~/.ssh

ssh-keygen -t rsa --执行三次回车

cat id_rsa.pub >> authorized_keys -- 加入授权

chmod 600 ./authorized_keys -- 修改文件权限

将生成的authorized_keys 拷贝到H31上

scp ./authorized_keys root@H31:~/.ssh/ -- 需要输入那台机器的密码

拷贝完成执行shh H31 无需输入密码就可登录则表示安装成功

4、安装hadoop

4.1，下载

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载;

下载时请下载 hadoop-2.x.y.tar.gz这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用

4.2，解压

下载完成后执行如下命令

tar -xzvf hadoop-2.6.1.tar.gz -C /usr/local -- 将包解压到/usr/local 中

mv hadoop-2.6.1 hadoop--重命名

chown -R root:root hadoop-- 修改文件属主和属组

4.3，配置hadoop环境变量

配置hadoop环境变量，将如下内容拷贝到~/.bashrc文件底部

export HADOOP_HOME=/usr/local/hadoop#此处为刚刚解压出来重命名的hadoop路径
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

4.4，修改hadoop配置

hadoop/etc/hadoop下有slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 五个文件需要修改

slaves（如需新增slave，则要将主机名填入到此文件中）

H31

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://H30:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>H30:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>H30:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>H30:19888</value>
</property>
</configuration>

yarn-site.xml：

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>H30</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

4.5，配置slave

tar -zcf hadoop.tar.gz ./hadoop -- 对配置好的master hadoop目录打包，如果hadoop中已经生成了tmp要进行删除

scp ./hadoop.tar.gz H31:/usr/local--通过scp命令将打包好的hadoop发送到H31的/usrlocal中

传送完成后通过xshell 登录到H31上，按照步骤 2 的操作安装好jdk，再按照步骤 4.3 将hadoop环境变量添加好后切入到/usr/local目录

tar -zxf hadoop.tar.gz -C /usr/local-- 将H31拷贝过来的包进行解压到/usr/local中

5、格式化master节点

重新回到H30机器，执行

hdfs namenode -format-- 注意只有在首次运行需要格式化，之后不需要了

6、启动hadoop

在启动前先对防火墙进行关闭，如果H31也开启了防火墙同样要进行关闭

service iptables stop

接着可以启动 hadoop 了

start-dfs.sh--关闭为 stop-dfs.sh
start-yarn.sh--关闭为 stop-yarn.sh
mr-jobhistory-daemon.sh start historyserver --关闭为 mr-jobhistory-daemon.sh stop historyserver

通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程，如下图所示：