在虚拟机下安装hadoop集成环境（centos7+hadoop-2.6.4+jdk-7u79）

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

【1】64为win7系统，用virtualbox建立linux虚拟机时，为什么没有64位的选项？百度

【2】在virtualbox上安装centos7

【3】VirtualBox虚拟机网络环境解析和搭建-NAT、桥接、Host-Only、Internal、端口映射（设置网络连接模式为桥接模式）

如果出现主机无法ping通虚拟机的情况，请首先确认虚拟机防火墙已关闭。（win7防火墙怎么关防火墙关闭命令执行步骤）

【4】virtualbox以及相应VBoxGuestAdditions下载地址： http://download.virtualbox.org/virtualbox

【5】vbox虚拟机怎么样克隆多个虚拟机

【6】hadoop学习之hadoop完全分布式集群安装

【7】深刻认识linux系统细说linux挂载——mount，及其他……

【8】centos命令大全

注意：

主机基本环境搭建

（1）sudo yum -y install wget 安装wget工具百科yum 以及RPM Fusion

（2）下载jdk的包 wget -c -P /root/Downloads --no-check-certificate http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.rpm 参考帖子

（3）4种安装jdk文件的方法

jdk1.7官方下载 hadoop下载下载Hadoop版本：http://mirror.bit.edu.cn/apache/hadoop/common/

采用其中一种yum安装

yum search java|grep jdk

yum install java-1.7.0-openjdk

vi /etc/profile卸载yum安装的openjdk 卸载注意事项1 卸载注意事项2

（4）http://blog.csdn.net/bruceyang2009lzu/article/details/28595571

（5）修改主机名：

hostname XXXX
这样临时生效
/etc/hostname 修改这个是永久的，但是要重启生效

（6）linux命令重启主机后修改名称生效

shutdown -r now ：表示现在重启计算机！

（7）配置hosts文件，配置时注意事项

实践脚本：

##最初采用yum安装的jdk，但安装openjdk后，发现安装的目录下缺少dt.jar和tools.jar文件，
##于是卸载openjdk，用xftp上传jdk-7u79-linux-x64.rpm至指定的目录
##jdk默认安装在了/usr/java目录下
rpm -qa | grep openjdk
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64
rpm -e jdk-1.7.0_79-fcs
##############安装JDK
rpm -ivh jdk-7u79-linux-x64.rpm

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

touch HelloWorld.java
vi HelloWorld.java

将以下代码复制到 HelloWorld.java 中：
public class HelloWorld {
public static void main(String[] args) {
System.out.println("Hello, World! This is a test code by nixCraft!");
}
}

复制进去后，保存关闭文件。编译和运行这个小程序，输入以下命令:
javac HelloWorld.java
java HelloWorld

会得到以下显示：
Hello, World! This is a test code by nixCraft!

#################安装SSH
rpm -qa |grep openssh

rpm -qa |grep rsync

yum install ssh 安装SSH协议
yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）
service sshd restart 启动服务

ssh免密码验证配置
首先在S1PA11机器配置（该机器是master）
进去.ssh文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
生成秘钥 ssh-keygen : ssh-keygen -t rsa ,一路狂按回车键就可以了
最终生成（id_rsa,id_rsa.pub两个文件）
生成authorized_keys文件：[spark@S1PA11 .ssh]$ cat id_rsa.pub >> authorized_keys
在另一台机器S1PA222（slave机器）也生成公钥和秘钥
步骤跟S1PA11是类似的
进去.ssh文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
生成秘钥 ssh-keygen :ssh-keygen -t rsa ,一路狂按回车键就可以了
最终生成（id_rsa,id_rsa.pub两个文件）

将S1PA222机器的id_rsa.pub文件copy到S1PA11机器：[spark@S1PA222 .ssh]$ scp id_rsa.pub spark@10.58.44.47:~/.ssh/id_rsa.pub_sl
此切换到机器S1PA11 合并authorized_keys; [spark@S1PA11 .ssh]$ cat id_rsa.pub_sl >> authorized_keys

将authorized_keyscopy到S1PA222机器（/home/spark/.ssh）：[spark@S1PA11 .ssh]$ scp authorized_keys spark@10.126.45.56:~/.ssh/
现在讲两台机器 .ssh/ 文件夹权限改为700，authorized_keys文件权限改为600（or 644）
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

OK 完成以上操作后可以开始ssh验证了
S1PA11j机器sshS1PA222
[spark@S1PA11 .ssh]$ ssh S1PA222
Last login: Mon Jan 5 15:18:58 2015 from s1pa11
[spark@S1PA222 ~]$ exit
logout
Connection to S1PA222 closed.

###############hadoop环境变量安装和卸载
cp /usr/lusq/hadoop-2.7.3-src.tar.gz /home/hadoop
tar -zxvf hadoop-2.7.3-src.tar.gz

vi /etc/profile 编辑环境变量
# set hadoop path

export HADOOP_HOME=/usr/lusq/hadoop
export PATH=$PATH :$HADOOP_HOME/bin

source /etc/profile 使环境变量生效
(小插曲：
在设置环境变量时，编辑profile文件没有写正确，导致在命令行下 ls等命令不能够识别。
export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin
这样可以保证命令行命令暂时可以使用。命令执行完之后先不要关闭终端
)
用vi命令对hadoop的配置文件进行编辑。
~/hadoop/etc/hadoop/hadoop-env.sh
~/hadoop/etc/hadoop/yarn-env.sh
~/hadoop/etc/hadoop/slaves
~/hadoop/etc/hadoop/core-site.xml
~/hadoop/etc/hadoop/hdfs-site.xml
~/hadoop/etc/hadoop/mapred-site.xml
~/hadoop/etc/hadoop/yarn-site.xml

###############给剩余的机器安装
scp -r /usr/lusq/hadoop root@10.10.100.115:/usr/lusq/

###########启动和验证
1、格式化namenode: [spark@S1PA11 hadoop-2.6.0]./bin/hdfs namenode -format
2、启动hdfs: [spark@S1PA11 hadoop-2.6.0]./sbin/start-dfs.sh
3、停止hdfs: [spark@S1PA11 hadoop-2.6.0]./sbin/stop-dfs.sh
[spark@S1PA11 hadoop-2.6.0]jps

###########网页查看集群
http://10.10.100.105:50070/dfshealth.html#tab-overview