[BD] 阿里云部署hadoop集群

安装方式

• rpm包安装：下载rpm文件后离线装，安装过程中会下载相应依赖
• bin文件安装：在线安装
• tar包安装

步骤

• 下载安装文件：买香港机器，按量付费，传到windows电脑
• 购买三台，按需付费，2G 8核
• 开放端口：ECS实例>更多>安全组配置>配置规则
• 关闭selinux：disabled（默认关闭）
• 设置时区：date 查看
• 时间同步（CentOS 7）
  • 第一台通过网络同步，第二、三台与第一台同步
  • systemctl stop ntpd
  • systemctl disable ntpd
  • /usr/sbin/ntpdate hadoop001
  • crontab -e：00 00 * * *  /usr/sbin/ntpdate hadoop001（每天0点同步一次）
  • 云主机可不做，非云主机（虚拟机 / 公司内部机器）一定要做
• 安装 jdk
  • /usr/java
  • 解压之后，修正所属用户及用户组
  • chown -R root:root /usr/java/jdk1.8.0_45
  • 设置环境变量：scp /etc/profile hadoop002:/etc/
• 离线部署 MySQL
  • innodb_buffer_pool_size=2G（生产环境12G）
  • jdbc
• 离线部署 CM
  • 文件3
  • 解压到 mkdir /opt/cloudera-manager
  • 修改配置
  • agent：hadoop001-hadoop003
  • server：hadoop001
  • 创建 cloudera-scm
  • 修改用户组：chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager
• 离线源部署 Parcel 文件（hadoop001）
  • 文件1 2 5
  • mkdir -p /opt/cloudera/parcel-repo
  • 安装包 mv 到目录，重命名sha去掉1
  • 校验文件是否完整（防止网络下载丢包）
  • chown -R cloudera-scm:cloudera-scm /opt/cloudera
• 创建目录
  • 所有节点创建大数据软件的安装目录，用户和用户组权限
  • mkdir -p /opt/cloudera/parcels
  • chown -R cloudera-scm:cloudera-scm /opt/cloudera
• 启动 Server 和 agent
  • /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server
  • 等待一分钟，看日志是否报错
  • /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent
  • 云主机开启7180端口

检查无误后，可进行具体组件的安装

BIpNgCNrgz

参考

parcel 和 package 安装

https://www.cnblogs.com/yycc/p/7427457.html

CDH 5.16离线部署教程

https://www.bilibili.com/video/av52167219?from=search&seid=17801304070861960646

博客教程

https://blog.csdn.net/byweb/article/details/83685757

https://blog.csdn.net/bingdianone/article/details/87867428

https://developer.aliyun.com/article/622223

https://www.cnblogs.com/yangshibiao/p/10862632.html

https://juejin.im/post/5cee40e66fb9a07f0b03a4ef

官网文档

https://docs.cloudera.com/documentation/enterprise/5-14-x/topics/cm_ig_custom_installation.html#cmig_topic_21