Hadoop出现的错误及处理

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

1.local host is: (unknown); destination host is: "yun-ubuntu":8031;

原因：yun-ubuntu这个host 并不能ping通

  $ ping yun-ubuntu

  $ SHUTDOWN_MSG: Shutting down NodeManager at localhost/127.0.0.1

解决办法：

    $ vi /etc/hosts

    增加127.0.0.1的映射

2.多次初始化NameNode导致DataNode启动失败

datanode的clusterID 和 namenode的clusterID 不匹配

3.默认进入safemode ,由于块错误率阈值太高

进入saftmode解决方案

异常：Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe not found

原因：hive找不到正则的包 hive-contrib-x.x.x.jar

解决：临时配置包路径 add jar /opt/softwares/hive-1.2.2/lib/hive-contrib-1.2.2.jar，永久配置路径

添加正则表达式的包

<property>

  <name>hive.aux.jars.path</name>

  <value>file:///opt/softwares/hive-1.2.2/lib/hive-contrib-1.2.2.jar</value>

  <description>Added by tiger.zeng on 20120202.These JAR file are available to all users for all jobs</description>

</property>