正文
hadoop在windows配置,window hadoop
小程序:扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序
【扫一扫了解最新限行尾号】
复制小程序
求助,在windows下安装hadoop遇到的一个问题
1、不建议先在window/cygwin上测试,直接用这个环境有很多问题,都是不好理解的。
2、先Telnet看看端口开启了没有 如果确认开启了,应该是防火墙的问题,需要开放相关端口。
3、直接通过windows上Eclipse右击main程序的java文件,然后run as application或选择hadoop插件run on hadoop来触发执行MapReduce程序的测试。
4、(1):终极办法强制退出安全模式(safemode)hadoop dfsadmin -safemode leave 这种方式虽然快,但会有遗留问题,我在用habse的时候就遇到过,很麻烦,然后你就用“hadoop fsck /”工具慢慢恢复吧。
5、通常都是防火墙设置问题, 你需要检查Windows防火墙配置, 如果linux也有防火墙,也需要检查配置策略。
6、在左边的 project explorer 上头会有一个 DFS locations的标志在 windows - preferences里面会多一个hadoop map/reduce的选项,选中这个选项,然后右边,把下载的hadoop根目录选中 如果能看到以上两点说明安装成功了。
window上的myeclipse怎么配置hadoop
1、) 重启MyEclipse5 添加Mapreduce视图 “windows”- open perspective - other,会看到一只小象map/reduce(如无,请勾上“show all”)。
2、之后就是调出mapreduce视图,操作流程是MyEclipse-Window-OpenPerspective-other-勾选show all-看见一个小象Map/Reduce 就是它了。
3、首先要安装jdk。打开MyEclipse,点击工具栏上的window -- preferences选项,如图所示。在打开的页面点击 Java--Installed JREs ,然后点击Add按钮。如图所示。在新的页面选择standard VM,然后点击Next。
4、打开Linux终端,输入以下命令来创建一个用户。su password:useradd hadoop passwd hadoop New passwd:Retype new passwd SSH设置和密钥生成 SSH设置需要在集群上做不同的操作,如启动,停止,分布式守护shell操作。
5、需要配置的文件有core-site.xml和hdfs-site.xml这两个文件他们都位于${HADOOP_HOME}/etc/hadoop/文件夹下。
6、安装并激活Myeclipse后的一项重要工作就是进行Myeclipse的配置。首先,打开Myeclipse2014。找到Myeclipse2014中Window这个选项。在Window这个选项中找到Preferences这个选项。
如何在win7下的eclipse中调试Hadoop2.2.0的程序
使用远程启动配置启动 Eclipse,并指定远程应用程序的目标 VM 地址。为此,单击 Run Debug Configurations,然后在 Eclipse 菜单中双击 Remote Java Application。从最新创建的启动配置中为目标应用程序指定 IP 和端口。
具体步骤,改写YARNRunner源码中的一些方法(YARNRunner.java源码类在hadoop-mapreduce-client-jobclient的maven项目中的org.apache.hadoop.mapred包下)需要在src下建同样的包名,类名,覆盖原来jar包里面自带的类。
(1)点击打开透视图按钮,选择调试透视图,则打开调试透视图界面,然后先设置断点,按调试按钮则可以调试程序。(2)或者直接点击调试按钮,那个虫子样子的按钮,然后就会进入调试透视图的界面。
windows不能执行hadoop吗为什么非要用linux执行hadoop
linux为什么不能执行windows程式 首先系统是不一样的。windows系统是避源的,linux 系统是开源的,Linux系统一般是命令列的,而windows 系统是偏向于图形化的。就像苹果手机是不能允许安卓手机的软体的。
可以这么说,因为不管是在linux系统,还是在windows系统上, 搭建集群环境,都需要提供linxu系统,linux系统本省不必说了。windows下运行hadoop的话,无非两种方法,一是搭建虚拟机,然后安装linxu系统。
【答案】:你最好不要这么做,Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系统。在Hadoop安装中,Windows通常不会被使用,因为会出现各种各样的问题。因此,Windows绝对不是Hadoop的推荐系统。
老师给出的建议操作系统是Linux。诚然Linux下Hadoop的集群开发是有优势的,但是在编写代码时Linux下的Java配合Hadoop的debug属实是过于复杂,相比之下课程的考察点是对MapReduce的使用,因此使用Windows环境开发也不是不能理解。
支持windows平台,但是没有在windows平台上面进行过严格测试,最好只作为开发平台。可以使用cygwin+ssh+windows+hadoop来搭建开发环境,具体请参考其他资料,百度谷歌之。
因为其是基于windows操作系统设计的。通过写代码的方式来操作hdfs,虽然hdfs是在linux里面搭建的,通过配置windows环境去连接linux,就可以操作hdfs。整个hadoop工作之时需要依赖windows操作系统的平台。下载hadoop。
关于分布式Hadoop在WINDOWS上操作问题
1、第一点就是: windows上执行mapreduce,必须打jar包到所有slave节点才能正确分布式运行mapreduce程序。
2、【答案】:你最好不要这么做,Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系统。在Hadoop安装中,Windows通常不会被使用,因为会出现各种各样的问题。因此,Windows绝对不是Hadoop的推荐系统。
3、通常都是防火墙设置问题, 你需要检查Windows防火墙配置, 如果linux也有防火墙,也需要检查配置策略。
4、下操作,可能遇到各种问题),一般需花费几十分钟到几个小时。注意,下载过程会用到git,因此应该事先安装了git。
我已经成功在windows下配置了hadoop,启动成功后,利用jps命令,居然发现什...
jps是java的工具,能够显示系统当前运行的java程序及其进程号。运行jps没有显示,应该是没有配置好系统的path、java_home和classpath。执行hadoop fs -ls等同于hadoop fs -ls .该命令查看的是hdfs的/user/hadoop目录。
启动 HDFS 和 YARN 后,如果启用 jps 只有 jps,可能是因为没有正确配置 Hadoop。您可以尝试以下步骤: 确认 Hadoop 相关进程是否启动成功。您可以通过 jps 命令来查看 Hadoop 相关进程是否启动成功。
检查配置是否有错,如果检查感觉无误的话直接查看错误日志,有针对的去修改。
commandnotfound指的是,你没有把HADOOP_HOME放到.bashrc这个文件中,就像windows下的环境变量一样。当然你也可以进到hadoop安装的目录下的bin,目录下执行hadoop。模式是结构主义用语。指用来说明事物结构的主观理性形式。
用jps命令查看Java进程:cy@slave2:~$ jps 2913 TaskTracker 2731 DataNode 3147 Jps 如果三台虚拟机用jps命令查询时如上面显示的那样子,就说明hadoop安装和配置成功了。
这说明你没有配置成功。jsp:是查看当前系统中用java的进程,没有即没成功。
hadoop在windows配置的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于window hadoop、hadoop在windows配置的信息别忘了在本站进行查找喔。