Hadoop集群启动但是没有datanode/namenode的情况-创新互联-成都快上网建站

Hadoop集群启动但是没有datanode/namenode的情况-创新互联

文章目录
  • 前言
  • 检查配置文件
  • 检查ssh免密
  • 重复初始化
  • 总结

成都创新互联-专业网站定制、快速模板网站建设、高性价比溧水网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式溧水网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖溧水地区。费用合理售后完善,十余年实体公司更值得信赖。前言

Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群,一开始是主节点没启动起来,因为配置文件看走眼,配错了,然后又重新初始化了一次,然后可能因为重复初始化,导致datanode又没了,然后一直在尝试,一直在搜到底什么原因。目前根据搜索到的以及老师说的总结起来有三点:
1.配置文件出错了
2.ssh免密没做好
3.重复初始化
这三个问题应该在之前不断循环往复的出现…
直到这周终于把集群启动起来并且能够正常工作了。

检查配置文件

虽然配置的可能优点问题,但是还是可以参考我们课上讲的配置文件,因为至少可以成功运行:
Hadoop集群配置运行

建议直接复制粘贴配置文件的内容,因为打错了又找不到错误的感觉,真的很难受。

检查ssh免密

ssh免密最好每次启动前都检查一次,因为ip地址极有可能悄悄发生改变
记得ssh自己也得做
记得ssh自己也得做
记得ssh自己也得做
别能ssh别人,ssh自己不了
ssh免密方法可以参考:
Unbuntu使用手机热点创建两台电脑的集群(实现ssh免密通信)
同时,网速也得快点,因为如果延迟很大,就极有可能掉节点,导致问题出现,不过如果节点并不多,网速开百度能秒开,应该问题不是很大。

重复初始化

看网上说,重复初始化导致namenode的id和datanode的id不一致导致了节点的丢失,没事,那咱们就把初始化出来的文件删了,重新初始化就行了。

至于文件的位置,看配置文件里的位置

拿我的配置来说:
core-site.xml中

fs.defaultFShdfs://master:9000hadoop.tmp.dir/home/bigdata3/hadoopdata1

其中/home/bigdata3/hadoopdata1这个文件就是初始化生成的文件。
在集群里的所有电脑都把这个文件得删了
在集群里的所有电脑都把这个文件得删了
在集群里的所有电脑都把这个文件得删了
然后
重新初始化:

hadoop namenode -format

我们会看到这个文件重新生成了,那就是初始化生成的。

切记重新初始化的操作得集群没启动的时候做,如果你的集群已经启动了
就先:

stop-all.sh

把集群先关了再操作

总结

如果上述三条都检查了一遍,然后启动集群

start-all.sh

不出意外应该是能够正常运行的。
我们就是这样,一个坑接着一个坑,先是配置文件没搞好,然后发现ssh免密偶尔失效,最后是确定配置文件没问题,ssh免密刚做好,然后删文件重新初始化,就成功启动了。

可以检查一下节点情况

jps

此时如果可以访问
http://master:8080
http://master:50070
并且能够传文件上去,那应该没什么问题了。
如果上述三条都做了还是不能启动成功,那我也爱莫能助了…

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


当前标题:Hadoop集群启动但是没有datanode/namenode的情况-创新互联
浏览地址:http://kswjz.com/article/pedep.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流