扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章主要为大家展示了“hadoop问题有哪些”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“hadoop问题有哪些”这篇文章吧。
10年积累的成都网站建设、成都网站设计经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先做网站后付款的网站建设流程，更有陈巴尔虎免费网站建设让你可以放心的选择与我们合作。
1、hadoop重启不能找到namenode，可能原因是没有指定临时存储目录，默认会存储到root根目录下的tmp文件中，重启后会消失，所以在core-site.xml文件中加入临时文件配置即可！
2、hadoop格式化会询问yes or no，yes大写！
3、配置SSH时，每台机器都需要配置自己的为密码，master与slaves互相持有其公钥！
4、hadoop命令操作Java，
bin/hadoop fs -ls,
将文件放到hadoop文件下，bin/hadoop fs -put ../input ./in
删除文件 bin/hadoop fs -rmr file,并没有物理删除，只是放在回收站中，里面可以设置时间阈值，超过阈值删除。
恢复与清空 bin/hadoop fs -move file
快照：
5、修改hdfs源码实现，namenode多点，这样一个namenode宕机不至于造成损失！《HDFS高可用》
6、HDFS思想是硬件设备坏掉是常态，解决这个的方法就是冗余！
7、datanode一次写入不能修改！
8、心跳机制：datanode向namenode定期发送信号，告诉namenode我还活着！
9、设置hadoop-classpath! hadoop环境变量！
10、分片问题，分片只能非常完全接近block。
性能调优
11、combiner 预处理过程，减少带宽，传输速度快！可以优化在此。
12、处理小文件，将小文件合成大文件。
13、减少map阶段的输出。
14、maperd-site.xml设置JVM重用。
15、如果maperd任务还未完成就出现故障，jobtracker会要求其他节点重新执行该maperd任务。
16、如果reduce任务还未完成就出现故障，jobtracker会要求其他节点继续执行reduce任务。
以上是“hadoop问题有哪些”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网