扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
(源文地址:https://www.cnblogs.com/lfhappy/p/11482195.html)
发展壮大离不开广大客户长期以来的信赖与支持,我们将始终秉承“诚信为本、服务至上”的服务理念,坚持“二合一”的优良服务模式,真诚服务每家企业,认真做好每个细节,不断完善自我,成就企业,实现共赢。行业涉及成都办公窗帘等,在成都网站建设、全网营销推广、WAP手机网站、VI设计、软件开发等项目上具有丰富的设计经验。2、hadoop需要JDK,如果已经安装,跳过此步骤,还没有,需要安装JDK-->配置JAVA_HOME
3、解压下载好的hadoop安装包到指定的位置。
==》没有JKD则会报异常: Caused by: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.
4、GitHub上下了个3.1的winutils.exe,链接https://github.com/s911415/apache-hadoop-3.1.0-winutils/blob/master/bin/hadoop.dll覆盖原bin目录下面的内容即可
5、配置信息
==>首先配置环境变量HADOOP_HOME:[安装位置],再配置系统变量path中添加%HADOOP_HOME%in
5.1 hadoop-env.sh
修改JDK的路径@rem The java implementation to use. Required.
set JAVA_HOME=D:JavaJDK1.8
1 2 3 mapreduce.framework.name 4 yarn 5 6
5.3 core-site.xml--配置NameNode访问名字
1 2 3 fs.default.name 4 hdfs://localhost:9001 5 6
5.4 hdfs-site.xml--分布式系统高可用配置
1 2 3 dfs.replication 4 1 5 6 7 dfs.namenode.name.dir 8 ../dfs/name 9 10 11 dfs.datanode.data.dir 12 ../dfs/data 13 14 15
5.5 yarn-site.xml
1 2 3 4 yarn.nodemanager.aux-services 5 mapreduce_shuffle 6 7
6、cmd运行hadoop
说明window下hadoop部署成功
注:在本地不需要启动hadoop。
7、本地如果需要启动hadoop
1.运行cmd窗口,切换到hadoop的bin目录执行hdfs namenode -format。
2.运行cmd窗口,切换到hadoop的sbin目录,执行start-all.cmd。
如果该文章对你有所帮助,请点个赞支持下,谢谢!我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流