扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
本篇内容介绍了“Hadoop windows本地环境安装教程”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
10余年的莱芜网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。营销型网站建设的优势是能够根据用户设备显示端的尺寸不同,自动调整莱芜建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。创新互联从事“莱芜网站设计”,“莱芜网站推广”以来,每个客户项目都认真落实执行。
有时候需要调试hadoop的程序,如果都要传到linux上,非常不方便。我们可以搭建一个windows的单机版本hadoop环境,测试我们的代码。
一、下载所需文件
JDK下载地址,jdk1.8下载
Hadoop下载,hadoop下载,进去后找到一个版本然后点击 Binary download 下载到本地。
Hadoop windows环境编译工具,winutils下载 ,下载后解压出来
二、安装文件
jdk安装,省略
hadoop安装,由于下载的hadoop文件是不用安装的,我们只需要解压出来就可以了 解压目录 D:\dev-tools\hadoop\hadoop-2.8.3
三、环境变量配置
jdk,省略
四、配置hadoop文件
配置 core-site.xml文件
hadoop.tmp.dir /D:/data/hadoop fs.default.name hdfs://localhost:9000
2. 配置mapred-site.xml
mapreduce.framework.name yarn
配置 hdfs-site.xml
dfs.replication 1
配置 yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
找到 hadoop-env.cmd 文件并打开,添加下面配置。
set JAVA_HOME=%JAVA_HOME% set HADOOP_HOME=D:\dev-tools\hadoop\hadoop-2.8.3 rem %HADOOP_HOME%\bin 加入到运行时path中 set PATH=%PATH%;%HADOOP_HOME%\bin
五、替换文件
解压我们之前下载的 winutils-master 文件,找到符合自己的版本的bin目录,把 winutils.exe和hadoop.dll 复制到 bin 目录
六、运行
1.运行cmd窗口,执行hdfs namenode -format ,格式化hdfs文件系统。
2.运行cmd窗口,切换到hadoop的sbin目录,执行start-all.cmd启动hadoop,包括yarn/hdfs
七、测试
打开下面的网页可以查看hdfs状态
在hadoop 2.x中,管理界面为 http://localhost:50070
在hadoop 3.0中,已经改为 http://localhost:9870
打开下面的网页可以查看yarn状态
http://localhost:8088/cluster
配置好的hadoop 2.8.3,已经上传到网盘,可以自行下载后配置环境变量即可使用
“Hadoop windows本地环境安装教程”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流