Hadoop环境如何配置及启动-成都快上网建站

Hadoop环境如何配置及启动

这篇文章主要介绍Hadoop环境如何配置及启动,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

目前累计服务客户上千家,积累了丰富的产品开发及服务经验。以网站设计水平和技术实力,树立企业形象,为客户提供网站建设、成都网站设计、网站策划、网页设计、网络营销、VI设计、网站改版、漏洞修补等服务。创新互联始终以务实、诚信为根本,不断创新和提高建站品质,通过对领先技术的掌握、对创意设计的研究、对客户形象的视觉传递、对应用系统的结合,为客户提供更好的一站式互联网解决方案,携手广大客户,共同发展进步。

core-site.xml



fs.defaultFS
hdfs://slave2.hadoop:8020
true


hadoop.tmp.dir
file:/home/hadoop/hadoop-root/tmp

 
fs.checkpoint.period 
300 
The number of seconds between two periodic checkpoints. 
 
 
fs.checkpoint.size 
67108864 
The size of the current edit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.period hasn't expired.   
 
 
fs.checkpoint.dir 
${hadoop.tmp.dir}/dfs/namesecondary 
Determines where on the local filesystem the DFS secondary namenode should store the temporary images to merge.If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy. 
 

hdfs-site.xml



dfs.namenode.name.dir
/home/hadoop/hadoop-root/dfs/name
true


dfs.datanode.data.dir
/home/hadoop/hadoop-root/dfs/data
true


dfs.replication
3


dfs.permissions
false


  
dfs.namenode.secondary.http-address
slave1:50090 

mapred-site.xml


 
   mapreduce.framework.name
   yarn
 



    mapred.system.dir
    /home/hadoop/hadoop-root/mapred/system
    true


    mapred.local.dir
    /home/hadoop/hadoop-root/mapred/local
    true



    mapreduce.tasktracker.map.tasks.maximum
    2


    mapreduce.tasktracker.reduce.tasks.maximum
    1



    mapreduce.job.maps
    2


    mapreduce.job.reduces
    1



mapreduce.tasktracker.http.threads
50


io.sort.factor
20


mapred.child.java.opts
-Xmx400m


mapreduce.task.io.sort.mb
200


mapreduce.map.sort.spill.percent
0.8


mapreduce.map.output.compress
true


mapreduce.map.output.compress.codec
org.apache.hadoop.io.compress.DefaultCodec


mapreduce.reduce.shuffle.parallelcopies
10

一、恢复hadoop
1、停止所有服务
2、删除/home/hadoop/hadoop-root/dfs下的data和name,并且重新建立
3、删除/home/hadoop/hadoop-root/tmp下的文件
4、在namenode节点执行 hadoop namenode -format
5、启动hadoop服务

-----自此hadoop恢复----
6、停止hbase服务,停不掉就杀掉
7、(多个节点)进入/tmp/hbase-root/zookeeper 删除所有文件
8、启动hbase服务

以上是“Hadoop环境如何配置及启动”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!


当前题目:Hadoop环境如何配置及启动
当前地址:http://kswjz.com/article/gesgsd.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流