这篇文章将为大家详细讲解有关hadoop2.7.2集群如何搭建，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

创新互联公司是一家专业提供环翠企业网站建设,专注与网站建设、网站设计、H5网站设计、小程序制作等业务。10年已为环翠众多企业、政府机构等服务。创新互联专业网站建设公司优惠进行中。

集群规划：

主机名      IP               安装的软件               运行的进程

Hadoop1  192.168.111.143   jdk、hadoop            NameNode、DFSZKFailoverController(zkfc)、ResourceManager

Hadoop2  192.168.111.144   jdk、hadoop            NameNode、DFSZKFailoverController(zkfc)、ResourceManager

Hadoop3  192.168.111.145  jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain

Hadoop4  192.168.111.146  jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain

Hadoop5  192.168.111.147  jdk、hadoop、zookeeper  DataNode、NodeManager、JournalNode、QuorumPeerMain

1.    zookeeper集群搭建

1.1    解压

tar -zxvf zookeeper-3.4.9.tar.gz -C /home/hbase

1.2    修改配置

cd /home/hbase/zookeeper-3.4.9/conf/

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改：

dataDir=/home/hbase/zookeeper-3.4.9/tmp

在zoo.cfg最后添加：                           

server.1=hadoop3:2888:3888
server.2=hadoop4:2888:3888
server.3=hadoop5:2888:3888

然后创建一个tmp文件夹

mkdir /home/hbase/zookeeper-3.4.9/tmp

再创建一个空文件

touch /home/hbase/zookeeper-3.4.9/tmp/myid

最后向该文件写入ID

echo 1 >> /home/hbase/zookeeper-3.4.9/tmp/myid

1.3    将配置好的zookeeper拷贝到其他节点

scp -r /home/hbase/zookeeper-3.4.9/ hadoop4: /home/hbase/                   
scp -r /home/hbase/zookeeper-3.4.9/ hadoop5: /home/hbase/

注意：修改hadoop4、hadoop5对应/home/hbase /zookeeper-3.4.9/tmp/myid内容                           

hadoop4：

    echo 2 >> /home/hbase/zookeeper-3.4.9/tmp/myid

hadoop5：

    echo 3 >> /home/hbase/zookeeper-3.4.9/tmp/myid

2.    安装配置hadoop集群（在hadoop1上操作）

2.1    解压

tar -zxvf hadoop-2.7.2.tar.gz -C /home/hbase/

2.2    配置HDFS

#将hadoop添加到环境变量中

vim /etc/profile
export JAVA_HOME=/home/habse/jdk/jdk1.7.0_79
export HADOOP_HOME=/home/habse/hadoop-2.7.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下

cd /home/habse/hadoop-2.7.2/etc/hadoop

2.2.1    修改hadoop-env.sh

export JAVA_HOME=/home/hbase/jdk/jdk1.7.0_79

2.2.2    修改core-site.xml

	

	

		fs.defaultFS

		hdfs://ns1

	

	

	

		hadoop.tmp.dir

		/home/habse/hadoop-2.7.2/tmp

	

	

	

		ha.zookeeper.quorum

		hadoop3:2181,hadoop4:2181,hadoop5:2181

	

2.2.3    修改hdfs-site.xml

        
                dfs.nameservices
                ns1
        
        
        
                dfs.ha.namenodes.ns1
                nn1,nn2
        
        
        
                dfs.namenode.rpc-address.ns1.nn1
                hadoop1:9000
        
        
        
                dfs.namenode.http-address.ns1.nn1
                hadoop1:50070
        
        
        
                dfs.namenode.rpc-address.ns1.nn2
                hadoop2:9000
        
        
        
                dfs.namenode.http-address.ns1.nn2
                hadoop2:50070
        
        
        
                dfs.namenode.shared.edits.dir
                qjournal://hadoop3:8485;hadoop4:8485;hadoop5:8485/ns1
        
        
        
                dfs.journalnode.edits.dir
                /home/hbase/hadoop-2.7.2/journal
        
        
        
                dfs.ha.automatic-failover.enabled
                true
        
        
        
                dfs.client.failover.proxy.provider.ns1
                org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        
        
        
                dfs.ha.fencing.methods
                
                        sshfence
                        shell(/bin/true)
                
        
        
        
                dfs.ha.fencing.ssh.private-key-files
                /root/.ssh/id_rsa
        
        
        
                dfs.ha.fencing.ssh.connect-timeout
                30000
        

2.2.4    修改mapred-site.xml

        
                mapreduce.framework.name
                yarn
        

2.2.5    修改yarn-site.xml

        
           yarn.resourcemanager.ha.enabled
           true
        
        
        
           yarn.resourcemanager.cluster-id
           yrc
        
        
        
           yarn.resourcemanager.ha.rm-ids
           rm1,rm2
        
        
        
           yarn.resourcemanager.hostname.rm1
           hadoop1
        
        
           yarn.resourcemanager.hostname.rm2
           hadoop2
        
        
        
           yarn.resourcemanager.zk-address
           hadoop3:2181,hadoop4:2181,hadoop5:2181
        
        
           yarn.nodemanager.aux-services
           mapreduce_shuffle
        

2.2.6    修改slaves

slaves是指定子节点的位置， hadoop1上的slaves文件指定的是datanode和nodemanager的位置                                    

hadoop3
hadoop4
hadoop5

2.2.7    配置免密码登陆

#首先要配置hadoop1到hadoop2、hadoop3、hadoop4、hadoop5的免密码登陆

#在hadoop1上生产一对钥匙

ssh-keygen -t rsa

#将公钥拷贝到其他节点，包括自己

ssh-coyp-id hadoop1

ssh-coyp-id hadoop2

ssh-coyp-id hadoop3

ssh-coyp-id hadoop4

ssh-coyp-id hadoop5

                           
#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置hadoop2到hadoop1的免登陆

在hadoop2上生产一对钥匙

ssh-keygen -t rsa

ssh-coyp-id -i hadoop1

2.3    将配置好的hadoop拷贝到其他节点

scp -r /home/habse/hadoop-2.7.2/ root@hadoop2:/home/habse/

scp -r /home/habse/hadoop-2.7.2/ root@hadoop3:/home/habse /

scp -r /home/habse/hadoop-2.7.2/ root@hadoop4:/home/habse /

scp -r /home/habse/hadoop-2.7.2/ root@hadoop5:/home/habse /

3.    第一次启动

3.1    启动zookeeper集群（分别在hadoop3、hadoop4、hadoop5上启动zk）

 cd /home/hbase/zookeeper-3.4.9/bin/

./zkServer.sh start

#查看状态：一个leader，两个follower

./zkServer.sh status

3.2    启动journalnode（分别在在hadoop3、hadoop4、hadoop5上执行）

cd /home/habse/hadoop-2.7.2

sbin/hadoop-daemon.sh start journalnode

#运行jps命令检验，hadoop3、hadoop4、hadoop5上多了JournalNode进程

3.3    格式化HDFS

 #在hadoop1上执行命令:

hdfs namenode -format

hdfs namenode -bootstrapStandby

3.4    格式化ZK(在hadoop1上执行即可)

hdfs zkfc -formatZK

3.5    启动HDFS(在hadoop1上执行)

sbin/start-dfs.sh

注意：

如果启动datanode时遇到找不到datanode所在的主机，首先检查slaves文件配置是否正确，如果没问题的话删除重新创建

3.6    启动YARN(hadoop1上执行)

sbin/start-yarn.sh

查看每台机器的进程：

到此，hadoop-2.7.2配置完毕，可以统计浏览器访问:

http://192.168.111.143:50070

NameNode 'hadoop1:9000' (active)

http://192.168.111.144:50070

NameNode 'hadoop2:9000' (standby)

Datanode：

                                 

所以hadoop集群安装完成后首先启动zookeeper和journalnode，然后格式化HDFS和ZKFC，然后启动namenode，resourcemanager，datanode

4.    startup与shutdown

4.1    Hadoop Startup

1.        ./zkServer.sh start(hadoop3、hadoop4、hadoop5)

2.       ./hadoop-daemon.sh start journalnode(hadoop3、hadoop4、hadoop5)

3.       hdfs zkfc -formatZK(hadoop1)

4.       hdfs namenode -bootstrapStandby(hadoop2)

5.       hdfs zkfc -formatZK(hadoop1)

6.       ./start-dfs.sh (hadoop1)

7.       ./start-yarn.sh(hadoop1)

8.       如果哪个进程没有启动，那么单独在那台机器上执行启动命令

9.       ./yarn –daemon start proxyserver

10.   ./mapred –daemon start historyserver

说明：

格式化工作仅在第一次启动hadoop之前完成(步骤2,3,4,5)，以后不用，如果以后启动过程中有问题可以重新格式化

单独启动resourcemanager：./yarn-daemon.sh start resourcemanager      

单独启动namnode：./hadoop-daemon.sh start namenode

单独启动zkfc：./yarn-daemon.sh start zkfc

4.2    Hadoop shutdown

1.       ./stop-dfs.sh

2.       ./stop-yarn.sh

3.       ./yarn –daemon stop proxyserver

4.       ./mapred –daemon stop historyserver

5.    主备切换测试

杀掉当前状态为active的hadoop1 的namenode进程，可以看到hadoop2由standby变为active，再启动hadoop1的namenode则发现hadoop1的状态为standby

关于“hadoop2.7.2集群如何搭建”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。

分享题目：hadoop2.7.2集群如何搭建
本文URL：http://kswjz.com/article/ppghdo.html