hadoophbase无法启动2-创新互联-成都快上网建站

hadoophbase无法启动2-创新互联

今天又碰到的问题:

创新互联坚持“要么做到,要么别承诺”的工作理念,服务领域包括:网站建设、成都网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的象山网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

Not able to place enough replicas
2015-02-08 18:35:43,978 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:web cause:java.io.IOException: File /hbase/aaaa/fbade52c03733ec2aa6d5355052d9c89/recovered.edits/0000000000004181150.temp could only be replicated to 0 nodes, instead of 1
2015-02-08 18:35:43,978 INFO org.apache.hadoop.ipc.Server: IPC Server handler 4 on 8020, call addBlock(/hbase/aaaa/fbade52c03733ec2aa6d5355052d9c89/recovered.edits/0000000000004181150.temp, DFSClient_hb_m_m66,60000,1423391732102, null) from 192.168.0.66:42030: error: java.io.IOException: File /hbase/aaaa/fbade52c03733ec2aa6d5355052d9c89/recovered.edits/0000000000004181150.temp could only be replicated to 0 nodes, instead of 1
java.io.IOException: File /hbase/aaaa/fbade52c03733ec2aa6d5355052d9c89/recovered.edits/0000000000004181150.temp could only be replicated to 0 nodes, instead of 1
       at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920)
       at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783)
       at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
       at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
       at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
       at java.lang.reflect.Method.invoke(Method.java:597)
       at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
       at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
       at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
       at java.security.AccessController.doPrivileged(Native Method)
       at javax.security.auth.Subject.doAs(Subject.java:396)
       at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
       at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)
2015-02-08 18:35:44,014 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Not able to place enough replicas, still in need of 3 to reach 3
Not able to place enough replicas
2015-02-08 18:35:44,014 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:web cause:java.io.IOException: File /hbase/.META./1028785192/recovered.edits/0000000000004125376.temp could only be replicated to 0 nodes, instead of 1
2015-02-08 18:35:44,014 INFO org.apache.hadoop.ipc.Server: IPC Server handler 5 on 8020, call addBlock(/hbase/.META./1028785192/recovered.edits/0000000000004125376.temp, DFSClient_hb_m_m66,60000,1423391732102, null) from 192.168.0.66:42030: error: java.io.IOException: File /hbase/.META./1028785192/recovered.edits/0000000000004125376.temp could only be replicated to 0 nodes, instead of 1
java.io.IOException: File /hbase/.META./1028785192/recovered.edits/0000000000004125376.temp could only be replicated to 0 nodes, instead of 1
       at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920)
       at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783)
       at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
       at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
       at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
       at java.lang.reflect.Method.invoke(Method.java:597)
       at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
       at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
       at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
       at java.security.AccessController.doPrivileged(Native Method)
       at javax.security.auth.Subject.doAs(Subject.java:396)
       at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
       at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

重启了n多边都没有效果。

删除之,发现你启动hmaster后该文件依然存在,删除后又恢复了。

干脆连着目录一起删除,ok

./hadoop fs -rmr /hbase/aaaa/8aab6d49ca2235530d7bf992dcb15e55

 ./hadoop fs -rmr /hbase/.META./1028785192

再次启动hmaser ok

 ./hbase-daemon.sh start master

jps查看 ok hmaster启动起来了。

咳,hadoop啊,想不暴力都难!!

该死,原来以为都ok了,同事测试的时候发现问题:

./hbase shell

list

可以看到表

可是扫描表的时候说表不存在。

立马想到是hbase本身出了问题。

果断修复

./hbase hbck

发现存在空洞不连续的情况。

./hbase hbck -fixMeta -fixAssignments

./hbase hbck -repair

修复完成后,再次./hbase hbck 发现还是有问题。

再一次./hbase hbck -repair

这次居然都ok了。

重新启动shell,扫描表。现在ok.了

重启hbase发现,hbase进程无法关闭,关闭客户端进程,ok了。

再次启动,突然发现包其中一台空间满了,晕,果断修复。

最后启动应用,居然调用都正常了。

真是峰回路转,变化万千。 心里暗暗骂一个,shit.

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


本文名称:hadoophbase无法启动2-创新互联
浏览地址:http://kswjz.com/article/ddpedd.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流