扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
一、要求
创新互联是专业的师宗网站建设公司,师宗接单;提供成都做网站、网站建设、外贸营销网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行师宗网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!在Hbase 数据库中创建带有snappy压缩属性的表。
二、登陆到hbase 数据库执行建表操作
hbase(main):016:0> create 'dcs:t_dev_history',{NAME => 'f', DATA_BLOCK_ENCODING => 'PREFIX_TREE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0', TTL => '2678400', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}
channel 6: open failed: administratively prohibited: open failed
之前创建的表都没有使用snappy压缩,怀疑是snappy没有安装
三、检查所有hbase节点
Master1节点snappy安装正确
[hadoop@hadoop-test-Master1 lib]$ cd $HBASE_HOME/lib/native/Linux-amd64-64/
[hadoop@hadoop-test-Master1 Linux-amd64-64]$ ls
libhadoop.a libhadoopsnappy.so.0 libhadoop.so.1.0.0 libhdfs.so libpython2.7.so libsnappy.so.1
libhadooppipes.a libhadoopsnappy.so.0.0.1 libhadooputils.a libhdfs.so.0.0.0 libpython2.7.so.1.0 libsnappy.so.1.2.0
libhadoopsnappy.so libhadoop.so libhdfs.a libjvm.so libsnappy.so
Master2节点snappy安装错误,猜测当时安装的时候scp的路径错误
[hadoop@hadoop-test-Master2 ~]$ cd /var/lib/hbase/lib/native/ --发现没有Linux-amd64-64 目录
[hadoop@hadoop-test-Master2 native]$ ls
libhadoop.a libhadoopsnappy.so.0 libhadoop.so.1.0.0 libhdfs.so libpython2.7.so libsnappy.so.1
libhadooppipes.a libhadoopsnappy.so.0.0.1 libhadooputils.a libhdfs.so.0.0.0 libpython2.7.so.1.0 libsnappy.so.1.2.0
libhadoopsnappy.so libhadoop.so libhdfs.a libjvm.so
libsnappy.so
四、处理过程
1.把文件传输到指定节点
scp -rp Linux-amd64-64 hadoop-test-Master2:/var/lib/hbase/lib/native/
scp -rp Linux-amd64-64 hadoop-test-Node1:/var/lib/hbase/lib/native/
2.然后重启hbase集群
./stop-hbase.sh
./start-hbase.sh
3.重新创建表成功。
五、小结
作为一名dba,做完相关的操作一定要验证,一定要验证,要有严谨的态度。
遇到很多问题根本不是技术问题,而是有些人从来都不用心,得过且过。
压缩在hadoop和hbase中是一个很好的节约空间的方式,值得提倡,尤其是在经费紧张的情况下。
snappy需要单独安装,并不是安装hadoop自带的,需要注意。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流