扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
在上一篇 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环境，并进行了相应的测试。本文主要讲的是如何将Hive和HBase进行整合。
创新互联建站是一家专业提供营山企业网站建设,专注与网站制作、成都网站建设、H5场景定制、小程序制作等业务。10年已为营山众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。
Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的，其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现，通信原理如下图所示。
说明:通过关联查询，可以得出表之间是可以关联查询的。但是明显看到hive 使用默认的mapreduce 作为引擎是多么的慢。。。
其他说明:
由于自己的虚拟机配置实在太渣，即使调大reduce内存，限制每个reduce处理的数据量，还是不行，最后没办法使用公司的测试服务进行测试。
在查询一张表的时候，hive没有使用引擎，因此相对比较快，如果是进行了关联查询之类的，就会使用引擎，由于hive默认的引擎是mr，所以会很慢，也和配置有一定关系，hive2.x以后官方就不建议使用mr了。
本文到此结束，谢谢阅读！
版权声明:
作者：虚无境
博客园出处：http://www.cnblogs.com/xuwujing
CSDN出处：http://blog.csdn.net/qazwsxpcm
个人博客出处：http://www.panchengming.com
原创不易，转载请标明出处，谢谢！
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网