hive架构及知识体系的示例分析-成都快上网建站

hive架构及知识体系的示例分析

这篇文章主要介绍了hive架构及知识体系的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

为红旗等地区用户提供了全套网页设计制作服务,及红旗网站建设行业解决方案。主营业务为成都网站建设、网站建设、红旗网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

1、Hive架构与基本组成

Hive的体系结构可以分为以下几部分:

    (1)用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是CLI。Client是Hive的客户端,用户连接至Hive Server。在启动 Client模式的时候,需要指出Hive Server所在节点,并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。
    (2)Hive将元数据存储在数据库中,如MySQL、derby。hive 的元数据结构描述信息库,可选用不同的关系型数据库来存储,通过配置文件修改、查看数据库配置信息。(hive-site.xml   统一元数据管理)Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。

hive-site.xml  





  javax.jdo.option.ConnectionURL
    jdbc:mysql://localhost:3306/ruozedata_basic02?createDatabaseIfNotExist=true
   

   
      javax.jdo.option.ConnectionDriverName
        com.mysql.jdbc.Driver
       



  javax.jdo.option.ConnectionUserName
    root
   



  javax.jdo.option.ConnectionPassword
    root
   

hive架构及知识体系的示例分析

    (3)解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后有MapReduce调用执行。
    (4)Hive的数据存储在HDFS中,大部分的查询、计算由MapReduce完成(包含*的查询,比如select * from tbl不会生成MapRedcue任务)。

    Hive将元数据存储在RDBMS中

hive架构及知识体系的示例分析

2.知识体系

hive架构及知识体系的示例分析

感谢你能够认真阅读完这篇文章,希望小编分享的“hive架构及知识体系的示例分析”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!


网页标题:hive架构及知识体系的示例分析
网站地址:http://kswjz.com/article/gihsee.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流