sparksql和hbase怎么结合-成都快上网建站

sparksql和hbase怎么结合

本篇内容主要讲解“spark sql和hbase怎么结合”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“spark sql和hbase怎么结合”吧!

成都创新互联是一家专业提供安新企业网站建设,专注与网站设计制作、成都做网站H5场景定制、小程序制作等业务。10年已为安新众多企业、政府机构等服务。创新互联专业网站设计公司优惠进行中。

Q1:spark怎样支持即席,应该不是spark sql吧,是hive on spark么?

  • Spark1.0 以前支持即席查询的技术是Shark;

  • Spark 1.0和 Spark 1.0.1支持的即席查询技术是Spark SQL;

  • 尚未发布的Spark 1.1开始 Spark SQL是即席查询的核心,我们期待Hive on Spark也能够支持即席查询;

Q2:现在spark 1.0.0版本是支持hive on spark么,它支持cli交互式访问么?

  • Spark1.0.0不支持hive on spark;

  • hive on spark这个项目正在开发中,预计在 Spark 1.1版本的时候发布;

  • Spark 1.0.0现在还不直接支持cli访问;

Q3:spark sql和hbase怎么结合呢?

  • Spark sql和hbase即可要借助于Spark core的RDD功能;

  • 使用hbase的时候需要导入hbase在Spark上的包

  • Spark 1.0.0现在还不直接支持cli访问;

Q4:sparkSql支持sql全吗?老师 可以把现在的PLSQL 直接转换为 SPARKSQL么? 

  • Spark sql现在支持SQL-92的基本功能,后续版本不会不断增强;

  • PLSQL 现在还不能够直接转为Spark SQL;

  • 想要更强的SQL支持,在Spark1.0.0和Spark1.0.1版本可以考虑Hive in Spark SQL的功能;

Q5:如果支持hive on spark,那么什么时候用spark sql,什么时候用hive on spark?

  • Hive on spark预计在Spark 1.1这个版本发布,核心功能是要在Spark上使用已有的Hive的一切数据和功能;

  • 和hive不相关都可以使用Spark SQL;

  • 从理论上讲随着Spark SQL在未来版本的不断增强,可以做hive的一切事情;

Q6:Spark SQL可以使用group by 吗?

  • Spark SQL可以使用group by的功能;

  • 在SchemaRDD中有group by的支持;

  • groupBy(groupingExprs: Expression*)(aggregateExprs: Expression*): SchemaRDD

  • Performs a grouping followed by an aggregation.

Q7:spark sql 现在支持sql的那些操作  一直在官网上没能找到相应的document?

  • Spark SQL API的官方Document网址

  • http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.SchemaRDD ;

  • Spark SQL使用的官方网址

  • http://spark.apache.org/docs/latest/sql-programming-guide.html

到此,相信大家对“spark sql和hbase怎么结合”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


名称栏目:sparksql和hbase怎么结合
转载注明:http://kswjz.com/article/pegjsh.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流