spark-yarn模式jar包优化

在yarn模式下，会上传jar包到yarn来执行spark程序，如果每次都上传，很耗时间，而且如果是阿里云的机器，上传很慢，180m的jar要上传十几分钟，所以要提前上传到hdfs中去。

创新互联公司专注于企业营销型网站、网站重做改版、牟定网站定制设计、自适应品牌网站建设、H5开发、商城系统网站开发、集团公司官网建设、外贸营销网站建设、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为牟定等各大城市提供网站开发制作服务。

spark支持如下几个参数

spark-yarn 模式 jar包优化

spark.yarn.jars：只能指定具体jar包，在spark1.6.2（包括）以前，从官网上可以下载一个大的jar包，写上这个jar包即可，但是在2.0过后，就成为了一大堆小包

spark.yarn.archive：这个支持文件夹，但是有一点要注意，

.set("spark.yarn.archive","hdfs://node2:8020/user/xiaokan/assembly/target/scala-2.11/jars")

.set("spark.yarn.archive","hdfs://node2:8020/user/xiaokan/assembly/target/scala-2.11/jars/")

只有第一种写法正确，第二种错误，第二种写法不会读取任何jar包。

网站名称：spark-yarn模式jar包优化
当前路径：http://kswjz.com/article/gjehpd.html

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流

行业动态