官网的教程提交依赖的jar,使用 --jars 参数来添加额外的jar。这种方式比较费劲,如果依赖比较多需要一个个的弄,挺麻烦。
查看 SparkSubmit 源码时(结合help帮助),可以通过 --packages --repositories 两个参数来添加需要的包(当然也可以包括 primaryResource )。packages写法类似于sbt类似,多个包通过逗号分隔;repositories就是公共库的地址,多个库同样适用逗号分隔。
~/opt/spark-2.0.0-bin-2.6.3/bin/spark-submit \ --packages \ "com.eshore.zhfx:analyser:2.5,org.elasticsearch:elasticsearch-spark-20_2.11:5.0.0-beta1" \ --repositories "http://cu1:8081/nexus/content/groups/public/" \ --class XXXXAnalyser --conf spark.es.nodes=cu2 --conf spark.es.port=9200 \ analyser-2.5.jar cu2:9092 cu2 $PWD >analyser.log 2>&1 &
相关推荐
由于IDEA的SBT框架建立过程特别缓慢...所以下面介绍一种基于IDEA的Maven框架搭建Spark开发环境,只需要建立添加Maven模块并导入该XML配置文件即可,注意其中的Spark版本和Scala版本要相互匹配。如有任何问题可以留言。
maven资源包maven资源包maven资源包maven资源包maven资源包maven资源包maven资源包maven资源包maven资源包maven资源包
Spark结合Kafka利用maven打tar运行包
spark 1.5.1 maven repository
maven构建webAPP工程时加入此文件可以快速构建,减少等待
maven资源 apache-maven-3.3.9-bin.zip
2017版IDEA相对以前版本在细节上有比较大的变化,经过一些尝试,我将使用过程中遇到的一些要点简要记录下来
使用Maven打包spark项目
所有资源都在一起,,打包下载,所有资源都在一起,,打包下载,所有资源都在一起,,打包下载,所有资源都在一起,,打包下载,所有资源都在一起,,打包下载,所有资源都在一起,,打包下载,所有资源都在一起,,...
cdh环境中的spark不支持sparksql,现必须用到sparksql编译spark源码获取spark-assembly包替换即可完成
spark各算子实例,eclipse版maven项目。支持原创,有何问题联系作者
maven资源库,海量下载,java开发必备,有需要的可以下载。
一些maven常用包
maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装maven安装...
基于springboot的定时任务实现
测试maven用到的资源
基于spark的scala maven实例项目两个简单的统计实例,适合初学者了解。 /** * 第一步:创建Spark的配置对象SparkConf,设置Spark程序的运行时的配置信息, * 例如说通过setMaster来设置程序要链接的Spark集群的...
该项目可直接导入eclipse使用,编译后无错误,是学习java+spark编程的快速方法
最全的maven资源包连接阿里资源库包括各大框架包邮件包oss上传包等等
利用maven的MyBatis Generator 插件自动创建代码示例利用maven的MyBatis Generator 插件自动创建代码示例利用maven的MyBatis Generator 插件自动创建代码示例