博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
在spark集群上运行自己的java程序
阅读量:6482 次
发布时间:2019-06-23

本文共 375 字,大约阅读时间需要 1 分钟。

hot3.png

   看各路高手说在spark集群上运行java程序用spark-submit.sh ....然后一堆参数,很是麻烦!

   那么问题来了,对于我这个习惯中传统java命令执行程序的人来说怎么办,..而且这种方式不易于与其他程序合并, 这里有一种很简洁的方式就是在conf/spark-env中配置:export SPARK_CLASSPATH="$SPARK_CLASSPATH:/custom/*";然后把自己的程序jar都扔custom目录中一份,接下来在服务器任意目录都可以用传统的java命令执行程序了,spark Excutor会根据上面配置 的路径将所需要加载的类自动加载,这种执行方式是不是很happy了...不喜勿喷,请提出您宝贵的建议供大家学习

转载于:https://my.oschina.net/u/1248940/blog/510886

你可能感兴趣的文章
集合异常之List接口
查看>>
Softmax回归
查看>>
紫书 习题11-11 UVa 1644 (并查集)
查看>>
App工程结构搭建:几种常见Android代码架构分析
查看>>
使用openssl进行证书格式转换
查看>>
Callable和Future
查看>>
少用数字来作为参数标识含义
查看>>
ScrollView中嵌套ListView
查看>>
观察者模式
查看>>
在properties.xml中定义变量,在application.xml中取值问题
查看>>
cell reuse & disposebag
查看>>
【故障处理】ORA-12545: Connect failed because target host or object does not exist
查看>>
js判断移动端是否安装某款app的多种方法
查看>>
学习angularjs的内置API函数
查看>>
4、输出名称 Exported names
查看>>
Pre-echo(预回声),瞬态信号检测与TNS
查看>>
【转载】如何发送和接收 Windows Phone 的 Raw 通知
查看>>
poj2378
查看>>
Java文件清单列表
查看>>
js url传值中文乱码之解决之道
查看>>