2017年3月2日星期四

传递java option的-D参数给spark-submit

参考http://stackoverflow.com/questions/28166667/how-to-pass-d-parameter-or-environment-variable-to-spark-job

我使用了com.typesafe.config,需要根据生产环境通过java option参数指定不同的config文件,saprk-submit增加如下选项:
--files your/config/file
--conf "spark.driver.extraJavaOptions=-Dconfig.resource=your_config_file.conf"
--conf "spark.executor.extraJavaOptions=-Dconfig.resource=your_config_file.conf"

在yarn-cluster模式下可行。
尝试了把--conf "spark.driver.extraJavaOptions" 换成了--driver-java-options,yarn-client模式依然出错。有时间再看看是什么问题。

没有评论:

发表评论