我正在尝试使用 spark-submit
在 Windows 中启动一个 Spark 作业。Spark 应用程序无需指定日志记录选项即可正常工作。
具有以下--driver-java-options
:
--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties"
我收到错误消息:
系统找不到指定的路径。
我尝试了很多组合,但没有运气,请指教。
spark-submit --master local[*] --files D:launchlog4j-spark.properties --jars D:launchspark-sql-kafka-0-10_2.10-2.1.0.jar
--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties"
--class com.acheron.bi.pipeline.DataPipelineProcessor D:launchbi-master-pipeline-1.0-SNAPSHOT-jar-with-dependencies.jar
--driver-java-options "-Dlog4j.configuration=file://./launch/log4j-spark.properties"
--driver-java-options "-Dlog4j.configuration=log4j-spark.properties"
下面是包含代码的文件夹
D:launch>dir
Volume in drive D is Data
Volume Serial Number is 52DE-C096
Directory of D:launch
10/20/2017 10:06 AM <DIR> .
10/20/2017 10:06 AM <DIR> ..
10/20/2017 09:46 AM 111,631,778 bi-master-pipeline-1.0-SNAPSHOT-jar-with-dependencies.jar
10/20/2017 09:35 AM 1,394 event-win.yml
10/20/2017 09:58 AM 483 log4j-spark.properties
10/19/2017 01:19 PM 488 prod.env.properties
09/07/2017 09:35 AM 232,649 spark-sql-kafka-0-10_2.10-2.1.0.jar
5 File(s) 111,866,792 bytes
2 Dir(s) 152,071,843,840 bytes free
我能够运行 Windows cmd
并使用以下命令和我的自定义my-log4j.properties
成功启动 Spark 应用程序。
如果路径中没有空格log4j.properties
则可以省略引号:
spark-submit.cmd --master local[*] --driver-java-options -Dlog4j.configuration=file:///c:/tools/spark-2.0.0-bin-hadoop2.7/bin/my-log4j.properties --class testjob.Main sparkjob.jar