Spark提交一个具有JAR依赖关系的pyspark文件



我在一个文件中有一个pyspark代码,让我们称之为somePythonSQL.py我试图使用ojdbc.jar依赖项将其提交给Spark,因为pysaprk实际上连接到了一个oracle数据库。spark-submit--master yarn somePythonSQL.py--jars"home/ojdbc7-12.1.0.2.jar";

但我得到了:

py4j.protocol.Py4JJavaError: An error occurred while calling o45.load.
: java.lang.ClassNotFoundException: oracle.jdbc.driver.OracleDriver

如何提交jar依赖项。它在交互式(REPL?(模式下工作良好。即

pyspark --jars "/home/ojdbc7-12.1.0.2.jar" --master yarn

然后在>gt>在提示符下,键入python命令,它就可以工作了。但火花提交没有。

Python脚本应该是的最后一个参数

spark-submit --master yarn --jars "/home/ojdbc7-12.1.0.2.jar" somePythonSQL.py

最新更新