我在一个文件中有一个pyspark代码,让我们称之为somePythonSQL.py我试图使用ojdbc.jar依赖项将其提交给Spark,因为pysaprk实际上连接到了一个oracle数据库。spark-submit--master yarn somePythonSQL.py--jars"home/ojdbc7-12.1.0.2.jar";
但我得到了:
py4j.protocol.Py4JJavaError: An error occurred while calling o45.load.
: java.lang.ClassNotFoundException: oracle.jdbc.driver.OracleDriver
如何提交jar依赖项。它在交互式(REPL?(模式下工作良好。即
pyspark --jars "/home/ojdbc7-12.1.0.2.jar" --master yarn
然后在>gt>在提示符下,键入python命令,它就可以工作了。但火花提交没有。
Python脚本应该是的最后一个参数
spark-submit --master yarn --jars "/home/ojdbc7-12.1.0.2.jar" somePythonSQL.py