apache spark - PySpark 找不到适合 jdbc:mysql://dbhost 的驱动程序

Question

我正在尝试将数据帧写入mysql表。当我尝试写作时，我越来越No suitable driver found for jdbc:mysql://dbhost。

作为预处理的一部分，我从同一数据库中的其他表中读取，并且这样做没有问题。我可以进行完整运行并将行保存到镶木地板文件中，因此它肯定是从 mysql DB 读取的。

我使用以下方法提交：

spark-submit --conf spark.executor.extraClassPath=/home/user/Downloads/mysql-connector-java-5.1.35-bin.jar --driver-class-path /home/user/Downloads/mysql-connector-java-5.1.35-bin.jar --jars /home/user/Downloads/mysql-connector-java-5.1.35-bin.jar main.py

我正在使用：

df.write.jdbc(url="jdbc:mysql://dbhost/dbname", table="tablename", mode="append", properties={"user":"dbuser", "password": "s3cret"})

Answer 1

这是一个与类加载器相关的错误。这是它的票证：https://issues.apache.org/jira/browse/SPARK-8463 这是它的拉取请求：https://github.com/apache/spark/pull/6900。

解决方法是将 mysql-connector-java-5.1.35-bin.jar 复制到每台计算机，位置与驱动程序相同。

Answer 2

似乎您可能在Spark SQL中触发了一个错误。似乎有一个修复程序，提交e991255e7203a0f7080efbd71f57574f46076711（请参阅 https://mail-archives.apache.org/mod_mbox/spark-commits/201505.mbox/[e-mail]%3E），它将问题描述为"问题出在无法访问 Spark ClassLoader 加载的驱动程序java.sql.DriverManager类中"。可能最简单的解决方案是从 master 尝试最新版本，或者失败，将提交到您的分支中。