我正在尝试通过Cloud SQL Proxy从Dataproc访问Cloud SQL(不使用Hive(
根据此处的说明进行了大量修补后: https://github.com/GoogleCloudPlatform/dataproc-initialization-actions/tree/master/cloud-sql-proxy
我到了至少创建集群没有错误并且代理似乎已安装的地步。但是,我的 Java Spark 作业无法连接到集群,并出现此错误:
Exception in thread "main" java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: NO)
我故意创建了一个没有用户密码的实例,但它也不适用于有密码的实例。
我觉得奇怪的是,当我从本地计算机访问同一个数据库时,也使用本地运行的 Cloud SQL 代理,一切正常,但是当我尝试通过故意提交错误的密码来强制实施类似的错误时,我得到一个类似但不同的错误,如下所示:
Exception in thread "main" java.sql.SQLException: Access denied for user 'root'@'cloudsqlproxy~217.138.38.242' (using password: YES)
因此,在 Dataproc 错误中,它说root@localhost
,而在我的本地代理中,错误说root@cloudproxy~IP address
.为什么要这样做?这是在两个地方运行的完全相同的代码。似乎它正在尝试连接到 Dataproc 主机器中的本地内容?
进一步确认这一点的是,当 Dataproc 上的尝试失败时,我没有看到服务器端记录此错误,但是当我从本地计算机强制失败时会记录错误。所以Dataproc的代理似乎没有指向SQL Server?
我使用以下说明创建了群集:
--scopes sql-admin
--initialization-actions gs://bucket_name/cloud-sql-proxy.sh
--metadata 'enable-cloud-sql-hive-metastore=false'
--metadata 'additional-cloud-sql-instances=project_id:europe-west2:sql_instance_id'
我在 Spark 代码中指定的连接字符串如下所示:
jdbc:mysql://127.0.0.1:3306/database_name
感谢您的帮助!
****更新:
根据以下建议,我将连接字符串修改为如下所示:
"jdbc:mysql://google/DATABASE_NAME?cloudSqlInstance=INSTANCE_NAME&socketFactory=com.google.cloud.sql.mysql.SocketFactory&useSSL=false&user=root"
但是,在这种情况下,我收到以下错误:
Exception in thread "main" java.sql.SQLNonTransientConnectionException: Cannot connect to MySQL server on google:3,306.
Make sure that there is a MySQL server running on the machine/port you are trying to connect to and that the machine this software is running on is able to connect to this host/port (i.e. not firewalled). Also make sure that the server has not been started with the --skip-networking flag.
at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:108)
at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:95)
at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:87)
at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:61)
at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:71)
at com.mysql.cj.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:458)
at com.mysql.cj.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:230)
at com.mysql.cj.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:226)
它应该如何/在哪里获得"谷歌"的驱动程序?另外,请注意,它似乎错误地格式化了默认端口 3306 并将其显示为 3,306?(我尝试明确提供端口,但这没有帮助......
我按照您共享的教程中的说明进行操作,并创建了Cloud SQL实例和Dataproc集群。验证过程也进行了:
$ gcloud dataproc jobs submit pyspark --cluster githubtest pyspark_metastore_test.py
Job [63d2e1ef8c9f45ae818c135c775dcf93] submitted.
Waiting for job output...
18/08/22 17:21:51 INFO org.spark_project.jetty.util.log: Logging initialized @3074ms
...
Successfully found table table_mdhw in Cloud SQL Hive metastore
18/08/22 17:22:53 INFO org.spark_project.jetty.server.AbstractConnector: Stopped Spark@5061d2ce{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
Job [63d2e1ef8c9f45ae818c135c775dcf93] finished successfully.
当我为 root 输入不同的密码时,我只收到与您相同的错误。您能否更新 root 密码并从主服务器重试以下命令?
mysql -u root -h 127.0.0.1 -p
在我的环境中,上面的命令连接成功。如果可行,请查看此链接以获取连接 Java 应用程序的进一步步骤。身份验证和连接器 mysql-connector-java 是附加步骤所必需的。
希望对您有所帮助!
我遇到了同样的问题,症状完全相同(localhost
拒绝访问而不是cloudsqlproxy~*
,以及google:3,306
(。
SSH进入并查看/var/log/cloud-sql-proxy/cloud-sql-proxy.log
,我看到cloud-sql-proxy实际上并没有启动;端口3306显然由于某种原因已经在使用中。我在additional-cloud-sql-instances
中将=tcp:3307
添加到实例连接名称的末尾,并且我已启动并运行。
我从未设法让套接字工厂 URI 工作。如果更改端口不起作用,其他地方的其他人建议使用 VPC。