不是真正的问题(URL中的拼写错误)-当DbVisualizer工作时,Netezza-pySpark连接失败



更新:此问题已解决。这是URL中的一个拼写错误。

--
我正在尝试在Windows 10 1909上使用pyspark从Netezza读取数据。

我可以使用DbVisualizer从中读取,没有问题。然后我尝试运行pyspark --driver-class-path <path to nzjdbc.jar> --jars <path to nzjdbc.jar> --master local[*](同一台机器、VPN连接、JDBC驱动程序jar等等(。

我使用了pyspark shell中的以下代码:

dataframe = spark.read.format("jdbc").options(
url="jdbc:netezza://<server>:5480/<database>",
dbtable="ADMIN.<table>",
user="***",
password="***",
driver="org.netezza.Driver",
).load()

但这对我来说失败了,在大约10-20秒后,使用以下堆栈(我也尝试添加queryTimeout="300",但没有什么不同(:

"...AppDataLocalContinuumminiconda3envssparklibsite-packagespysparkpythonlibpy4j-0.10.9-src.zippy4jprotocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o41.load.
: org.netezza.error.NzSQLException: Connection timed out: connect
at org.netezza.sql.NzConnection.initSocket(NzConnection.java:2859)
at org.netezza.sql.NzConnection.open(NzConnection.java:293)
at org.netezza.datasource.NzDatasource.getConnection(NzDatasource.java:675)
at org.netezza.datasource.NzDatasource.getConnection(NzDatasource.java:662)
at org.netezza.Driver.connect(Driver.java:155)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$.$anonfun$createConnectionFactory$1(JdbcUtils.scala:64)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:56)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation$.getSchema(JDBCRelation.scala:226)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:35)
at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:339)
at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:279)
at org.apache.spark.sql.DataFrameReader.$anonfun$load$2(DataFrameReader.scala:268)
at scala.Option.getOrElse(Option.scala:189)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:268)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:203)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:282)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Unknown Source)

同事可以在Mac上运行相同的代码,而不会出现任何问题(也可以在VPN上运行(。

Windows或Netezza本身是否存在可能影响哪些客户端能够连接到Netezza的内容?或者我可能在pyspark命令中遗漏了什么?

您可以尝试增加LoginTimeout值吗?仅供参考queryTimeout是指单个查询的超时。

我在URL中发现了一个拼写错误。这是一个非常狡猾的

相关内容

  • 没有找到相关文章

最新更新