在调用rpchandler #receive()的单向消息时,出错时,Spark Job托管在JBOSS上并试图连接到M



我在JBOSS服务器上部署时无法连接到Master上的Spark

我有一个使用Java和Spark API设计的应用程序,以将数据加载到Oracle数据库。我已经在JBOSS上部署了此应用程序,这在我本地的主Spark Session上工作正常,但是当我试图更改Spark.Master到Cluster Mode并从我本地点击URL时,它没有连接到Master。我总是看到 - 加载成员文件时发生错误:java.net.bindexception:无法分配请求的地址:16次重试后(在随机免费端口上(失败了!考虑将服务" SparkDriver"(例如Spark.Driver.BindAddress for SparkDriver(明确设置适当的绑定地址,以在客户端(本地(上的正确绑定地址和错误TransPortrequestHandler上的正确绑定地址:调用RpChandler

时出错

单程消息的接收((

java.io.invalidclassexception:org.apache.spark.rpc.netty.nettyrpcendpointref;lOCAL类不兼容:流classDESC serialversionuid = 6257082371135760434-主机上此错误。我在我的本地和主人上都有所有相同的版本(Spark 2.4.2&hadoop 2.7,Scala 2.12.8和我的pom.xml中的SparkCore.2.8.0(。当我试图发现此错误时,我知道有一个版本不匹配,但没有任何版本。有人可以帮忙吗?

创建Sparksession-

sparkSession = new SparkSession.Builder().master("spark://ip.addresss:7077").config("spark.submit.deployMode","cluster").appName("Java JDBC Spark").config("spark.driver.bindAddress","ip.addresss").getOrCreate();

这是因为您使用的火花配置文件来创建Spark Session。就我纠正时的情况时,它也起作用。

最新更新