java.io.InvalidClassException: org.apache.spark.rpc.netty.Re

Question

从我的应用程序中，由于以下错误，我无法连接到火花大师

原因：java.lang.RuntimeException： java.io.InvalidClassException： org.apache.spark.rpc.netty.RequestMessage;本地类不兼容： stream classdesc serialVersionUID = -2221986757032131007， local class serialVersionUID = -5447855329526097695

我知道存在版本兼容性问题，但无法解决，因为对我来说似乎很好。以下是我的版本信息

应用程序(雄猫( Java 7

火花安装 2.1.0

./spark-shell --version 
Welcome to
         ____              __
        / __/__  ___ _____/ /__    _ / _ / _ `/ __/  '_/   /___/ .__/_,_/_/ /_/_   version 2.1.0
         /_/
Using Scala version 2.11.8, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_91 

Maven Dependency

    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>2.1.0</version>

是因为我的应用程序在Java 7上运行，而Spark 2.1在Java 8上运行吗？

Answer 1

这与类兼容性问题有关。对于Spark 2.1.0，请检查Scala，Hadoop库的版本(在jar文件夹下(。您需要与应用保持相同的版本。如果通过 IDE(例如 eclipse(运行，则按 ctrl+shift+T 并检查是否存在多个版本的火花核心。

这对我有用。

Answer 2

Scala

版本必须与库中的版本匹配，例如，对于 Scala 2.11，您应该使用spark-core_2.11库。