从 HDInsight 群集头节点运行火花应用程序

Question

我正在尝试使用命令从 azure HDInsight 群集的头节点运行 Spark scala 应用程序

spark-submit --class com.test.spark.Wordcount SparkJob1.jar wasbs://containername@<<em>storageaccountname>/sample.sas7bdat wasbs://容器名称@<<em>存储帐户名称>/示例.csv

我正在接受它的异常。

原因：java.lang.ClassCastException：无法分配实例 scala.collection.immutable.list$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of 类型 scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD

如果我从 Azure 数据工厂调用，则相同的 jar 文件正在工作。我是否缺少一些带有 Spark 提交命令的配置？

Answer 1

通常，它是由有关类型转换的代码逻辑引起的。有一个类似的SO线程如何修复java.lang.ClassCastException：无法将scala.collection.immutable.List的实例分配给字段类型scala.collection.Seq？已经回答了，我想您可以参考它并检查您的代码以解决问题。