Datastax Cassandra驱动程序引发CodecNotFoundException

具体异常如下

com.datatax.river.core.exceptions.CodecNotFoundException：未找到请求操作的编解码器：[varchar<->java.math.BigDecimal]

这些是我正在使用的软件版本Spark 1.5Datastax cassandra 3.2.1CDH 5.5.1

我尝试执行的代码是一个使用javaapi的Spark程序，它基本上从hdfs读取数据(csv)并将其加载到cassandra表中。我正在使用火花卡桑德拉连接器。最初，我遇到了很多关于谷歌的番石榴库冲突的问题，我通过对番石榴库进行着色并构建一个包含所有依赖项的快照罐子来解决这些问题。

然而，我能够加载某些文件的数据，但对于某些文件，我得到了Codec异常。当我研究这个问题时，我得到了以下关于同一问题的线索。

https://groups.google.com/a/lists.datastax.com/forum/#！主题/java驱动程序用户/yZyaOQ wazk

经过这些讨论，我了解到要么是我使用的cassandra驱动程序的错误版本。或者仍然存在与番石榴库相关的类路径问题，因为cassandra 3.0和更高版本使用番石榴16.0.1，上面的讨论表明，类路径中可能存在番石榴的较低版本。

这是pom.xml文件

<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.5.0</version> 
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>com.datastax.spark</groupId>
<artifactId>spark-cassandra-connector-java_2.10</artifactId>
<version>1.5.0-M3</version>
</dependency>
<dependency>
<groupId>org.apache.cassandra</groupId>
<artifactId>cassandra-clientutil</artifactId>
<version>3.2.1</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.3</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
<relocations>
<relocation>
<pattern>com.google</pattern>
<shadedPattern>com.pointcross.shaded.google</shadedPattern>
</relocation>
</relocations>
<minimizeJar>false</minimizeJar>
<shadedArtifactAttached>true</shadedArtifactAttached>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>

这些是使用上述pom 下载的依赖项

spark-core_2.10-1.5.0.jar
spark-cassandra-connector-   java_2.10-1.5.0-M3.jar
spark-cassandra-connector_2.10-1.5.0-M3.jar
spark-repl_2.10-1.5.1.jar
spark-bagel_2.10-1.5.1.jar
spark-mllib_2.10-1.5.1.jar
spark-streaming_2.10-1.5.1.jar
spark-graphx_2.10-1.5.1.jar
guava-16.0.1.jar
cassandra-clientutil-3.2.1.jar
cassandra-driver-core-3.0.0-alpha4.jar

上面是我的快照jar中的一些主要依赖项。

Y是CodecNotFoundException？是因为阶级道路(番石榴)吗？或cassandra驱动程序(cassandra-driver-core-3.0.0-alpha4.jar，适用于datastax cassandra 3.2.1)或由于代码原因。

另一点是，我插入到数据类型为时间戳的列中的所有日期。

此外，当我进行spark提交时，我在日志中看到了类路径，在hadoop-libs下还有其他番石榴版本。是这些造成了问题吗？

在进行spark提交时，我们如何指定用户特定的类路径。这有帮助吗？

很高兴能在这些方面得到一些分数。感谢

以下是堆栈跟踪

com.datastax.driver.core.exceptions.CodecNotFoundException: Codec not found for requested operation: [timestamp <-> java.lang.String]
at com.datastax.driver.core.CodecRegistry.notFound(CodecRegistry.java:689)
at com.datastax.driver.core.CodecRegistry.createCodec(CodecRegistry.java:550)
at com.datastax.driver.core.CodecRegistry.findCodec(CodecRegistry.java:530)
at com.datastax.driver.core.CodecRegistry.codecFor(CodecRegistry.java:485)
at com.datastax.driver.core.AbstractGettableByIndexData.codecFor(AbstractGettableByIndexData.java:85)
at com.datastax.driver.core.BoundStatement.bind(BoundStatement.java:198)
at com.datastax.driver.core.DefaultPreparedStatement.bind(DefaultPreparedStatement.java:126)
at com.cassandra.test.LoadDataToCassandra$1.call(LoadDataToCassandra.java:223)
at com.cassandra.test.LoadDataToCassandra$1.call(LoadDataToCassandra.java:1)
at org.apache.spark.api.java.JavaPairRDD$$anonfun$toScalaFunction$1.apply(JavaPairRDD.scala:1027)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:328)
at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1555)
at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1121)
at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1121)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1850)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1850)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:88)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

我也有

com.datastax.driver.core.exceptions.CodecNotFoundException: Codec not found for requested operation: [Math.BigDecimal <-> java.lang.String]

当您在PreparedStatement上调用bind(params...)时，驱动程序希望您提供映射到cql类型的值w/java类型。

这个错误([timestamp <-> java.lang.String])告诉您，没有注册这样的编解码器将javaString映射到cqltimestamp。在java驱动程序中，timestamp类型映射到java.util.Date。所以你有两个选择：

如果要绑定的列用于时间戳，请提供Date类型的值，而不是String
创建映射timestamp <-> String的编解码器。为此，您可以创建MappingCodec的子类，如文档网站上所述，该子类将String映射到时间戳：

public class TimestampAsStringCodec extends MappingCodec<String, Date> {
public TimestampAsStringCodec() { super(TypeCodec.timestamp(), String.class); }
@Override
protected Date serialize(String value) { ... }
@Override
protected String deserialize(Date value) { ... }
}

然后您需要注册Codec:

cluster.getConfiguration().getCodecRegistry()
.register(new TimestampAsStringCodec());

提供了更好的解决方案

驱动程序为时态类型提供的开箱即用的正确映射是：
DATE      <-> com.datastax.driver.core.LocalDate : use getDate()

相关内容

最新更新

热门标签：