DynamoDB表是用来存储检查点的

Question

我正在尝试在AWS EMR上运行一个微不足道的蒸应用程序。在我的本地机器上，一切正常。但是，当我在AWS EMR集群中运行我的示例时，我得到空的rdd。

libraryDependencies += "com.amazonaws" % "amazon-kinesis-client" % "1.14.8"
libraryDependencies += "org.apache.spark" %% "spark-streaming-kinesis-asl" % "3.0.0"

没有为存储检查点创建DynamoDB表。Spark版本:3.2.1EMR版本:6.7.0

(编辑)将guava-31.0.1-jre.jar放入/usr/lib/spark/jars/后，创建了一个空的DynamoDB。

Answer 1

要解决此问题，请考虑以下操作:

1. 检查"guava">
验证KinesisInputDStream中的kinesisCredentials。在kinesisCredentials中使用SparkAWSCredentials