Spark Structured Stream qubole Kinesis 连接器错误与"Got an exception while fetching credentials"

Question

我使用以下代码从spark结构化流代码中写入Kinesis。它出现以下错误。AWS凭据具有管理员访问权限。我可以使用aws控制台使用它。这里可能有什么问题？

2016年3月22日13:46:34错误AWSInstanceProfileCredentialsProviderWithRetries：在获取凭据org.apache.spark.sql.skinesis.shaded.amazonaws.SdkClientException时出现异常：无法从服务端点加载凭据

val finalDF = rawDF.select(expr("CAST(rand() AS STRING) as partitionKey"),
to_json(struct("*")).alias("data"))
finalDF.printSchema()
val query = finalDF.writeStream
.outputMode("update")
.format("kinesis")
.option("streamName", "sparkstream2")
.option("endpointUrl", "https://kinesis.us-east-1.amazonaws.com")
.option("region", "us-east-1")
.option("awsAccessKey", "")  // Creds removed
.option("awsSecretKey", "")  // Creds removed
.option("checkpointLocation", "chk-point-dir")
.start()
query.awaitTermination()
spark.stop()

Printschema输出如下根|--partitionKey:string(nullable=false(|--data:string(nullable=true(

我正在使用qubole的连接器https://github.com/qubole/kinesis-sql

Answer 1

我也遇到了这个问题-添加了.option("awsUseInstanceProfile", "false")。kinesis-sql包默认情况下不会像预期的那样处理AWS凭据。我在这里找到了这个GitHub问题的线索。