如何在 azure Kubernetes 中使用检查点进行 Spark 提交

Question

如何在 Azure Blob 存储中配置 Spark 作业检查点？

我能够在Databricks中添加检查点，但不能在azure Kubernetes集群中添加检查点。 你能帮我克服这个问题吗

Answer 1

你可以参考 SparkCheckpointing：

可以通过在 容错、可靠的文件系统(例如 HDFS、S3 等) 将保存检查点信息。这是通过使用 streamingContext.checkpoint(checkpointDirectory).

从 https://spark.apache.org/docs/latest/streaming-programming-guide.html#checkpointing

这应该按照您使用的语言在代码中实现，该语言使用StreamingContext.getOrCreate从检查点数据获取 StreamingContext 或创建一个新语言。