我们使用 Kinesis Data Firehose 将 RDS CDC 数据作为原始 json 文件写入 S3 存储桶。 我们的 Kinesis Firehose 配置是 128 MB 和 60 秒来创建 S3 文件。我们有一个粘附作业来监控 s3 存储桶并获取这些 json 文件。我们有一个问题，关于我们是否会在当前由 Kinesis Firehose 和 Glue 写入的 json 文件之间遇到竞争条件。我查看了常见问题解答，但无法得到任何指示。请让我知道竞争条件是否可行以及可以缓解这种情况的任何策略 https://aws.amazon.com/kinesis/data-firehose/faqs/
如果您担心您的粘附作业将开始使用 Kinesis 的部分写入文件，那么您应该知道 S3 操作是原子操作，如 Amazon S3 数据一致性模型中的示例所示：
对单个密钥的更新是原子的。例如，如果对现有键进行 PUT 处理，则后续读取可能会返回旧数据或更新的数据，但永远不会返回损坏或部分数据。