我已经在kafka-streams上工作了几个月。我们使用RocksDB来存储数据。现在，更改日志主题仅保留几天的数据，如果我们应用程序的持久存储具有几个月的数据。如果分区从一个节点移动到另一个节点，如何恢复存储状态(我认为，这是通过更改日志发生的(。
此外，如果节点包含活动任务并引入新节点。因此，副本将提升为活动副本，并且新副本将开始在此新节点上构建。因此，如果更改日志只有几天的数据，则新副本将只有该数据，而不是原来的几个月。
那么，是否有任何选项可以将数据从活动存储而不是更改日志传输到副本(因为它只有一小部分数据(。
用于备份存储的更改日志主题没有保留时间，但配置为启用日志压缩(参见 https://kafka.apache.org/documentation/#compaction(。因此，无论您运行多长时间，都可以保证不会丢失任何数据。更新日志主题将始终包含与您的 RocksDB 存储完全相同的数据。
因此，对于故障转移或横向扩展，当任务迁移并且需要重建存储时，它将是原始存储的完整副本。