KSQL:在KSQL服务器重新启动后丢失Kstream数据

Question

我使用查询"Create stream base_stream with(kafka topic="myTopic"，format="avro"(创建了一个流。这个主题有超过800GB的数据，并且还在增长。

问题：

1. Kafka是否在新的流中复制了底层主题的数据？还是只是相同的数据？

2. 当KSQL服务器重新启动时，base_stream丢失了数据。有什么方法可以持久保存这些数据吗？因为，如果每次KSQL服务器重新启动时都必须重新同步/创建base_stream，这可能需要很多小时！

3. 我知道可以从"base_stream"创建持久流，但是，我们将在两个流中复制数据

感谢您的回复，谢谢！

Answer 1

我知道可以从"base_stream"创建持久流，但是，我们将在两个流中复制数据

存储成本低廉。我看过很多TB大的话题。如果您能够随着时间的推移发出聚合窗口以减小大小，则可以在主题上启用压缩和保留策略

当KSQL服务器重新启动时，

base_stream丢失了数据。有什么方法可以持久保存这些数据吗？

您在现有主题上创建了一个流。流中没有需要恢复或丢失的真实数据，这回答了问题1