强制 RocksDB 支持的 Samza 键/值存储从 kafka 更改日志重新加载?



为了调试生产问题,我正在使用ProcessJobFactory在本地运行Samza代码。 一切似乎都运行良好。

该代码使用由 RocksDB 和 Kafka 支持的 Samza 键/值存储作为更改日志(Kafka 在另一台机器上运行,以防万一(。

为了用要调试的真实数据填充环境,我在 Samza 作业停止的情况下将实时数据重放到 RocksDB 数据库的键/值存储的 Kafka 更改日志中。

启动 Samza 时,它不会将 RocksDB 数据库与 Kafka 更改日志重新同步。 我使用Keylord(工具(验证了这一点,并直接查看了RocksDB数据库的内容。

如何强制Samza将RocksDB数据库(键/值存储(与更改日志重新同步? 是否有可以进行的配置设置或代码级调用?

相关 - 我假设当代码执行键值存储.all((时;即使代码中的缓存为空,它也会转到 RocksDB 并从那里提取"所有条目"?

谢谢

您是否尝试过删除 samza 作业托管其 RocksDB 存储的存储目录? 它将在您配置的 job.logged.store.base.dir 下 https://samza.apache.org/learn/documentation/latest/jobs/configuration-table.html ,默认为 user.dir 环境属性

最新更新