如何在集群中使用Kafka的同时跟踪Cassandra的写作成功



在集群中工作时,我有一个限制,即在所有作业的不同结果都添加到Cassandra中之前,我的前端无法显示已完成的作业。这些结果在他们各自的微服务中进行计算,并通过Kafka发送给cassandra作者。

我的问题是,是否有任何最佳实践可以让前端知道这些写作何时完成?我应该为结果创建另一个数据库条目吗?或者是否有其他智能方法可以很好地扩展?

每个工作都有大约100个不同的结果,我每天有1000个工作

我过去在Kafka中使用Cassandra作为UI后端,我们会在每个DB记录中存储一个status字段,该字段会通过大量Kafka Streams处理器定期更新(每天轻松地写入1000多个DB(。

UI本身正在运行一些setInterval(refresh)JS函数,该函数将查询最新的数据库状态,然后相应地更新DOM。

您的另一个选择是将一些websocket/SSE数据从指示";数据完成";

最新更新