可以在Kafka中搜索所有主题数据吗?



我需要一个解决方案,最好是内置的解决方案(而不是创建我自己的应用程序(,这将有助于管理层在Kafka中搜索多个/所有主题。我们正在使用Confluent平台。基本上,用户应该能够在UI中搜索关键字,并且应该搜索多个/所有Kafka主题的当前日志并返回数据。我们环境中的所有主题都使用 json 进行通信。

因此,此搜索将使我们能够跟踪流,例如,多个微服务将数据从一个系统发送到另一个系统,并且可以通过所有 json 中存在的相关 ID 跟踪此流。因此,如果有人搜索此相关 ID,他应该能够看到流中涉及的消息。此搜索稍后将有更多用例。

我们需要一个涉及最少编码的解决方案。我们更愿意使用像 Kibana 这样的 UI。

在基本阅读中,我怀疑以下解决方案,但不太确定,因为我是Confluent的新手(之前使用开源Apache Kafka(: Sol 1:使用 ksqldb。(需要有关如何使用它的更多帮助( Sol 2:使用 Kafka 流式传输所有主题数据 使用内置插件连接到弹性搜索,并在 Elastic 之上使用 Kibana。

请帮助找到最佳案例替代方案。

当然,你可以使用Elastic。

不过,您也可以使用Splunk。

还有Pilosa提供的pdk工具,它可以在Kafka事件上创建一个分布式索引。(无隶属关系(

另一种选择是在客户端之间使用拦截器进行分布式跟踪,而不是"在所有主题上",这听起来像您实际需要的

相关内容

  • 没有找到相关文章

最新更新