我需要一个解决方案,最好是内置的解决方案(而不是创建我自己的应用程序(,这将有助于管理层在Kafka中搜索多个/所有主题。我们正在使用Confluent平台。基本上,用户应该能够在UI中搜索关键字,并且应该搜索多个/所有Kafka主题的当前日志并返回数据。我们环境中的所有主题都使用 json 进行通信。
因此,此搜索将使我们能够跟踪流,例如,多个微服务将数据从一个系统发送到另一个系统,并且可以通过所有 json 中存在的相关 ID 跟踪此流。因此,如果有人搜索此相关 ID,他应该能够看到流中涉及的消息。此搜索稍后将有更多用例。
我们需要一个涉及最少编码的解决方案。我们更愿意使用像 Kibana 这样的 UI。
在基本阅读中,我怀疑以下解决方案,但不太确定,因为我是Confluent的新手(之前使用开源Apache Kafka(: Sol 1:使用 ksqldb。(需要有关如何使用它的更多帮助( Sol 2:使用 Kafka 流式传输所有主题数据 使用内置插件连接到弹性搜索,并在 Elastic 之上使用 Kibana。
请帮助找到最佳案例替代方案。
当然,你可以使用Elastic。
不过,您也可以使用Splunk。
还有Pilosa提供的pdk
工具,它可以在Kafka事件上创建一个分布式索引。(无隶属关系(
另一种选择是在客户端之间使用拦截器进行分布式跟踪,而不是"在所有主题上",这听起来像您实际需要的