我在过去的两周学习apache kafka,我已经设法理解kafka的功能,kafka生产者和消费者是如何工作的。现在我想设计一个小的java程序,我可以发送我的apache tomcat 9日志和指标到kafka,因为它可以用于日志聚合的目的。我已经搜索了如何做到这一点,任何方法或工具,我必须学会设计这个,我开始了解Log4j.jar,通过它我可以在apache tomcat中产生自定义日志,但我不知道如何将此日志发送到kafka?请给出一些关于如何做这个程序的指导,如果有人做了这项工作之前。谢谢你。
如前所述,您将在应用程序服务器端使用KafkaAppender
指向您的Kafka代理发送数据;Kafka不会从你的应用程序请求数据。
你也可以直接将日志写入磁盘,并使用任何日志处理器的组合,如Filebeat, Fluent-bit, Rsyslog,它们都集成了kafka。