我们如何在没有logstash和beats的情况下通过java获取数据进行弹性搜索?有没有像kafka这样的选项,或者只使用java而不使用任何工具
我不知道你为什么不想考虑Filebeats-->有弹力的但是是的,还有其他方法可以将日志发送到Elastic搜索。
此外,你没有提到来源是什么,是否要插入应用程序日志、数据库。假设你也想发送微服务日志,下面的选项也适用于发送其他数据。
由于您不想使用Filebeat,因此应该添加自定义代码来收集、细化、格式化和发布日志。
- 您可以使用Kafka Sink连接器到Elastic搜索来移动所有日志
- 此外,您还可以使用UDP协议发送(客户端(日志和侦听(服务器(,然后实现缓冲区并摄取到Elastic
您可以开发一个公共库,它包含所有这些代码,并在所有java应用程序中使用。
简单的udp客户端服务器代码-https://github.com/suren03/udp-server-client