将Hadoop(特别是HDFS文件)与ELK堆栈集成

Question

我正在尝试将Hadoop与ELK堆栈集成。我的用例是"我必须从 HDFS 路径中存在的文件中获取数据并在 kibana 仪表板上显示内容">

蜂巢

在那里不起作用，所以我无法使用蜂巢。还有其他方法可以做到这一点吗？

有人有任何文章与分步过程？

我试图通过logstash和filebeat从Hadoop服务器上的linux位置获取日志，但这也不起作用。

Answer 1

我这样做是为了一些 OSINT 工作，一旦可以将内容从 hdfs 中获取到本地文件系统中，就很容易做到。这是通过设置HdfsNfsGateway来完成的。完成后，使用 filebeat 和 logstash 将你的内容导入 elasticsearch。之后，只需为您使用的索引配置 kibana 仪表板即可。