如何配置 Filebeats 以读取 apache Spark 应用程序日志。一旦应用程序完成，生成的日志就会以不可读的格式移动到历史记录服务器。这里的理想方式是什么。
您可以通过 Log4J 配置 Spark 日志记录。 有关设置 log4j 配置的一些边缘情况的讨论，请参阅 SPARK-16784，但如果您只想收集来自集群的所有应用程序日志(相对于每个作业的日志(，则无需考虑任何这些。
在 ELK 方面，有一个用于 logstash 的 log4j 输入插件，但它已被弃用。
值得庆幸的是，已弃用插件的文档描述了如何配置 log4j 以在本地为 FileBeat 写入数据，以及如何设置 FileBeat 以使用此数据并将其发送到 Logstash 实例。 现在，这是使用 log4j 从系统传送日志的推荐方法。
因此，总而言之，将日志从Spark获取到ELK的推荐方法是：
- 将 Spark 群集的 Log4J 配置设置为写入本地文件
- 运行 FileBeat 以从这些文件使用并发送到 logstash
- Logstash 会将数据发送到 Elastisearch
- 您可以使用 Kibana 搜索索引日志数据