我有一个 Tableau 服务器(Windows 平台),它会不断生成日志。我想将其流式传输到 apache spark 以进行一些实时分析。我查看了以下解决方案,但似乎没有一个满足要求。
1)使用NXLOG代理。这是不可扩展的,因为将来日志可能来自多个 Tableau 服务器。
2)流利,水槽与窗户不兼容。
3)卡夫卡是毫无疑问的,因为它不会跟踪日志文件。
对于此类问题,什么是可扩展的解决方案?主要限制是 Tableau 服务器在 Windows 上运行,
一种选择(我个人会使用)是将 http://logstash.net/与Apache Kafka一起使用。
在Google上搜索"logstash windows"会弹出一些教程。
排除 Kafka 是因为它不会跟踪日志文件并没有多大意义。 :)