我正在使用Hadoop,但对于日志,我需要一些东西。但是我不知道在Scribe和Chukwa之间哪个是更好的登录系统。你们能告诉我吗?如果有任何可以与Hadoop混合使用的替代方案,请告诉我。
我有一个选择:
Apache Flume是由Cloudera构建的,主要用于从HDFS获取数据。
https://cwiki.apache.org/confluence/display/FLUME/Index每个系统都有优点和缺点,它们都有一定的可靠性问题,但我可以说Flume是用java构建的,所以可以使用主HDFS库。
我们使用flume跨多个节点从我们的机器获取数据到HDFS和S3
在https://groups.google.com/a/cloudera.org/forum/#!查看日志收集工具的比较。主题/flume-user BMtsyGedcPo