我有很多系统，其中大多数都能够使用JSON活动流[1]生成数据（或者可以被迫这样做），我想将这些数据用于分析。
我想使用传统的SQL数据集市来进行OLAP，也想将原始JSON数据转储到Hadoop中以运行批处理mapreduce作业。
我一直在阅读Kafka、Flume、Scribe、S4、Storm和一大堆其他工具，但我仍然不确定哪一个最适合手头的任务。这些似乎要么集中在日志文件数据上，要么集中在活动流的实时处理上，而我想我更感兴趣的是对活动流进行ETL。
我正在考虑的设置类型是为我感兴趣的所有流（URL、params、凭据）提供配置，该工具定期轮询它们，将输出转储到HDFS中，还为我提供了一个钩子来处理和转换JSON以插入数据集市。
现有的开源工具是否特别适合这种情况？
（就规模而言，我预计最多有30000名用户与大约10个系统交互——不是同时交互——所以不是真正的"大数据"，但也不是微不足道的。）
谢谢！
[1]http://activitystrea.ms/
您应该查看streamsets.com
它是一个开源工具（并且可以免费使用），正是为这类用例构建的。
您可以使用HTTP客户端源和HDFS目的地来实现您的主要目标。如果您决定也需要使用Kafka或Flume，那么对两者的支持也是内置的。
您还可以通过多种方式进行转换，包括为更复杂的转换编写python或javascript（或者您可以选择自己的Java阶段）。
你也可以看看logstash（elastic.co）和NiFi，看看其中一个是否更适合你。
*完全公开，我是StreamSets的工程师。