长范围滚动窗口聚合-时间序列kudu vs influxdb vs opentsdb

Question

我希望对大量客户交易数据进行一些分析。我们有数以百万计的事务事件，它们带有不同实体的数量和时间戳值;

{
  "txId": "tx123"
  "item": "i87"
  "qty": 3
  "time": "2016-10-31 01:42:54"
}

我想在日、周级别和滑动窗口上保持一系列聚合，例如，在过去28周内交易的项目i87的sum qty。

似乎有很多选择，包括时间序列数据库，如InfluxDB或OpenTSDB。然而，其中大多数似乎都是针对具有较短聚合周期的指标和监控。这样的系统如何处理同时做小的& &;大的滚动窗?

Answer 1

你不能发送JSON到InfluxDB。它使用线路协议。除非您以某种方式将JSON转换为此行协议，否则在我看来，您更像是在寻找某种类型的ELK堆栈。Elasticsearch是开源和免费的，但如果你想要认证(像SHIELD)，你必须付费。(或者你可以使用Nginx反向代理)你可以发送JSON到ELK，它可以自动解析字段，之后你可以对它们进行分析。