我真的很想为下面的情况找到一个架构解决方案。
我有一个事件来源(例如油井中的传感器，大约50000个(，可以为服务器生成事件。在服务器端，我想以某种方式处理所有这些事件，以使传感器有关最新湿度，温度，压力...等的信息将存储/更新到数据库中。
我与Flume或Kafka感到困惑。
有人可以用建筑术语解决我的简单场景。
我不想将事件存储在某个地方，因为我已经在更新具有最新值的数据库。
我真的需要火花，(flume/kafka( 火花，以满足处理方？
我们可以使用没有水槽的水槽进行任何类型的处理？
听起来好像您需要使用Kafka生产者API将事件发布到主题上，然后只需使用Kafka Consumer API读取这些事件，以将其写入数据库或使用KAFKA JDBC水槽连接器。
另外，如果您只需要Kafka中的最新数据，请查看日志压实。
一种方法是将所有消息推向Kafka主题。使用Spark流，您可以从Kafka主题中摄入并处理。Spark流可以直接从您的Kafka主题处理