我使用debezium-connector-mysql-plugin中有两个KAFKA主题中的数据。现在，我想每天汇总这些数据并存储到另一个MySQL表中。
请建议。
谢谢。
您并没有真正提出要求，除了评论您不想使用Confluent平台(但没有说为什么(。
通常，使用Kafka中的数据(无论它来自何处(，您有不同的选择：
- 定制消费者(考虑到流处理框架的可用性，可能是个坏主意(
- ksql(使用SQL进行连接等( - Confluent Platform的一部分
- kafka流 - 用于进行流处理的Java库。Apache Kafka的一部分。
- Flink，Spark Streaming，Samza，Heron等等等
取决于您的使用，这将归结为
之类的因素- 现有的技术正在使用(如果您不需要的话，就没有任何点部署火花群集；相反，如果您已经使用了Spark并且对其进行了许多培训的开发人员，那么使用它是有意义的( (
- 开发人员的语言熟悉性 - 它必须是Java API，还是SQL更易于访问
- 框架/工具的功能 - 您是否需要紧密的安全集成，确切的一开始处理，CEP等。其中一些将排除您使用的工具。
您加入并汇总了数据后，要遵循的一个很好的模式是将其写回Kafka(因此更松散地解耦您的设计，并启用组件的责任分开(，然后从那里使用它写入MySQLKafka Connect和JDBC水槽。Kafka Connect是Apache Kafka的一部分。
最终考虑：如果您从MySQL中获取数据，然后将其处理回MySQL…您甚至需要Kafka吗？是否有适当的理由使用它，而不仅仅是在MySQL本身中进行此处理？
免责声明：我为Confluent工作。