Flafka :如何写入部分化的Kafka主题(通道)，该主题通过Flume代理在msg类型上分区

Question

在我的项目中，我们总共有11个WSMQ作为Flume代理的来源。Kafka 主题作为通道，Kafka 主题按消息类型进行分区。HDFS作为接收器。

要求：我们希望使用 flume-agent 从多个队列中读取并写入 kafka 主题的特定分区，以便在以后的时间点，我们可以从这些 kafka 分区中读取数据。

现在，对于代理写入消息的每个队列，我们总共有 11 个 kafka 主题。我们希望有一个 Kafka 主题，该主题在 msg 类型上分区，并且可以将传入的消息写入这些分区。

任何人都可以建议，这个用例的最佳方法是什么？

谢谢！

Answer 1

我们通过Spark流解决了这个问题。