如何将1000万个消息传播到卡夫卡



根据我对实时分析的要求,我必须将1000万个记录插入kafka,最重要的是,我必须编写自定义的消费者逻辑。但是要满足此要求,我如何播种在3-5分钟的时间内进入Kafka的1000万个记录?

最好根据项目要求使用春季启动。请建议

几个选项:

  • kafka-connect-datagen,本文详细介绍。
  • 命令行生产商,例如 kafkacat

    seq 1 10000000 | kafkacat -b localhost:9092 -t testtopic -P
    
    • 用于更现实的测试数据,将其与Mockaroo结合使用

您可以尝试使用流媒体工具,它具有数据生成器功能。它迅速生成数据。另外,这将帮助您使用连接器和消费者/生产商,实际上可以进行一些处理&在这里也过滤,因此理想情况下几乎没有编码。

您可以在for循环中创建一个简单的生产者和produce。我做到了,它就像魅力一样。如果您不想产生1个毫秒/秒,请不要忘记不要使用.flush() ...

最新更新