如何使用 apache samza 每秒处理 120 万条消息

Question

现在我做了samza的基本设置。 之后，我处理了来自 kafka 代理主题的 1，00，000 条 json 记录 每条记录的大小为 100 字节 但是每秒我只能处理 11000 条记录。 如何提高处理速度？

Answer 1

如果你需要更多的经纪人，你可以增加数字分区：

bin/kafka-topics.sh --zookeeper zoo:port/chroot --alter --topic TOPIC_NAME_CHANGE_ME --partitions 10 

所以 nb 分区 == nb worker

获取更多信息 ： 文档