我试图写一个简单的使用kafka连接器的情况。我的设置涉及使用三个节点 N1、N2 和 N3。N1 是源,N2、N3 是我的情况中的接收器节点。我正在将数据写入节点 N1 上的文本文件(例如输入.txt(,并使用独立的 kafka 连接器希望在节点 N2 和 N3 上看到内容类似于输入的文本文件.txt。
我正在使用 REST API 更改主题名称、文件名和任务.max。但是,在实验过程中,我无法同时在两个节点(N2 和 N3(上获得输入的完整副本.txt。
此外,在接收器连接器的节点(N2 和 N3(上调整任务的值.max决定将发送哪些节点数据。
所以,我的问题是,我期待这样的结果是否错了?如果是这样,那么我应该期待实验的结果是什么?如果没有,那么我如何获得我想要的结果?
我将不胜感激在这件事上的任何帮助。
我实际上对接收器 N2 和 N3 使用相同的使用者组名称,因此在接收器 N2 和 N3 接收的数据在它们之间分配。
更改了 connect-file-sink-n2.properties 和 connect-file-sink-n3.properties 中的组名("name"(,允许接收器 N2 和 N3 充当独立订阅者并接收完整数据。
来自 Confluent 讨论组的以下链接支持该解释:https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!topic/confluent-platform/SUn2OmXSAXY