bucket下的minio文件夹不是由kafkas3信宿连接器分布式模式自动创建的



我已经在独立模式和分布式模式下设置了kafka s3接收器连接器。他们都工作得很好,但我观察到在小人物存储方面的行为有所不同。

我在水槽属性中指定了topics.dir来存储从kafka主题转换而来的镶木地板文件。当我在独立模式下运行kafka连接器时,我不需要手动预创建topics.dir。连接器将创建topics.dir,然后创建具有主题名称的子文件夹,然后在其中存储镶木地板文件。

当我在分布式模式下切换到kafka连接器时,连接器端的一切似乎都完成了,没有任何错误,然而,在minio上,我没有看到topics.dir文件夹和主题名称子文件夹被创建。所以我试着手动创建topics.dir。一旦我手动创建topics.dir,所有(主题名称的(子文件夹和相关的拼花文件都会显示出来。

这有点不方便,因为在手动创建topics.dir文件夹之前,您不知道连接器是否正常工作(实际上正常(。此外,此手动步骤会破坏管道。

有人知道是什么触发了这种行为的改变,以及如何解决吗?

谢谢。

事实证明,这些文件夹在minio GUI上显示有延迟。

相关内容

最新更新