汇流汇连接器-多少是太多

Question

1. 我想使用Confluent sink连接器来更新远程服务器上的Postgres数据库。平均每天我们可能有1000-2000条消息(更新)。它"合法"吗?创建数百个接收连接器以将这些消息复制到所有远程服务器?有那么多接收器接头正常吗?

2. 是否可以告诉sink连接器"spread";他们的工作，所以不是所有100个连接器都将同时将更改推送到远程服务器?应该"timestamp.delay.interval.ms"被用来做这个?

感谢

Answer 1

1. 理论上每个目标服务器可以有一个连接器。一个连接器可以将来自多个主题的数据流式传输到单个服务器。如果配置因主题而异(例如不同的主键列名、不同的insert.mode要求等)，您可能会发现自己增加了连接器的数量——这是完全有效的("合法的")。😄)

每个<<li>strong>连接器将生成一个或多个任务开展工作。如果一个连接器为多个目标对象流式传输数据，如果您希望它，它可以并行处理并发任务。如果您想以串行方式流式传输数据，以便只有一个连接到数据库，那么相应地设置tasks.max。

要了解连接器/任务执行模型的更多信息，请参阅文档和教程视频。