将 informatica 与 Kafka 集成

Question

我计划在Informatica BDM中使用Kafka Data Objects。 我想通过 Informatica BDM 每 5 分钟读取一次 Kafka 的数据。我很少查询 Kafka 如何识别它必须加载的当前偏移量。 我们是否可以设置 Informatica 需要在 Kafka 数据对象中加载增量或更改数据的主题的偏移量??? 我找到了以下答案，您能否纠正我遵循的确切过程： 1( Zookeeper 是否将当前偏移量存储到加载数据的位置。 2( 要在上次提交偏移量之后读取消息，我们需要将 Consumer 配置文件中的 auto.offset.reset 参数设置为最大。

请向我建议一种如何从 Kafka 获取数据的方法。

问候

斯里纳特

Answer 1

要回答您的问题，

1. 旧的消费者 API 将偏移量存储在 ZooKeeper 中。但是，新的使用者 API 将偏移量存储在 Kafka 的内部主题中。
2. 在使用者组中，默认情况下，Kafka 使用者开始使用上次提交的偏移量中的消息。当使用者组不存在已提交的偏移量时，配置auto.offset.reset将发挥作用。例如，当使用者作为新使用者组的一部分开始消费时，此配置确定它应该从日志中的哪个位置开始(日志的开头或日志的结束(。