使用Kafka从Oracle流式数据



我从kafka开始,我需要控制特定的oracle表中的插入物,目前通过kafka发送新记录。我无法控制数据库,因此,原则上排除了Debizium。我怎样才能做到这一点?不使用触发器。

我已经通过Eclipse中的Java程序从Oracle读取数据,但这将不断向数据库提出请求。我使用Java模拟了用消费者的ETL。

ps:我与Windows一起工作,但这是次要的。

如果我正确理解您的问题,则您正在尝试将插入从Kafka插入到Oracle数据库。可能有很少的可能性:

  1. 您实施了Kafka消费者,并且一旦您的Kafka群集收到消息,消费者就会插入。您可以在此处重复使用Java代码 - 只需删除轮询部分即可。请访问此处
  2. 如果您将KAFKA部署在云环境中并将其用作服务(AWS MSK(,则可以选择处理这些事件。同样,您可以使用Java程序或可以编写Python脚本来制作插入。请访问此处
  3. 我想了解您的吞吐量要求,无论您是否真的需要Kafka作为分布式消息系统,还是简单的AWS SQS都可以正常工作。如果您可以使用SQS,那么事情对您来说是简单的。您创建一个队列,然后在
    中写下听众Python或Java

boto3是一个出色的Python库,用于使用SQS

相关内容

  • 没有找到相关文章

最新更新