如何编写 Kafka 连接器与 Facebook API 集成?



我正在尝试编写一个Kafka连接器来从Facebook获取数据。问题是,

  1. 如何在不超过Facebook提供的API命中限制的情况下通过他们的API从Facebook获取数据?连接器应在特定时间间隔后调用 facebook API 以获取数据,以便点击次数不会超过。

  2. 每个用户都可以使用其访问令牌访问 facebook API,因此用户无法共享相同的主题分区。那么如何处理这种情况。我们必须为每个用户创建一个分区吗?

我阅读了一些指南和博客来了解Kafka连接和编写连接器。

汇合- https://docs.confluent.io/current/connect/index.html

夫卡文档- https://kafka.apache.org/documentation/#connect

从概念上讲,它让我了解了什么是 Kafka 连接,它是如何工作的以及编写 Kafka 连接器的重要类是什么。但是,我仍然对如何编写和运行连接器感到困惑。我试图找到分步开发指南,但没有找到。

任何教程或pdf,如果你能建议哪些有详细的分步开发指南来编写和运行Kafka连接器。

唯一的"官方指南"是在你拥有的那些链接中

https://docs.confluent.io/current/connect/devguide.html#developing-a-simple-connector

我个人没有使用 Facebook API 的经验,但我认为它使用 REST,所以你可以从分叉 kafka-connect-rest 项目开始,但不超过限制的最简单答案是不要发送超过给定时间段内允许的请求(在请求之间等待的代码中添加计时器)

此外,一个连接器只有一组访问密钥。如何创建ConnectRecord对象以最终对记录进行分区取决于您,但我认为每个用户都有一个访问密钥不会很好地扩展。将一个密钥绑定到一个应用程序可能更有意义,然后每个用户将接受该应用程序有权从其帐户读取某些详细信息。

相关内容

  • 没有找到相关文章

最新更新