如何将Azure事件中心(kafka接口)的事件集成到谷歌云pub/sub



我有一个需求,需要在Azure事件中心上使用kafka主题。需要创建POST端点,该端点将使用作为参数提供的主题。消息必须在pubsub主题上发送,其中kafka主题为属性,消息内容为正文。

这是一个高级别的要求。我在这里了解了如何实现这一目标。然而,如果有人实时实现了这一点,即从Azure事件中心到谷歌云酒吧子网站的事件,或者进行过类似的实现,请提供帮助。

正如评论部分所讨论的,为了进一步对社区做出贡献,我将发布我们讨论的摘要作为答案。

由于您的数据目的地是BigQuery,您可以在Dataflow中使用Kafka到BigQuery模板,您可以使用该模板将json消息从Kafka加载到BigQuery。此外,根据文件,

如何使用此数据流模板Kafka到BigQuery该模板创建了一个流式管道,从Kafka中获取JSON数据,执行可选的JavaScript用户定义函数(UDF(,并将结果记录写入BigQuery。数据转换、UDF执行或写入BigQuery期间的任何错误都将写入BigQuery中的单独错误表中。如果错误表不存在,则会创建该表。

管道要求

  • Kafka主题存在,消息被编码为有效的JSON。

  • BigQuery输出表存在。

  • 可以从Dataflow工作机器访问Kafka代理。

另一方面,您可以使用KafkaIO方法根据您的特定需求创建自己的模板,您可以查看本教程以更好地了解如何开始。

最新更新