从Kafka json消息到Snowflake表



我正在尝试实现Snowflake Sink连接器,这样我就可以将来自Kafka主题的消息直接加载到适当的Snowflak表中。到目前为止,我只能将原始json加载到一个包含两列(RECORD_METADATA和RECORD_CONTENT(的表中。我的目标是通过将json消息扁平化,直接将它们加载到适当的表中。我已经有了表的结构,所以我可以创建一个表并直接加载到其中。但我需要一种加载过程使消息变平的方法。

我一直在网上查看文档,但还没有找到一个明确的方法。有可能吗?或者我必须先加载原始json,然后进行转换才能得到我想要的表吗?

感谢

您必须先加载原始JSON,然后才能进行转换。

每个Kafka消息都以JSON格式或Avro格式传递给Snowflake。Kafka连接器将格式化后的信息存储在VARIANT类型的单列中。数据不会被解析,并且数据不会在Snowflake表中拆分为多列。

有关更多信息,您可以在此处阅读

相关内容

  • 没有找到相关文章

最新更新