使用 kafka Connect 进行 CSV 数据流

Question

我们有一个CSV文件格式的业务事件，需要使用Kafka将其附加到数据库(在我们的例子中是雪花(。

我们是否需要将 csv 文件转换为 JSON 格式(使用 python(，然后将值传递给 kafka-producer 主题？

Answer 1

使用 Kafka Connect。

使用 Kafka

1. Connect spooldir 等连接器从 CSV 文件读取到 Kafka 中(请参阅示例(
使用 Snowflake 的 Kafka
2. Connect 连接器从 Kafka 主题流式传输到 Snowflake(参见示例(

在本次演讲中了解有关 Kafka Connect 的更多信息。