卡夫卡的多行消息



My Filestream源连接器正在kafka主题中将单个XML文件作为多条消息读取,即文件中的每一行都作为单独的消息读取。如何克服这一点,即完整的文件作为一条消息读取?

提前谢谢。

FileStream连接器不能被配置为将多行读取为一条消息,而且也只能用作开发目的的示例(根据文档(,而不是产品化ETL管道的一部分。

因此,您需要其他方法将文件读取为单个字符串。(但也要注意,Kafka的默认消息大小为1MB,不用于文件传输(

相关内容

  • 没有找到相关文章

最新更新