如何在apache beam java中编写分区的parquet文件

Question

我是Apache Beam的新手，不知道如何完成这项任务。我想在Java中使用Apache Beam编写一个分区的拼花文件。数据是从Kafka读取的，我希望文件每小时有一个新的分区。时间戳列存在于数据中。

Answer 1

尝试使用FixedWindows。有一个窗口WordCount的例子，它将每个窗口写入单独的文本文件-所以，我相信，它可以适应您的情况。