如果我事先不知道使用 Apache Flink 的模式，有没有办法将数据写入镶木地板文件？

Question

我有多个事件流，我不断地将新类型的事件集成到我的Kafka流层中。我目前有3种不同类型的复杂事件来自我的网络流，我计划在今年再集成6种。有没有一种方法可以将所有这些数据流写入parquet，而不必为每个主题配置多个具有预定义模式的flink数据流？

Answer 1

您可以有多个输出端，每个输出端都有自己配置的镶木地板编写器，用于特定的事件类型。对于每个不同的事件，可以提供不同的模式。