如何在 Flink 中跳过损坏的消息



如何在 Flink 中跳过损坏的消息

我有DAG:KafkaSrcConsumer> FlatMap> Window> SinkFunction

现在,如果我在运算符"KafkaSrcConsumer"中收到来自Kafka的消息,我想抛出/跳过该消息,并且我不想将该损坏的消息转发给下一个运算符"FlatMap">

我们如何在 Apache Flink 中实现这一目标?

(注意:来自 KafkaSrcConsumer 的抛出异常将重新启动 flink 作业,我想避免这种情况,因为我只想跳过消息并移动到下一条消息(

如果 deserialize(...) 方法返回 null,Flink Kafka 使用者将静默跳过损坏的消息。文档中对此进行了描述。

相关内容

  • 没有找到相关文章

最新更新