等效的rdd for flink中的火花



在Apache Spark中,很多时候我们使用RDD foreach来评估或处理RDD中的每个数据...我想知道Apache Flink中的相同的等效内容是什么?

弗林克没有等效的。但是,您可以使用map()并将您的自定义功能放入其中。

只是为了澄清:

  1. rdds是一个火花概念 - Flink确实在数据流上工作。
  2. forEach调用每个元素的函数,但不会修改基础数据(因此,使用flink中的 map(),您需要放置"具有副作用的身份函数" - 即,您的映射UDF应该为UDF做任何事情确实,加上输入记录未修改。)

由于版本1.2 Flink提供ProcessFunction,它或多或少类似于Spark中的forEach,因为它适用于每个流元素。

相关内容

  • 没有找到相关文章

最新更新