Spark DStream.transform().foreachRDD() vs DStream.foreachRDD



所以我想知道首先在直接流上应用转换然后调用foreachRDD而不是只做后者是否会有任何显着差异。

区别在于您在调用 transform() 时所做的转换。从文档中,transform 采用一个函数:transform(func(。结果会因func的实施而异。

Spark的术语简化DAG:

DStream.transform((.foreachRDD(( is Transformation -> Action

DStream.foreachRDD(( 只是一个操作

最新更新