所以我想知道首先在直接流上应用转换然后调用foreachRDD而不是只做后者是否会有任何显着差异。
区别在于您在调用 transform()
时所做的转换。从文档中,transform
采用一个函数:transform(func(。结果会因func
的实施而异。
Spark的术语简化DAG:
DStream.transform((.foreachRDD(( is Transformation -> Action
DStream.foreachRDD(( 只是一个操作