Spark:如何从每个执行器向s3/hdfs写入文件

Question

我有一个用例，我在每个执行器上运行一些建模代码，并希望在等待所有执行器完成任务之前立即将结果存储在s3/hdfs中。

Answer 1

数据帧写入API的工作方式与您打算在这里使用的方式相同，如果将数据帧写入hdfs，执行器将独立地将数据写入文件，而不是将它们全部写入驱动程序，然后执行写操作。

请参阅此链接以进一步阅读本主题。