如何强制火花以避免数据集重新计算

Question

我有一个数据集，它是从 cassandra in Spark 加载的。加载此数据集后，我将从 cassandra 中删除一些项目，但我希望我的数据集在下一次计算中处于第一个位置。我已经用persist(DISK_ONLY)来解决它，但它似乎是尽力而为。如何强制火花以避免重新计算？

例：

 val dataset:Dataset[Int] = ??? // something from cassandra
 dataset.persist(StorageLevel.DISK_ONLY) // it's best effort
 dataset.count // = 2n
 dataset.persist(_ % 2 == 0).remove // remove from cassandra
 data.count // = n => I need orginal dataset here

Answer 1

Spark cache 不打算以这种方式使用。这是一种优化，即使使用最保守的StorageLevels（DISK_ONLY_2），在工人故障或退役的情况下，数据也可能丢失并重新计算。

Checkpoint到可靠的文件系统可能是一个更好的选择，但我怀疑可能存在一些边界情况，这可能会导致数据丢失。

哟，确保正确性，我强烈建议至少将中间数据写入持久存储，如分布式文件系统，然后将其读回：

dataset.write.format(...).save("persisted/location")
... // Remove data from the source
spark.read.format(...).load("persisted/location") //reading the same again