df.cache() 存储在哪里是这个存储在驱动程序内存或执行器内存上

Question

Blockquote

如果它存储执行器级别，那么它应该在数据帧大小大于执行器内存的情况下通过内存不足错误，然后执行器内存

Answer 1

它存储在执行器中。如果选择存储级别为 StorageLevel.MEMORY_AND_DISK 或 StorageLevel.MEMORY_AND_DISK_SER则当内存不足时，它将在磁盘中存储数据。