我正试图将一个60gb的表数据加载到spark-python数据帧中，然后将其写入一个配置单元表中。
我已经设置了足够的驱动程序内存，执行器内存，最大结果大小来处理数据。但是，当我使用命令行中提到的所有上述配置运行spark-submit时，我遇到了错误。
注意：通过spark-pythonshell(通过在启动shell时指定驱动程序和执行程序内存(，我能够填充目标配置单元表。
有什么想法吗？？
尝试使用语法：
./spark-submit --conf ...
用于与内存相关的配置。我怀疑您正在做的是——在初始化SparkSession的同时设置它们——这变得无关紧要，因为那时内核已经启动了。和你为运行shell设置的参数一样。
https://spark.apache.org/docs/latest/submitting-applications.html