Python Spark:Java内存不足错误

Question

在spark的帮助下加载tif文件时，我遇到了一个问题。它给了我一个错误：

原因：java.lang.OutOfMemoryError：java堆空间

import thunder as td
sc = SparkContext("local","app1")
img = td.images.fromtif('20160511_HuC_H2B_G6s_F1_00002.tif','tif',None,None,False,None,None,None,sc,None).npartitions(100)

1-我尝试用更新"spark-env.sh"one_answers"spark-defaults.conf">

spark.execute.memory 2000m

2-我试着把它做成这样：

sc = SparkContext("local","app1","--executor-memory 20G")

3-我试图添加一个配置变量

(更新)

conf = SparkConf().set("spark.executor.memory", "2000m")
sc = SparkContext("local","simple app", conf = conf)

4-我添加到bash文件：

export_JAVA_OPTIONS="-Xms512m-Xmx4g">

我每次都会遇到同样的错误，如果有任何帮助，我将不胜感激。

Answer 1

我找到了解决方案。首先我下载了spark的源代码，然后我用sbt再次构建了它，之后我在conf文件中创建了spark-env.sh，如下所示：

SPARK_EXECUTOR_INSTANCES=14
SPARK_EXECUTOR_MEMORY=4G
SPARK_DRIVER_MEMORY=4G

我以前尝试过这个预构建版本的spark，但没有成功。