我已经构建了一个Spark和Flink k-means应用程序。我的测试用例是在一个3节点集群上的100万个点的集群。
当内存瓶颈开始时，Flink开始外包到磁盘，工作缓慢但工作正常。但是，如果内存满了，Spark会丢失执行器并重新启动(无限循环?)。
我尝试自定义内存设置与帮助从邮件列表在这里，谢谢。但是Spark仍然不能工作是否需要设置任何配置?我的意思是Flink工作在低内存，Spark也必须能够;或不呢?
我不是Spark专家(我是Flink的贡献者)。据我所知，如果没有足够的主内存，Spark是无法溢出到磁盘的。这是Flink相对于Spark的一个优势。然而，Spark宣布了一个名为"Tungsten"的新项目，以实现类似于Flink的托管内存。我不知道这个功能是否已经可用:https://databricks.com/blog/2015/04/28/project-tungsten-bringing-spark-closer-to-bare-metal.html
有几个关于Spark内存不足的问题(在互联网上搜索"Spark out of memory"也会产生许多结果):
spark Java .lang. outofmemoryerror: Java堆空间Spark按键分组时内存不足Spark out of memory
也许其中一个有帮助。