火花壳消耗纱线资源,如何阻止它



这是我的问题,现在,当我开始使用Spark Shell时,它会消耗大量资源,也许可以使它们保持边界/持有;通过影响其他并行运行的应用程序。

说例如,我正在运行一些火花壳命令,不小心打开外壳,而不是关闭会话,所有其他资源都将保持稳定,除非我关闭我的所有其他用户会话

如何从纱线的角度解决此问题。

您可能需要在Cloudera设置纱线的资源池使用情况。您可以为每个用户分配一些资源。即使您使用所有资源,其他用户也会有一些可用。

如果您不想在用户之间拆分纱线资源。您可以将SPARK设置为使用动态分配(在http://spark.apache.org/docs/latest/configuration.html中查看Spark.dynamicallocation.enabled属性(。因此,如果您打开火花壳并完成了工作,Spark将把资源还给纱线。但是您在使用动态分配时无法设置执行者的数量

问候,Arnaud

相关内容

  • 没有找到相关文章

最新更新