如何更改每个作业的 io.sort.mb



我想知道是否可以更改每个作业的io.sort.mb的值?我知道您可以在mapred-site中为参数设置一个值.xml但我想以编程方式在不同的作业中使用不同的值。我尝试了conf.setInt("io.sort.mb",someValue),但它似乎不起作用。JVM 设置有足够的内存(如 2.25GB),并且没有其他作业正在运行。

当然,只需在提交之前将其设置为Configuration(早期版本中JobConf)。它确实有效;我在Mahout中使用了它。请确保在设置值后和提交之前将conf设置到Job上。确保您也设置了正确的conf!也许你可以说你怎么知道它不起作用。

相关内容

  • 没有找到相关文章

最新更新