我想知道是否可以更改每个作业的io.sort.mb的值?我知道您可以在mapred-site中为参数设置一个值.xml但我想以编程方式在不同的作业中使用不同的值。我尝试了conf.setInt("io.sort.mb",someValue),但它似乎不起作用。JVM 设置有足够的内存(如 2.25GB),并且没有其他作业正在运行。
当然,只需在提交之前将其设置为Configuration
(早期版本中JobConf
)。它确实有效;我在Mahout中使用了它。请确保在设置值后和提交之前将conf
设置到Job
上。确保您也设置了正确的conf
!也许你可以说你怎么知道它不起作用。