maxCombinedSplitSize property in hive?

Question

在pig中有一个属性叫做

的猪。maxCombinedSplitSize' -指定单个映射要处理的数据的大小，以字节为单位。较小的文件将被合并，直到达到此大小。

在hive中是否有一个类似的属性用于指定单个map要处理的数据大小?

我正在尝试下面的命令，但它不工作。

'SET hive.maxCombinedSplitSize=64mb';

有什么建议吗?

Answer 1

试试这个:

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set mapred.min.split.size=67108864;