配置单元tez查询失败，出现java.io.IOException

Question

执行长时间运行的Hive-Tez查询时，很少会失败：

java.io.IOException: File hdfs://XXX with newer attempt ID 1 is smaller than the file hdfs://YYY with older attempt ID 0

在我们的20节点HDP 3.1.5集群(Hive 3.1.0和Tez 0.9.1(中，它在大约200次执行中失败一次

Answer 1

我们在哪里打HIVE-2354

它似乎没有变通办法。在Hive 4.0.0 中解决

Answer 2

我在一个有很多大联接的查询中遇到了同样的问题。减少(在我的情况下是512 mb->16 mb(适合内存的表的大小，即hive.auto.convert.join.noconditionaltask.size，为我解决了这个问题

堆栈：HDP 3.1.4，Tez 0.9.1，Hive 3.1.0。