在数据级别中合并兽人文件不是条纹级别

Question

我想在数据级别进行合并，以便减少条纹的数量。这是因为我每小时处理文件，并且每个分区都会创建许多较小的兽人文件。我知道Hive Concatenate可以在条纹级别合并文件。如果我连接，则文件合并仅在条纹级别上发生，就像添加了许多条纹一样。我最终只有多个条纹，只有2-3行。我想拥有较小的条纹，其中有更多的行。

Answer 1

merge.orcfile.stripe.level = false应该起作用，但我没有在我们的群集上工作。

我必须编写一个自定义程序来读取和组合文件。