如何用Python实现Hive的多文件输出

Question

给定一个查询

select category, value from someHiveTable;

我希望将以上每个类别的结果输出到一个由相应类别命名的单独文件中。

编辑：

hive -e "select category, value from someHiveTable" >./output.csv

只能输出到一个文件。

如何将结果输出到每个类别的多个文件？

Answer 1

不确定它是否有帮助，但如果你找不到其他东西，你可以尝试。。

select TRANSFORM(category, value) USING 'yourCustomScript' from someHiveTable

这将为您的自定义脚本提供单行制表符分隔的输入，在那里您可以尝试根据输入将输出恢复为不同的文件。你可以对TRANSFORM和USING做更多的研究。