如何从 Hue/Hive 输出下载所有观测值



我正在努力解决这样的问题。在 Hue/Hive 上执行查询后,我的输出表有 1,2 mln 的观察结果。当我尝试以.csv格式下载结果时,只能下载 1 mln 的观察结果。我知道我可以执行查询,选择 0,9 mln 的观察结果并下载结果,然后执行查询以提取最后 0,3 mln 的观察结果并下载结果并合并到例如 R 统计包中。但也许有人知道如何用一种方法做到这一点?

您可以将

限制提高到100万以上,但请注意,这可能会减慢色相:https://github.com/cloudera/hue/blob/master/desktop/conf.dist/hue.ini#L741

另一种方法是将表创建为选择...(这将缩放,但默认情况下不会是 CSV)

简单的解决方案是将输出保存在HDFS目录中,然后从那里下载数据。使用如下所示的查询来存储结果:

插入覆盖目录"$path"从中选择 * ...

相关内容

  • 没有找到相关文章

最新更新