通过以CSV的形式进行一些聚合,将RedShift表推送到S3



我一直在寻找用程序将Redshift表(需要聚合表(拉入s3的最佳方法。

什么是最好的解决方案。从Athena到s3,我找到了这篇文章,然而,从Redshift到s3我找不到任何信息。

https://www.datastackpros.com/2020/07/export-athena-view-as-csv-to-aws-s3.html

我会每天摄入,csv文件应该被覆盖。

感谢

我们马上想到两种方法——UNLOAD和CREATE EXTERNAL TABLE。每种方法都有其优点和缺点。您的用例并不完全清楚您需要的结果文件是什么样子,但让我来猜测一下。

我希望您需要一个单独的CSV文件(有或没有标题行?(供其他工具读取/使用。在这种情况下,我会使用UNLOAD和PARALLEL OFF来将查询结果保存到S3。只有当生成的大小小于5GB时,才会在S3中生成1个文件。

最新更新