使用批处理操作作业将S3数据加载到红移中

Question

我想将存储在S3存储桶中的数据加载到红移中。我知道可以手动完成。但是，是否可以使用S3批处理操作作业并安排将S3数据加载到RedShift的任务？

Answer 1

您可以调用来自S3批次操作的lambda函数将数据加载到Redshift中。

在杰夫·巴尔(Jeff Barr(的帖子

中检查 Invoking AWS Lambda Functions

https://aws.amazon.com/blogs/aws/new-amazon-s3-batch-operations/

Answer 2

aws数据管道是一项托管服务，完全可以做到这一点。您可以配置和安排从S3导入数据的批处理作业。

这是一个教程：https：//docs.aws.amazon.com/datapipeline/latest/developerguide/dp-copydata-redshift.html

Answer 3

您可以通过执行COPY命令来编写Python脚本来执行此操作，从而将数据从S3加载到RedShift。使用Python中的psycopg2库通过Python代码在RedShift上运行SQL命令。