每天拉取数据

Question

我的红移集群中有数据，每天从红移中提取数据并在几个sql查询的红移基础上创建一个新的新表YY的最佳方法是什么。

就像我们有一个红移表XX，我想从表XX中提取前10行创建一个红移表

。

将表 YY 创建为 从 XX 中选择前 10 个 *

Answer 1

使用AWS-Glue，您可以计划作业，然后编写脚本代码来执行特定操作。 AWS-glue代码可以在以下 3 种类型的事件中触发，在您的情况下，我认为 #1 是适用的。

1. 基于 cron 计划的触发器。
2. 基于事件的触发器;例如，成功完成另一个任务可以启动 AWS Glue 作业。
3. 按需启动作业的触发器。

对于您的情况，我认为这应该更适用。

我希望这应该给你一些指示。