将 mysql DB 导入 Bigquery 的最佳方式

Question

目前，我们有一个脚本可以创建数据库转储并将其滚动到Amazon RDS服务器上。这种情况每小时发生一次，当新的转储到达时，将删除它的先前版本。

我希望在 Bigquery 中拥有这些数据。最简单的过程是什么？特别：

1. 有没有办法将转储上传到BQ自动删除以前的版本？

2. 有没有办法自动将数据库从 RDS 复制到 BQ 删除 BQ 端的旧版本？

对此的任何其他见解将不胜感激。

Answer 1

更改转储过程比尝试以这种方式创建导入脚本要好得多。将新记录流式传输到 BigQuery 将是最简单的方法。如果您坚持使用所描述的转储过程，那么 Apache Airflow 将是一个不错的选择，正如 Mikhail 所建议的那样。