将数据从Google数据存储(GAE)迁移到Google Cloud SQL



我正在使用Google DataStore作为我的应用程序,现在为了报告目的,我想将数据从GAE数据存储迁移到Google Cloud SQL。

我有什么选择?(我有超过100k的条目,并且在工作中做很多时间)。

阅读您的问题,看来您有两个部分的问题:1)一次对所有过去数据进行一次导出到云SQL,2)设置某种定期的ETL过程保持两个数据库同步。

对于一次性转储,根据阅读文档,您似乎有一些选择:

  1. 使用Bulkloader将所有数据导出到CSV,然后将其加载到本地MySQL实例中,生成mySqlDump并按照本教程将其加载到Cloud SQL中,或创建一个可以连接到Cloud SQL实例的脚本并一次加载数据。
  2. 在您的应用程序内部创建一个过程,以发布一个任务以将给定的数据写入云SQL实例,以及将连接到云SQL DB并写入数据的单独的工作。

就个人而言,我会使用Bulkloader/Local MySQL/MySQLDUMP路由,因为您没有将任何抛出代码添加到主应用程序中。如果有什么问题,您只需清除云SQL实例并重新启动。

对于ETL件,我建议您要么一条任务队列路线,因为您可以实现接近实时,但可以通过限制队列执行速度来控制成本。

编辑:本文可能很有趣 - 涵盖从GAE到另一个db的数据迁移:http://www-cs-students.stanford.edu/~silver/~silver/gae.html(有意义的内容是在咆哮部分之后。。)

相关内容

  • 没有找到相关文章

最新更新