Amazon redshift - 适用于 SQL Server RDS 的 AWS 数据管道支持



我正在尝试查找有关 AWS 数据管道支持的数据源的文档。我需要做的是将SQL Server RDS数据导出到S3。我发现很多文档说数据管道可以使用RDS作为源,但我看到的每个示例仅适用于MySQL RDS。

是否有人有使用Data Pipeline和SQL Server RDS的经验?如果是这样,您使用什么数据节点连接到SQL Server RDS(例如MySqlDataNode,SqlDataNode)?

最终目标是将数据从SQL Server RDS移动到AWS Red Shift。

谢谢

为此,我们放弃了使用数据管道。我建议为此使用普通的ETL工具。如果您正在运行任何Windows服务器,那么SSIS可能是最佳选择,否则请查看Pentaho或Talend。

您有任何非 ASCII 数据吗?将数据从SQL Server的UTF16-LE转换为UTF8是我最头疼的问题。我在我的博客(http://blog.joeharris76.com/2013/09/migrating-from-sql-server-to-redshift.html)上写了一些解决方案。

数据管道似乎只内置了对MySQL RDS的支持。

一种选择是启动 EMR 集群,并使用 sqoop。您可以使用 sqoop 导入到 s3 中,然后使用 COPY 命令(或数据管道)将其直接加载到 Redshift 中。

有一个数据管道EMRResource。您需要创建一个引导任务,该任务在主服务器上下载和设置 sqoop,并获取相关的 jdbc 驱动程序。

此外,EMRActivity 似乎想要一个 jar 文件,当我只想从主服务器上的 shell 脚本运行 sqoop 命令时。我不确定这有多容易解决。也许是带有EMRResource的ShellCommandActivity?

最新更新