RESTful数据源ETL到AWS Redshift



我正处于一个项目的最开始,我需要从3个独立的SAAS服务加载数据到AWS上的数据仓库。这3个SAAS应用程序都提供开放的RESTful api来检索数据。

需求是从这些web服务中提取数据并加载到AWS中的新数据仓库。限制是在AWS Glue中似乎没有任何现成的API连接器。

所以,简而言之,是否有任何运行在AWS中的GNU ETL工具可以连接到用于提取目的的外部API (GET方法),然后转换并加载到基于云的数据仓库?

作为旁注,我们没有与AWS结合,所以如果有Azure或任何其他IAAS公司的解决方案,我们会考虑。

在这一点上我只做了尽职调查。我正在寻找支持REST API提取的ETL工具的云数据仓库选项。

听起来你想要类似Amazon AppFlow的东西- https://aws.amazon.com/appflow/从文档"Amazon AppFlow可以直接从一些服务中提取数据,它直接与AWS Glue DataBrew集成,用于数据准备和转换。">

你没有说你正在使用什么SAAS产品或者你想要什么数据移动模型,所以这可能不是最好的选择。在AWS上有许多数据摄取选项。

相关内容

  • 没有找到相关文章

最新更新