我正处于一个项目的最开始,我需要从3个独立的SAAS服务加载数据到AWS上的数据仓库。这3个SAAS应用程序都提供开放的RESTful api来检索数据。
需求是从这些web服务中提取数据并加载到AWS中的新数据仓库。限制是在AWS Glue中似乎没有任何现成的API连接器。
所以,简而言之,是否有任何运行在AWS中的GNU ETL工具可以连接到用于提取目的的外部API (GET方法),然后转换并加载到基于云的数据仓库?
作为旁注,我们没有与AWS结合,所以如果有Azure或任何其他IAAS公司的解决方案,我们会考虑。
在这一点上我只做了尽职调查。我正在寻找支持REST API提取的ETL工具的云数据仓库选项。
听起来你想要类似Amazon AppFlow的东西- https://aws.amazon.com/appflow/从文档"Amazon AppFlow可以直接从一些服务中提取数据,它直接与AWS Glue DataBrew集成,用于数据准备和转换。">
你没有说你正在使用什么SAAS产品或者你想要什么数据移动模型,所以这可能不是最好的选择。在AWS上有许多数据摄取选项。