作为 POC 的一部分,我需要从 REST API 端点获取数据,这些数据将 JSON 数据作为响应返回,然后将其按原样保存到 Azure SQL 数据库中。
此 REST API 将用于历史(预计大约 10000 条记录(和增量加载,这些负载将按某个定期间隔执行。其余 API 使用 OAuth 2.0 访问令牌进行授权
请让我知道在 Azure 中进行数据摄取的最佳选项,我应该使用 ADF 还是 Azure 函数,以及在 ADF 中配置 REST API 的最佳做法是什么,尤其是错误处理。
如果这个 POC 成功运行,我还需要在设计中集成更多的 API 调用。
我昨天看到了关于这个主题的这篇文章,使用 DataFactory 从 rest API 中提取数据。
https://www.linkedin.com/pulse/azure-data-factory-copy-from-rest-api-sql-database-rohit-vangala