Azure数据工厂分页RFC 5988兼容的REST API (Meraki)



我正在尝试实现Azure数据工厂的复制活动将数据从API复制到我们的SQL数据仓库。我已经设置好了源& &;正确地下沉,以便当我触发管道时,它会拉并加载第一次加载的数据,但我正在努力进行分页。

我试图从思科Meraki (https://developer.cisco.com/meraki/api-v1/#!introduction/meraki-dashboard-api)中提取数据的API是一个使用RFC 5988分页方法的REST API。这意味着它在响应头中传递下一页的分页规则。

我运行以下API调用

{{baseUrl}}/networks/:networkId/events?productType=wireless&perPage=1000

传递以下内容作为链接头响应,以指示下一页

<{{baseUrl}}/networks/:networkId/events?endingBefore=2021-10-19T13%3A03%3A06.769680Z&perPage=1000&productType=wireless>; rel=prev, <{{baseUrl}}/networks/:networkId/events?perPage=1000&productType=wireless&startingAfter=2021-10-19T13%3A44%3A01.586776Z>; rel=next

我如何在ADF的分页规则中实现上述内容以获得下一页的信息?我目前定义的规则如下:ADF分页规则,但它没有访问任何新信息。没有错误信息,只是仍然只有第一页。

谢谢你的指点,

我知道这篇文章有点老了,但我想我应该为其他人评论一下。

我发现,当处理符合的响应时,如果您什么都不做,datafactory将处理分页。例如,将分页规则保留为空。这会将"paginationRules": {"supportRFC5988": "true"}添加到源Json中。

我已经测试了这个,并验证它可以读取所有页面。

相关内容

  • 没有找到相关文章

最新更新