我正在尝试实现Azure数据工厂的复制活动将数据从API复制到我们的SQL数据仓库。我已经设置好了源& &;正确地下沉,以便当我触发管道时,它会拉并加载第一次加载的数据,但我正在努力进行分页。
我试图从思科Meraki (https://developer.cisco.com/meraki/api-v1/#!introduction/meraki-dashboard-api)中提取数据的API是一个使用RFC 5988分页方法的REST API。这意味着它在响应头中传递下一页的分页规则。
我运行以下API调用
{{baseUrl}}/networks/:networkId/events?productType=wireless&perPage=1000
传递以下内容作为链接头响应,以指示下一页
<{{baseUrl}}/networks/:networkId/events?endingBefore=2021-10-19T13%3A03%3A06.769680Z&perPage=1000&productType=wireless>; rel=prev, <{{baseUrl}}/networks/:networkId/events?perPage=1000&productType=wireless&startingAfter=2021-10-19T13%3A44%3A01.586776Z>; rel=next
我如何在ADF的分页规则中实现上述内容以获得下一页的信息?我目前定义的规则如下:ADF分页规则,但它没有访问任何新信息。没有错误信息,只是仍然只有第一页。
谢谢你的指点,
我知道这篇文章有点老了,但我想我应该为其他人评论一下。
我发现,当处理符合的响应时,如果您什么都不做,datafactory将处理分页。例如,将分页规则保留为空。这会将"paginationRules": {"supportRFC5988": "true"}
添加到源Json中。
我已经测试了这个,并验证它可以读取所有页面。