使用Azure数据工厂处理Cosmos数据库中的每个项目

Question

我希望这是一个适合Azure数据工厂的用例。

我有一个Cosmos数据库，它有大约20万条记录，我想对整个数据库进行迭代，将每条记录传递到逻辑应用程序中。有没有一种简单的方法来预检每一条记录？我原以为Azure数据工厂会有这个功能，但"Lookup+Foreach"组合不喜欢我拥有的记录数量。我尝试用"Lookup+Foreach"管道创建一个while循环，感觉也有点笨拙。

我觉得20万条记录不是一个大数据集。我是不是错过了什么？有更好的方法吗？

Answer 1

我认为最理想的方法是使用Changefeed机制。这将是一个完美的用例。

https://learn.microsoft.com/en-us/azure/cosmos-db/change-feed-functions