我正在研究IoT数据,在其中每1秒钟从每个设备中获取数据。这是通过IoT轮毂进行的,然后以Azure函数进行处理,最后存储在Cosmos DB中。但是,这些数据正在大规模尺度增长,因此我想在宇宙中设置TTL 5天,并在ADL中存档可以定期完成的ADL数据,每天两次或每天一次。但是我无法弄清楚我是否应该写一份火花作业来进行此转移或使用任何其他强大而优化的方法?我想要有关此用例的不同方法的一些建议。
Azure数据工厂有一种将数据从Cosmos DB复制到许多数据存储的方法。https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-cosmos-db