定期自动导出库斯托数据为更好的可查询格式?

Question

我们有两个具有特定表的Kusto/Azure Data Explorer集群，其中包含我想通过web API公开的数据。

目前，我使用Kusto.Data.Net.Client(https://www.nuget.org/packages/Microsoft.Azure.Kusto.Data/)从其中一个集群检索此信息。

问题:

• 第二个集群不允许编程访问。
• 查询很慢，而且有很多我不需要的开销。Kusto是用来处理大量数据的，我只需要很小的一点。

可能的解决方案:

定期和自动导出部分Kusto数据(基于查询)到另一个数据库(Postgres, Cosmos DB)，并让API工作。

问题:

• 这是推荐的方法吗?
• 我该怎么做(创建自动导出)?使用什么工具?

Answer 1

我有两个建议:

1. 您可以使用连续导出，定期将数据从集群导出到存储帐户。然后，您可以在第二个集群上创建一个事件网格，以便从该存储帐户读取到您的kusto集群。
2. 创建一个跟随集群，它将只跟随第一个集群所需的特定表。这将自动从第一个集群(也称为leader)获取数据，并且查询follower不会导致任何延迟。更多信息请点击

Answer 2

可能您正在寻找的是更新策略命令，根据文档:

更新策略是一个表级策略对象，它自动运行查询，然后在数据被摄取到另一个表中时摄取结果。

这是一个很好的减少数据的方法。