由于容量策略,Kusto摄入限制和命令限制



我使用kusto摄取客户端kustoClient。IngestFromDataReader以摄取数据。它引发异常源"DataReader"发生错误。错误:"无法获取:状态="已损坏",状态="由于限制,控制命令已中止。"。退一步再退可能会成功。命令类型:"DataIngestPull",容量:18,来源:"CapacityPolicy/Ingestion">。我在这里读过文件https://learn.microsoft.com/en-us/azure/data-explorer/kusto/management/capacitypolicy#ingestion-容量,我想这可能是因为同时运行的请求太多,集群容量有限,对吗?

我对这份文件还是有点困惑。最终的数量(Minimum(ClusterMaximumConcurrentOperations,集群中的节点数*Maximum(1,每个节点的Core计数*CoreUtilizationCoefficient((是什么意思?是否表示并发操作总数?具体来说,一个kusto-intake客户端或一个kustu-intake命令是否只有一个并发操作,或者它是可配置的?

非常感谢!

实际上,该文档意味着摄取容量(就并发摄取操作而言(是集群中核心总数的3/4倍,但不高于512。您可以通过运行".show cluster capacity"命令来查看群集容量及其利用率。

如果您不想自己处理节流,则应该使用KustoQueuedIngestClient类,并将接收服务端点传递给它(https://ingest-..kusto.windows.net)。摄入服务将负责管理集群上的负载。有关更多详细信息,请参阅摄入概述文章。

最新更新