Azure Data Explorer中的存储限制是什么?它取决于什么



我在官方文档中找不到它,服务限制也对这方面保持沉默。

  1. Azure Data Explorer中数据库的最大大小是多少
  2. 群集中所有数据库的最大总大小是多少
  3. 我的数据究竟存储在哪里?它在集群节点HDD上吗

对数据库中可摄入的数据量没有硬性限制。摄入的数据被持久化到无限的持久存储(Azure blob存储(。基于数据库的有效缓存策略,摄取的数据可以缓存在集群节点的本地SSD上。

单个集群的热缓存中可容纳的数据总量取决于节点数量和所选SKU-例如,如果每个VM的最大SSD大小为4TB,而集群中的最大节点数量为1000,则热缓存中最多可以有4000TB(压缩(数据。

数据压缩率因模式和数据而异。例如,如果压缩比为10,那么在上面的示例中,您可以缓存高达40PB的数据,同时仍然可以从冷存储中查询额外的数据(不缓存(。

在一个非常大的集群中存储和缓存这么多数据是否有意义,这在很大程度上取决于针对集群运行的场景和工作负载。