是用dc对巨大数据进行cleint侧渲染以进行交互式可视化,适用于分析工具



开发一个类似https://dc-js.github.io/dc.js/vc/index.html对于DC,使用交叉过滤器在整个数据集上进行客户端渲染是分析平台的最佳选择吗?

对分析平台的一些见解-该平台可以在提供数据库连接详细信息后连接到世界上任何地方的任何数据库表,并提取特定表的列进行分析(总和、平均值、最小值、最大值),然后用图表库进行渲染,以便在客户端进行可视化。

我知道服务器端(NodeJS)渲染有一种可能的方法,可以利用交叉过滤器库,但作为后端,计划使用Python。

主要关注点-即使数据量很大,客户端的交互也应该流畅。现在的问题是:

  • 在客户端获取所有数据(无论其大小),以使应用程序最具交互性,这是个好主意吗?

  • 它对客户端内存堆栈的限制有多大?

  • 有没有更好的方法可以做到这一点,这样我们就不必在交互性和客户端/服务器端数据处理之间进行权衡?

无论它的大小使应用程序最具互动性?

它对客户端内存堆栈的限制有多大?

与您的数据一样大。Chrome的最大内存消耗量约为1GB,但在大多数用例中,它会在到达之前很久就停止运行。如果您压缩的数据量超过10MB,那么是时候开始考虑非客户端选项了。

有更好的方法吗?这样我们就不必在数据的交互和客户端/服务器端处理?

您需要考虑在客户端和服务器之间共享数据处理负载的高级架构,这些架构通常没有简单的库实现。我把http://lcadata.info(它是开源的)作为如何做到这一点的一个例子。后端是Lift/Scala/Spark,但您可以使用Python做类似的事情。

最新更新