我正在尝试构建一个在线仪表板来可视化一个大型csv数据集,我想确保我遵循的是正确的路径。
谢谢大家。
Crossfilter将快速处理大约500K行的数据,可能更多地取决于列的复杂性。
在这个大小左右,您还必须考虑将数据下载到浏览器所需的时间,这会影响图表何时出现在页面中。
如果你的数据比这个大,并且你仍然想使用dc.js,你有两个选择:
-
预聚合数据:不要使用
group.reduceCount()
来计算行数,而是使用group.reduceSum()
并使用预求和整数来计算列数。当然,您将无法深入到预先聚合的数据中,因此只有当您能够接受图表维度的某些粒度时,这才有效。 -
使用服务器端替换交叉过滤器,例如弹性dc。还有其他的解决方案,但我认为Deepak有最完整的解决方案。