在 UI 上解析上传的 CSV 文件(约 8GB)时,将非常大的 JSON 对象存储在内存中



我有一个功能,用户可以在UI上浏览大约8GB大小的CSV文件。一旦 UI 具有File对象,我就使用Papa Parse来解析 CSV 文件,它就像一个魅力。

在解析时,我通过对数据进行一些操作从每个 CSV 记录构造一个对象。随着分析的进行,对象上的大小不断增加,最终解析失败,浏览器显示内存不足异常

在对CSV进行数据操作后,构建的对象大小将小于2 GB,但在此之前它甚至失败了。有没有办法在UI上处理如此大的对象?

您可能没有正确使用解析器

我有没有提到文件很大?

查看所有配置 : https://www.papaparse.com/docs#config

使用 worker 试试:true使用 Web worker 的最典型原因是您的网页在解析过程中变得无响应。换句话说,如果它冻结并且您无法单击内容或滚动变得断断续续。

最新更新