遍历数百万条CSV记录的最佳方式

Question

我有一个超过2000万条数据记录的CSV，我想通过获取和返回基于时间和令牌字段的数据来操纵这些数据。我最初的方法是将CSV数据转换为json并遍历它，但这需要太多时间。最好、最快的方法是什么?非常感谢您的帮助。

Answer 1

您可以通过生成数据块来实现，例如获取100条记录，然后对其进行操作。

您可以使用for loop作为相同的:

for (let i = 0; i <= csvDataCount; i += 100) {
//Your manipulation here
}

或者更多，你可以这样做:

它将创建你想要的大小的数据块

function createChunks(array = [], chunkSize) {
if (!chunkSize) { return array }
const _array = [...array]
let chunks = []
do {
chunks.push(_array.splice(0, chunkSize))
} while (_array.length)
return chunks
}

之后可以使用循环来操作数据

// Process in Chunks for Large Dataset
const dataChunks = createChunks(csvDataArray, 100)
for (const item of dataChunks) {
//do the manipulation here
}