如何上传多个文件(50 k +) /文件夹AWS S3 node . js &g

Question

我有一个运行在windows机器上的node js API，它生成一些XML文件，这些文件后来上传到S3桶。文件数量超过50k，有时甚至更多。

在我目前的方法中，我使用aws-sdk包进行上传。基本上，我遍历需要上传的文件夹，读取每个文件并上传。

const files = fs.readdirSync(dirPath, {
withFileTypes: true
});
for (const file of files) {
const fileContent = fs.readFileSync(path.join(dirPath, file.name));
const params = {
Bucket: BUCKET_NAME,
Key: `${folderPath}/${file.name}`,
Body: fileContent
};
try {
await s3.upload(params).promise()
} catch (err) {
//error handling
return;
}
}

上传大约需要3-4小时。有更好的批量上传文件的方法吗?或者是否有办法上传整个文件夹?

Thanks in advance

Answer 1

我建议您先压缩文件夹，然后将压缩后的文件夹上传到S3。在bash脚本中，您可以这样做:

zip -r data.zip ./target_folder/

然后你可以上传到S3作为:

aws s3 cp ./data.zip s3://bucket_name/

希望有帮助!