使用节点请求或带有流的 axios 来下载和解压缩文件，没有按预期处理背压?

Question

我们有一个大约 6 GB 的大文件，它被解压缩到 64 GB 大小(操作系统映像(，我们需要使用 http 下载。我们正在使用节点的请求库或公理。使用以下代码动态下载和解压缩(管道(文件：

const downloadUsingHttp = (downloadUrl, destinationPath) => {enter code here
return new Promise((resolve, reject) => {
const unpackedPathWriteStream = fs.createWriteStream(destinationPath);
let totalDownloadSize = 64023257088;
let downloadedSize = 0;
let lastProgressSent = 0;

axios({
method: 'get',
url: downloadUrl,
responseType: 'stream',
auth: {
username: 'user',
password: 'pass'
},
withCredentials: true
}).then(function (response) {
response.data
.on('data', chunk => {
if (totalDownloadSize === 0) {
return;
}
downloadedSize += chunk.length;
const progress = Math.floor((downloadedSize / totalDownloadSize) * 100);

if (progress % 5 !== 0) {
return;
}

if (lastProgressSent === progress) {
return;
}

lastProgressSent = progress;
console.log('Copy progress ', progress + ' %')
})
.pipe(zlib.createUnzip())
.pipe(unpackedPathWriteStream)
}).catch((err) => {
console.log(err.message)
});

unpackedPathWriteStream
.on('error', err => {
console.log(err);
reject(err);
}).on('end', () => {
resolve();
})
})
};
downloadUsingHttp(
'https://example.com/storage/file.raw.gz',
'/data/downloaded-and-unziped.raw'
);

我们运行此代码的机器具有 2 GB 的 RAM。运行此代码时，出现的问题是计算机耗尽了 RAM 内存，进度约为 15%，节点应用程序崩溃。有时甚至整个机器都会变得无响应，需要重新启动。

因此，在这种情况下，似乎通过流上的 .pipe(( 实现的背压处理不起作用。例如，当不下载文件槽 http(使用请求或 axios 库(时，而是使用可读和可写流进行，使用管道方法执行相同的动态复制和解压缩操作是有效的，并且没有内存耗尽。

另外，重要的是要提到，此问题仅在本地网络(本地开发环境(中执行http下载时出现。

任何帮助都将得到赞赏。

更新

我们尝试将流限制为 100 KB/s，它似乎在没有增加 RAM 内存使用量的情况下工作。当更改为 1 MB/s 时，使用量会增加，最终应用制动器。我们已经使用stream-throttle库来尝试这个。

Answer 1

我对管道没有太多经验，但是将文件加载成块并一次将它们一个地送入管道怎么样。 然后加载下一个块。因此，管道一次只需要处理几MB的数据。

我想象的是这样的：

const downloadUsingHttp = (downloadUrl, destinationPath, chunkSize = 10<<20) => {
const writeStream = fs.createWriteStream(destinationPath);
const unzip = zlib.createUnzip();
const auth = {
username: 'user',
password: 'pass'
};
const nextChunk = () => axios({
method: 'get',
url: downloadUrl,
responseType: 'stream',
auth: auth,
withCredentials: true,
headers: {
Range: `bytes=${offset}-${(offset += chunkSize)}`
}
}).then(downThePipe);
const downThePipe = response => {
console.log("progress %i%%   ( %i / %i bytes )", offset / length * 100, offset, length);
response.data.pipe(unzip).pipe(writeStream);
return offset < length ? nextChunk() : null;
};
let offset = 0, length;
return axios({
method: "HEAD",
url: downloadUrl,
auth: auth,
withCredentials: true,
}).then(response => {
length = response.headers["Content-Length"];
return nextChunk();
});
};

downloadUsingHttp(
'https://example.com/storage/file.raw.gz',
'/data/downloaded-and-unziped.raw'
);

也许，如果下载仍然太快，您可能希望延迟加载nextChunk()直到pipe()工作完成后。但同样，我已经有一段时间使用这些管道了。