请求使进程在下载大媒体文件时耗尽内存

Question

我编写了一个简单的脚本来从CDN下载视频文件，其中直接URL很容易生成，例如 http://something.com/N.mp4，其中N是一个数字。

问题是，当下载大于 ~300MB 的文件时，文件完美地显示在硬盘驱动器中，但在request(...) 的回调之前，会发生内存分配失败：

FATAL ERROR: CALL_AND_RETRY_0 Allocation failed - process out of memory

发生这种情况是因为一些严重的不良做法吗？request可以下载这种大小的媒体文件吗？

环境： Win7， 4GB+ 可用内存， 节点 v0.10.31

var request = require('request');
var async = require('async');
var fs = require('fs');
var start = +process.argv[2] || 1;
var end = +process.argv[3] || 50;
var url = 'http://something.com/';
try {
  fs.mkdirSync(__dirname + '/videos/');
} catch (e) {}
var index = start;
async.whilst(
  function () { return index <= end; },
  function (callback) {
    var fileName = index + '.mp4';
    console.log('Started: ' + fileName);
    console.time('Done (' + fileName + ')');
    request(url + fileName, function() {
      console.timeEnd('Done (' + fileName + ')');
      index++;
      callback(null);
    }).pipe(fs.createWriteStream(__dirname + '/videos/' + fileName));
  },
  function (err) {
    if (err) {
      return console.error(err);
    }
    console.log('Script finished.');
  }
);

控制台输出示例：

> node index.js 3
Started: 3.mp4
Done (3.mp4): 296592ms
Started: 4.mp4
Done (4.mp4): 369718ms
Started: 5.mp4
FATAL ERROR: CALL_AND_RETRY_0 Allocation failed - process out of memory

Answer 1

如果将request模块与回调一起使用，则会在内存中缓冲整个响应正文。尝试省略回调并改用 fs 流finish事件。

var writer = fs.createWriteStream(__dirname + '/videos/' + fileName);
writer.on('finish', function() {
  // ...
  index++;
  callback(null);
});
request(url + fileName).pipe(writer);

Answer 2

看起来您正在尝试并行下载视频 3 到 50，因此这可能是导致内存不足的原因。您可以尝试串联它们，看看是否可以解决问题。使用async.waterfall您的代码可能如下所示：

var tasks = [];
for (; index < end; index++) {
    tasks.push(function(callback) {
        var fileName = index + '.mp4';
        console.log('Started: ' + fileName);
        console.time('Done (' + fileName + ')');
        request(url + fileName, function() {
            console.timeEnd('Done (' + fileName + ')');
            callback(null);
        }).pipe(fs.createWriteStream(__dirname + '/videos/' + fileName));
    });
}
async.waterfall(tasks, function(err) {
    if (err) {
        return console.error(err);
    }
    console.log('Script finished.');
});