如何使用nodejs将可读流转换为有效的JSON

Question

我正在尝试使用音乐会数据的ATOM提要并将其输出到JSON以获得更好的使用。

到目前为止，我一直在使用请求来获取数据和feedparser来解析它，它似乎正在工作，因为我想。

// data
var feed = 'http://mix.chimpfeedr.com/630a0-dcshows';
var wstream = fs.createWriteStream('data.json');
var req = request(feed);
var feedparser = new FeedParser({
        addmeta: false
    });
req.on('response', function(res) {
    var stream = this;
    if (res.statusCode != 200) return this.emit('error', new Error('Bad status code'));
    stream.pipe(feedparser)
});
feedparser.on('readable', function() {
    var stream = this;
    var item;
    // ... do some business work to get a `data` object
    wstream.write( JSON.stringify(data) + ',' );
});

这将写入一个文件，该文件实际上是这些数据对象的连接列表:

{
    object1
}, {
    object2
}, {
    etc
},

这很酷，但我希望它被包装在一个数组中，我希望最后一项后面没有逗号。我相信我有办法解决这个问题，但我认为我错过了流方法的核心概念和实际发生的事情。

所以我的问题是:我如何操作可读流(XML)和输出有效的JSON数组?

Answer 1

您的方法的问题可能是您在流中放入的每个JSON元素的末尾添加了逗号。这种方法失败了，因为你不能确定是否会有更多的数据从读取流中出来。

因此，更好的方法是在JSON元素的开头添加逗号，但前提是您之前已经处理过至少一个元素。对于这个问题，您可以使用一个标志或一个变量来计算已处理的元素的数量，并基于此决定是否处理第一个元素。

如果您在第一个元素处，那么您将"["添加到流中，以表示数组的开始，然后将第一个元素添加到写流中。如果您没有处理第一个元素，则意味着您正在处理第二个、第三个或第n个元素，在这种情况下，您可以先添加逗号，然后再添加元素。

最后，你为你的读流上的'end'事件添加一个监听器，这样，当你到达数据的末尾时，你会得到通知，然后你可以添加你的写流"]"的右括号，并完成一个有效的json数组。

我已经创建了这个示例的简化版本，使用了我硬盘中的一些本地数据。我很肯定你可以根据你的情况调整它。

var FeedParser = require('feedparser'),
    fs = require('fs'), 
    feed = __dirname+'/rss2sample.xml';
var ws = fs.createWriteStream('data.json');
var first = true;
fs.createReadStream(feed)
  .on('error', function (error) {
    console.error(error);
  })
  .pipe(new FeedParser())
  .on('error', function (error) {
    console.error(error);
  })
  .on('readable', function() {
    var stream = this, item;
    while (item = stream.read()) {
      if(first){
        ws.write('[');
        first = false;
      } else {
        ws.write(',');
      }
      ws.write(JSON.stringify(item));
    }
  })
  .on('end', function(){
    ws.write(']');
  });