遇到使用cheeriojs抓取的问题

Question

我正在尝试从网站上抓取文章链接，但遇到了一个问题，即只有一个链接被抓取，其他元素没有循环。 我正在使用带有 cheerio 和请求包的 nodejs。

    request('http://www.nj.com/politics', function(error, response, html) {
    var $ = cheerio.load(html);
    var results = [];
    $('#river-container ul').each(function(i, element) {
        var articleLink = $(element).find('li.river-item.has-photo').find('div.item-text').find('h2.h2.fullheadline').find('a').attr('href');
        results.push({ link: articleLink });
    });
    res.send(results);
});

Answer 1

您显示的 HTML 只有一个与选择器#river-container ul匹配的元素，因此您的.each()只有一次循环迭代。 如果要迭代 <ul> 下的所有<li>条目，请将外部循环更改为：

$('#river-container ul li').each(...)

然后，修改内部.find()语句以调整您已经匹配<li>的事实。

或者，将顶部选择器更改为您真正想要的：

request('http://www.nj.com/politics', function(error, response, html) {
    var $ = cheerio.load(html);
    var results = [];
    $('#river-container ul li.river-item.has-photo div.item-text h2.h2.fullheadline a').each(function(i, element) {
        var articleLink = $(element).attr('href');
        results.push({ link: articleLink });
    });
    res.send(results);
});