NODE JS - 请求 npm - 操作 URL 正文

Question

我正在使用 node js (第一次(在服务器端(自身(项目上工作，我遇到了一些困难。

我的目标如下：

第一部分 - 我在我的服务器中使用"/uploads/processData"URL 从用户请求中获取 URL。

现在我想访问用户请求 URL 并获取他们的 HTML 文件，为此我使用的是"请求"npm 包(下面的代码(。

第二部分 - 我想访问我从请求包(从第一部分(返回的正文，所以我使用 cheerio npm 包来执行此操作。

现在到我的问题 - 假设我正在尝试获取 url 的正文：

https://www.amazon.com/NIKE-Mens-Lunarconverge-Running-Shoes/dp/B06VVFGZHL?pd_rd_wg=6humg&pd_rd_r=61904ea4-c78e-43b6-8b8d-6b5ee8417541&pd_rd_w=Tue7n&ref_=pd_gw_simh&pf_rd_r=VGMA24803GJEV6DY7458&pf_rd_p=a670abbe-a1ba-52d3-b360-3badcefeb448&th=1

出于某种我无法理解的原因(可能是因为缺乏 Web 开发知识(，我并不总是得到与使用 F12 查看上述页面(链接(时看到的相同的正文，以及我的第一部分代码。因此，有时我的 cheerio 提取(第二部分(按我的预期工作，有时则不然(因为缺少完整/原始 HTML 文件中的某些元素(。起初我认为这可能是缓存的事情，所以我添加了一个中间件来设置"nocache"标志。

我在这里错过了什么？我尝试操作的方式有错吗？有没有办法确保我每次都得到相同的完整/原始 HTML？

这是我到目前为止的代码 -无缓存中间件

function nocache(req, res, next) {
res.header("Cache-Control", "private, no-cache, no-store, must-revalidate");
res.header("Expires", "-1");
res.header("Pragma", "no-cache");
next();
}

编辑

uploadRoutes.post("/processGoogleSearchData", nocache, (req, res) => {
//Assuming getting in req.body the google result JSON as "googleSearchResult"
var itemsArr = [];
var linksArr = [];
var bodysArr = [];
itemsArr = req.body.googleSearchResult.items;
if (itemsArr.length === 0) {
//return appropriate message
return res.status(400).send({ message: "No data sent to server" });
}
var linksArr = itemsArr.map(item => item.link);
//Get the needed info from every link
linksArr.forEach(link => {
request(link, (err, response, body) => {
if (!err && response.statusCode === 200) {
var $ = cheerio.load(body);
var tr = $(".a-lineitem").children();
var priceTd = tr.find(".a-span12");
var priceSpan = priceTd.find("#priceblock_ourprice");
console.log(priceSpan.text());
//when trying to build array of bodys the extraction doesnt work at all
bodysArr.push(body);
}
});
});
res.send(bodysArr);
});

我将代码更改为上述代码，似乎数据提取更频繁地工作。谁能解释为什么提取有时仍然不起作用？ 我尝试返回 bodysArr 用于 debbug 目的，但是当我这样做时，提取根本不起作用，我的路径响应始终是一个空数组，为什么会这样？

Answer 1

问题是：

res.send(bodysArr);

在调用

linksArr.forEach(link => {

回调

(err, response, body) => {
if (!err && response.statusCode === 200) {
var $ = cheerio.load(body);
var tr = $(".a-lineitem").children();
var priceTd = tr.find(".a-span12");
var priceSpan = priceTd.find("#priceblock_ourprice");
console.log(priceSpan.text());
//when trying to build array of bodys the extraction doesnt work at all
bodysArr.push(body);
}

还不能保证已经开火了。你想要的是确保res.send(bodysArr(在所有请求发生后运行

。有几种方法可以解决这个问题，一种是使用出色的异步库。

希望你能通过这个例子得到它的要点。

var array = [1,2,3]
function asyncRequest(input, callback){
//Do your fetch request here and call callback when done
setTimeout(callback, 10); //using setTiemout as an example
}
async.each(array, asyncRequest, (err) => {
if(err){
throw err;
}
console.log("All Finished");
});

<script src="https://cdnjs.cloudflare.com/ajax/libs/async/2.6.1/async.min.js"></script>

Answer 2

在查看了Sudsy的解释之后，我遇到了异步方法的循环。

在玩这个主题时，我无法弄清楚我的以下代码出了什么问题：

这工作正常 - 所以我最终使用它

async function getItemsInfo(itemsArr) {
return itemsArr.map(async item => {
try {
var body = await axios(item.link);
var $ = await cheerio.load(body.data);
var tr = await $(".a-lineitem").children();
var priceTd = await tr.find(".a-span12");
var priceSpan = await priceTd.find("#priceblock_ourprice");
return priceSpan.text();
} catch (err) {
return err.message;
}
});
}
getItemsInfo(linksArr)
.then(res => Promise.all(res))
.then(res => console.log(res))
.catch(err => console.error(err));

有人可以向我解释以下代码有什么问题吗？

async function getItemsInfo(itemsArr) {
await Promise.all(
itemsArr.map(async item => {
try {
var body = await axios(item.link);
var $ = await cheerio.load(body.data);
var tr = await $(".a-lineitem").children();
var priceTd = await tr.find(".a-span12");
var priceSpan = await priceTd.find("#priceblock_ourprice");
return priceSpan.text();
} catch (err) {
throw err.message;
}
})
)
.then(resulst => {
return results;
})
.catch(err => {
throw err.message;
});
}
//the caller function
try {
getItemsInfo(linksArr).then(results => {
res.status(200).send(results);
});
} catch (err) {
res.status(400).send(err.message);
}

或

async function getItemsInfo(itemsArr) {
const promises = itemsArr.map(async item => {
try {
var body = await axios(item.link);
var $ = await cheerio.load(body.data);
var tr = await $(".a-lineitem").children();
var priceTd = await tr.find(".a-span12");
var priceSpan = await priceTd.find("#priceblock_ourprice");
return priceSpan.text();
} catch (err) {
return err.message;
}
});
var results = await Promise.all(promises)
.then(results => {
return results;
})
.catch(err => {
return err.message;
});
}
//the caller function
try {
getItemsInfo(linksArr).then(results => {
res.status(200).send(results);
});
} catch (err) {
res.status(400).send(err.message);
}