可以在 CURL 中获取网站,但不能在 Nodejs 请求中获取网站



我正在尝试从IMDB获取页面,但由于某种奇怪的原因,当我使用request-promise时,它给了我错误400

但是如果我使用 CURL,同样的查询可以正常工作:

卷曲"https://www.imdb.com/title/tt6306064/mediaviewer/rm3146075904">

我的节点代码:

async function getMoviePosterImage(mediaViewerUrl) {
const options = {
uri: mediaViewerUrl
};
try {
const mediaViewerHtml = await request.get(options);
return mediaViewerHtml;
} catch (error) {
console.error(error.statusCode);
}
}
await getMoviePosterImage(
"https://www.imdb.com/title/tt6306064/mediaviewer/rm3146075904"
);

到目前为止,我尝试过的事情:

  • 设置用户代理
  • 设置保持活动状态
  • 启用饼干罐

就我而言,我只是在本地尝试,同样的错误发生在我身上。不是一个明确的答案,但我有一种感觉,IMDB可以防止网络爬虫。

最新更新