我正在尝试从IMDB获取页面,但由于某种奇怪的原因,当我使用request-promise
时,它给了我错误400
但是如果我使用 CURL,同样的查询可以正常工作:
卷曲"https://www.imdb.com/title/tt6306064/mediaviewer/rm3146075904">
我的节点代码:
async function getMoviePosterImage(mediaViewerUrl) {
const options = {
uri: mediaViewerUrl
};
try {
const mediaViewerHtml = await request.get(options);
return mediaViewerHtml;
} catch (error) {
console.error(error.statusCode);
}
}
await getMoviePosterImage(
"https://www.imdb.com/title/tt6306064/mediaviewer/rm3146075904"
);
到目前为止,我尝试过的事情:
- 设置用户代理
- 设置保持活动状态
- 启用饼干罐
就我而言,我只是在本地尝试,同样的错误发生在我身上。不是一个明确的答案,但我有一种感觉,IMDB可以防止网络爬虫。