我开始检查第三方蒸汽站点我发现了有趣的事情。
示例站点:https://stntrading.eu此网站需要蒸汽登录。
例如,当我尝试检查此url时:https://stntrading.eu/item/csgo/Danger+区域+案例在没有登录网站的情况下,我(有时(被重定向到https://steamcommunity.com/openid/login.
但这东西是怎么工作的?
后端方式:
https://wheregoes.com/trace/20224247383/ -- says, there are no redirects
前端方式:
When I disable javascript on site -- Site is still redirecting.
HTML方式:
"<meta http-equiv="refresh" content="time; URL=new_url" />" -- is not in HTML
重定向只在某些时候起作用,所以我甚至尝试了自己的脚本来寻找后端重定向(以防在x尝试加载网站而不登录后,ip进入某种"登录白名单"(但我什么也没找到。
那个么,这是怎么回事呢?
我一直试图访问同一个网站,但遇到了麻烦;我尝试了你描述的相同方法,它们不起作用,我尝试使用代理,因为我认为我可能受到速率限制,它不起作用。我在html中找不到任何相关的标签或在js中找不出任何有趣的东西,事件侦听器似乎都不会做任何事情来引起重定向,等等。
唯一接近的是在请求会话中打开主站点,并使用cookies/session参数/加载的其他任何东西来加载我想要抓取的实际项目页面,但这只在大约50%的时间内有效。在某个时刻,它也完全停止了工作。这个网站似乎被窃听了,因为没有充分的理由让它的行为看起来像是随机的
如果这有帮助,/backend/search?query=path确实提供了关于给定商品的基本信息,包括它们的售价(但不是网站购买它们的价格(,这是我能找到的最好的