网站拒绝某些爬网程序/浏览器访问,但不拒绝其他爬网程序或浏览器访问



您可能认为这是一个行为不端的爬网程序问题,但这个CloudFlare网站:

  • 在Windows 10桌面上阻止Internet Explorer(使用Windows API进行HTTP(
  • 允许在Windows 10桌面上使用Edge(使用Windows API进行HTTP?(
  • 使用用于HTTP的WinInet Windows API在Windows上阻止我的爬网程序
  • 允许我的爬虫在Mac上使用Mac API HTTP

因此,即使是免费的CloudFlare也应该支持Windows Vista上的Internet Explorer 7:https://support.cloudflare.com/hc/en-us/articles/203041594-Cloudflare-SSL-cipher-browser-and-protocol-support

我正处于初步研究阶段,但这感觉像是一个证书问题。我以前在任何网站上使用Windows 10时都没有遇到过这个问题。(但是的,旧版本的Windows可能会出现与证书问题类似的问题(

有什么想法吗?我还没有实现Windows API的HTTP2部分-这是一个可能的解释吗?这样要求会有点奇怪……但这可能解释了为什么Edge而不是IE有效。

我询问了网站所有者,网站被设置为只支持TLS 1.3而不接受TLS 1.2---TLS 1.3支持在Windows 10中仍然是实验性的(互联网选项(

相关内容

最新更新