Googlebot 请求类型

Question

谷歌的机器人会发送HEAD请求和GET请求吗？

我想知道这一点，因为我正在运行一个不支持 HEAD 请求的龙卷风应用程序，并且我在 Google Search Console 中有很多 404 错误。

要验证龙卷风应用程序是否不接受 HEAD 请求，我这样做：

curl -I example.com/this-url-exists
HTTP/1.1 404 Not Found
Date: Thu, 10 Mar 2016 08:49:07 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 7520
Connection: close
X-Ua-Compatible: IE=edge,chrome=1
Server: TornadoServer/4.2.1

我怀疑Googlebots正在对某些爬行做同样的事情。

这能对吗？

Answer 1

据我所知，Googlebot不发送HEAD请求（其他主要搜索引擎的抓取工具也不发送）。但无论哪种方式，此 404 都不是由请求是 HEAD 的事实引起的：将 HEAD 发送到不支持它的资源将返回状态代码 405，而不是 404。