网络爬虫- GoogleBot(和恶意网站)请求无效目录



GoogleBot正在从一个不存在的无效目录中请求有效文件。例如:

/energy/

被附加到一个有效的路径和文件中,生成:

/energy/css/example.css

奇怪的是,$_SERVER['HTTP_REFERER']也显示了无效目录下的有效页面(在本例中http://www.example.com是我的站点):

http://www.example.com/energy/docs/anthro/payment.php

/docs/anthro/是一个有效的目录,但payment.php永远不会在这个目录中,/energy/当然也从来没有有效过。

更奇怪的是,恶意网站也从/energy/请求有效页面,例如:

/energy/register.php

怎么回事?

检查robots.txt和sitemap

最新更新