我在Robots.txt中为我的Drupal网站设置了一些规则。
我有一个问题。当该代理商试图访问网站时，此访问是否仍会登录我的Apache Access_log文件？
robots.txt中的 Disallow并不能阻止用户代理访问您的网站。每个用户代理都决定是否要尊重您的robots.txt。
默认情况下，drupal对robots.txt文件的内容没有做任何事情，robots.txt内容根本不会影响您的服务器日志。