禁用机器人可以通过htaccess绕过

Question

我有一个简单的问题。比如在robots。txt中:

User-agent: *
Disallow: /

在.htaccess:

RewriteRule ^somepage/.*$ index.php?section=ubberpage&parameter=$0

当然，在中index。php类似于:

$imbaVar = $_GET['section']
// Some splits some whatever to get a specific page
include("pages/theImbaPage.html") // Or php or whatever

机器人是否能够看到脚本(site.com/somepage)中包含的html中的内容?我的意思是……URL指向一个无法访问的地方…(/somepage是不允许的)，但它仍然被重定向到一个有效的位置(index.php)。

Answer 1

假设机器人将尊重robots.txt，那么它将无法在网站上看到任何页面(您说您使用Disallow: /)。

如果机器人不尊重您的robots.txt文件，那么它们将能够看到内容，因为重定向是在服务器端进行的。

Answer 2

No。通过禁止机器人访问，机器人不允许浏览您网站上的任何页面，它们遵循您的规则