今天一些爬虫通过我的网站，并试图访问几个css, js，图像和其他文件。这也是一个聪明的，还解释javascript，并希望执行一个url，是组装(只知道)在javascript代码!那让我很担心。
虽然我在网站上的代码已经检测到这种奇怪的行为，并向我发送了三封关于它的电子邮件(这是我过去所做的拦截器类，它可以完美地工作并阻止进一步访问(攻击者停止三次攻击后)，我想消除这些坏人最大限度地减少网络流量，保护服务和时间花在这个b* * * *t。
所以我只是在想，发送剥离的html文件内容(没有表单，css和js声明)到机器人/爬虫，但它不能影响好的。这背后的想法是，爬虫不需要标记的东西，只有内容是重要的，对吗?只有坏的才会尝试访问对排名不重要的文件....但是当它不在的时候，就没什么好担心的了。所以我的问题是:
这样做安全吗?我的意思是，谷歌不会"认为"你伪造了内容吗?删除部分，特别是对于爬虫，与原始内容略有不同。
有人有这方面的经验吗?
PS:对我来说这很容易实现，因为我的模板系统可以使用用户代理/设备特定的条件来服务，例如另一个标记或设置。为了让您了解它是如何工作的，下面是一个手持设备的示例:<!-- #IF $is_handheld -->
<!-- iPhone, iPad mobile/handheld devices -->
<meta name="viewport" content="width=device-width,initial-scale=0.9,maximum-scale=2.0,user-scalable=1" />
<meta name="apple-mobile-web-app-capable" content="yes" />
<!-- #ENDIF -->
这是我想实现的一个例子:
<!-- #IF !$is_robot -->
<link rel="stylesheet" type="text/css" charset="utf-8" href="css/dialog.css" />
<link rel="stylesheet" type="text/css" charset="utf-8" href="css/general.css" />
<script rel="combine,minify" type="text/javascript" charset="utf-8" src="js/general.js"></script>
<!-- #ENDIF -->
已经测试了一段时间，并且没有副作用，它不会导致负面排名
此外，另一个积极的事情是，坏机器人找不到任何css和js文件来捣乱，因为他们没有指定。因此，在某种程度上，这也是一种保护其他内容的安全方法。
当你只使用背景图像时，你可以避免它被机器人索引。