我们有一个网站在带有Apache的Ruby上建立在Ruby上。因此，网站的根文件夹将是/var/www/html/digiryte，并且文件夹结构与此
相似/var/www/html/
rails_website/
folder1/
folder2/
index.html
麻烦是Google的网站管理员控制台显示爬网错误，例如
/html/rails_website/public/assets/...
这怎么可能？
如何阻止Google索引这些文件夹？
您可以使用robot.txt禁止您不会被索引的文件夹
User-agent: *
Disallow: /rails_website/