我有一些页面，比如/hidden_archive，没有从任何其他页面引用。
我的robots.txt下一行包含Allow: /hidden_archive。
搜索爬虫会索引该页面吗?
我会说:不。
你为什么不能在你的页面上添加一些链接呢?没有人声称它们必须是人类可见的…
不，爬虫不会索引该页面，除非它是从某处(即使是不同的网站)链接的