我应该从站点地图中排除我的'noindex, nofollow, noarchive'网页.xml吗?



我的网站上有一些法律页面,我用<meta name="robots" content="noindex, nofollow, noarchive">排除。主要目标是这些页面不会出现在搜索引擎中。我是否需要从我的站点地图中排除它.xml或者元标记是否足够。如果没有,为什么我需要包含它?

搜索引擎使用站点地图来发现您的内容,因此添加您不想被索引的内容并不是很有用。

本文档页面概述了站点地图何时有用:

站点地图是一个文件,您可以在其中列出您网站的网页 告诉谷歌和其他搜索引擎您的组织 网站内容。 像Googlebot这样的搜索引擎网络爬虫阅读此内容 文件以更智能地抓取您的网站。

最新更新