我已经为我的网站提交了Sitemap文件到中文百度。
我的Sitemap包含:
1) 16个站点地图文件用gzip压缩,每个文件小于10Mb,包含少于50K的url。
2) Sitemap索引,链接到上述Sitemap压缩文件。
我看到的是百度非常奇怪的行为-它将我的一些站点地图文件标记为失败抓取(),而其他的似乎是处理过的(-正常)。
当我重新提交同一组Sitemaps时,其他文件随机变为Failed Crawl,而之前失败的文件可以顺利处理。
除了百度消息"失败的抓取"(降生),我无法找到我的站点地图有什么问题。
我都快疯了,因为百度会随机标记文件"抓取失败"。
谁能指出什么是错的?
或者在哪里可以看到百度的准确错误信息,为什么"爬行失败"?
最后,经过多次尝试,百度也将Sitemap索引文件标记为"爬行失败"(然而,在提交后,它总是首先处于"等待"状态,然后是"正常"爬行)
注意:同样的文件处理谷歌,雅虎/必应,Yandex成功!
截图请见:https://drive.google.com/open?id=0BzDlz6j9c35WWkdwb3F6LW9zazA
此错误在必应/百度/Yendex中最常见。这是由于HTTPS请求。