我有：
-
一个简单的静态网站；
-
托管在共享服务器上；
-
使用SSL；
-
我最近重新设计了它。
谷歌告诉我的网站有两个网址抓取错误：
-
苹果应用网站协会；
-
.知名/苹果应用网站协会
供参考，以下是第一个（第二个相同）的错误报告：
未找到
网址：
https://mywebsite.com/apple-app-site-association
错误详细信息
上次爬网时间：2016年5月5日
首次检测到：2016年5月5日
Googlebot无法对此URL进行爬网，因为它指向一个不存在的页面。一般来说，404不会损害网站的搜索性能，但你可以使用它们来帮助改善用户体验。了解更多
从这里看，这些似乎与苹果应用程序和相关网站的关联有关。
我从未尝试过实现任何类型的"苹果应用程序/网站关联"——至少不是故意的。
我一辈子都搞不清楚这些链接是从哪里来的。
我将删除这些网址，但担心错误可能再次出现。
我在这里看了几个相关的问题，但它们似乎是由于试图进行验证的人的错误——我没有——或者人们询问为什么他们的服务器日志显示对这些URL的请求。
有人能解释为什么会发生这种情况吗？
因此，答案是Googlebot现在在抓取你的网站时会搜索这些URL，并将其作为映射网站及其相关应用程序之间关联的工作的一部分。请参阅：https://firebase.google.com/docs/app-indexing/ios/app
似乎Googlebot（目前）还没有被告知，如果url/文件夹不在，就不要返回爬网错误。
以下是一个链接，链接到一个非常相似（但略有不同）的问题的答案，如果你愿意，可以提供更多细节：https://stackoverflow.com/a/35812024/4806086