默认页面仅在使用搜索机器人用户代理时才返回404

Question

我已经使用ASP.NET网页创建了一个网站（不是MVC，而不是Web表单）。

如果我在浏览器中访问mydomain.com的默认页面，则显示默认页面（index.cshtml）罚款。但是，搜索引擎正在看到404页，如果我将用户代理更改为Googlebot或Bingbot，我也会收到404错误。

这只会影响默认页面 - 如果我使用mydomain.com/index.cshtml，我没有获得404页。

我的代码中没有用户代理检测。

我已经观看了标头，没有重定向，只有在使用bot用户代理时才立即进行404响应。

是否有一些内置用户代理检测会影响ASP.NET网页中的默认页面？还是我的托管公司可以做某事（arvixe）？

我可以添加代码（但不确定我会添加哪个代码）或链接到网站。

Answer 1

我找到了问题的原因。

显然Arvixe网站已被黑客入侵。黑客在web.config中插入了一些代码，该代码仅用于bot的主页，以代替bot的主页...

<rewrite>
  <rules>
    <rule name="1" patternSyntax="ECMAScript" stopProcessing="true">
      <match url="^$" ignoreCase="true" negate="false" />
      <conditions logicalGrouping="MatchAny" trackAllCaptures="false">
        <add input="{HTTP_USER_AGENT}" pattern="Googlebot|Yahoo|MSNBot|bingbot" />
      </conditions>
      <action type="Rewrite" url="bot.asp" />
    </rule>
  </rules>
</rewrite> 

我确实在Bing搜索我的网站中看到了体育球衣的标题/描述，这就是为什么我正在调查此。

从搜索中看来，这影响了许多Arvixe客户，大多数人可能永远不会知道，因为他们不太可能与搜索机器人用户代理一起查看其网站。

看来Arvixe意识到了黑客攻击，并且已经通过删除垃圾邮件文件（bot.asp或bot.php）来停止此操作，但他们尚未修复Web.config。如果您与Arvixe共享托管，则应立即检查此。

您还应该检查您的Google Search Console/Analytics对所有者/用户添加的帐户帐户，尽管您还会收到有关此的电子邮件警告。

我更改了我所有的arvixe密码，但我怀疑它们有单独的帐户密码，它们可能在服务器级别被黑客入侵。