例如，我有一个操作，它响应我的站点上的json-ajax请求。
最近，我发现了很多由搜索引擎bot用html请求到此端点引起的错误。
处理此问题的最佳做法是什么？我应该只回复错误格式，还是因为搜索引擎机器人会爬行而创建一个页面？我正在使用Rails，具体的建议会更好。
非常感谢。
这里的最佳实践是使用代理服务器（例如nginx）处理它们。你可以在这里做什么：
- 在
public目录中创建robots.txt文件并创建适当的规则（请参阅此处）。然而，由于它们只是规则，它们不必被任何人遵守 - 创建
nginx规则来拒绝使用$http_user_agent看起来像机器人的请求，例如：使用Nginx阻止除少数机器人外的所有机器人