检查请求引用器是否为搜索引擎

Question

有人知道一种可靠的方法来检查HTTP请求的引用者是否是搜索引擎吗？

感谢

Answer 1

下面是一个Django中间件对象，它提供了以下功能：http://djangosnippets.org/snippets/197/。可以提取逻辑以在非Django Python设置中工作。

这里使用的方法是检查引用的url，以确定它是否与给定的模式匹配（例如，参数"q"的存在）。