用于检查网站是否已在搜索引擎和目录中列出的代码



我目前正在Rails中开发一个应用程序,它需要检查一个网站是否已在谷歌、必应、雅虎、Yelp和黄页中列出。根据我的研究,最好的方法是查看网站:谷歌和必应上的domain.com,并查找结果,然后在雅虎目录中查看该域名。

还有别的办法吗?我指的是一些代码片段,可以在域名的主页上查看,或者使用他们的API或类似的东西。还有如何查看Yelp和Yellow页面。

您可以使用mechanize并编写web样式的驱动程序谷歌:在你的域名上搜索这个词

site:checkmeout360.com
https://www.google.com/search?q=site%3A<SITE_NAME>.com

试着看看yelp、yahoo、bing和黄页是如何索引的。然后,你可以使用mechanize为你自动化搜索过程,你可以用mechanize像上面用谷歌做搜索,然后写断言(检查你要找的东西是否在搜索结果上)

搜索引擎不喜欢按自己的方式发送自动查询。

以下是谷歌对此的评价:

未经谷歌事先明确许可,谷歌的服务条款不允许向我们的系统发送任何类型的自动查询。发送自动查询会消耗资源,包括使用任何软件(如WebPosition Gold)向谷歌发送自动查询,以确定网站或网页在各种查询的谷歌搜索结果中的排名。除了排名检查外,未经许可自动访问谷歌的其他类型也违反了我们的网站管理员指南和服务条款。

最新更新