http://whoisxmlapi.com为粗WHOIS查询提供了高吞吐量API。在我的理解中,这样的数据只能由域名注册商提供,他们对每分钟的查询次数限制很低。这些数据是从多个ip(如http://whois.godaddy.com)上仔细抓取的,还是有一种方法可以批量获取这些数据?
ICANN法规要求注册商批量提供WHOIS数据,尽管需要付费。你可以在这里阅读完整的细节:
3.3.6.2注册商可对此类批量访问[WHOIS]数据收取不超过10,000美元的年费。
我不知道像whoisxmlapi和DomainTools这样的网站是如何运作的,但有可能他们能够执行比通常数量更多的WHOIS查询,因为他们已经为特权支付了现金。
ICANN法规仍然对访问施加某些限制:
3.3.6.4注册商的访问协议应要求第三方同意不使用数据来实现大容量、自动化、电子流程[…]
再一次,推测,但也许大量的查询注册商的数据库不会皱眉,如果他们没有自动化/脚本。像whoisxmlapi和DomainTools这样的网站提供WHOIS查找服务,用户可以在其中查询单个域名。对他们来说,在向用户显示记录之前缓存和索引记录是非常简单的。
当然,正如你所建议的,也许他们只是有数百个IP地址可供他们使用,并以一种狡猾的方式收集数据。