Python多处理器速率限制



假设您想要调用某些API(在不需要任何KEY的情况下打开(,该API每秒有一定的速率限制(每秒最多10个请求(。假设现在,我正在调用一个函数(带有multiprocessing.Pool(,该函数从API请求数据并对其进行处理。是否有某种方法可以切换ip以避免阻塞?也许是ip/代理列表。有人能告诉我做这件事的方法吗?

谢谢!

不幸的是,您无法从api中检索数据并使用不同的ip进行多处理,因为该api已经将您的ip分配给了其请求变量。一些网页也有http 402错误,这意味着可能会因为发送太多请求而超时。

当然有很多技巧可以用来绕过利率限制,但你应该花点时间问问自己"我应该吗?"你可能违反了服务条款,在某些司法管辖区,如果你被抓住,你可能会面临法律诉讼。此外,许多服务实现了智能机器人检测,可以从请求模式中识别机器人行为并阻止多个IP。在极端情况下,我看到团队封锁了整个国家的IP范围,以惩罚拙劣的行为。

相关内容

  • 没有找到相关文章

最新更新