在使用Python从网站查询数据(网页抓取)时，如何避免被服务器阻止?

Question

我试图使用python请求和机械化从网站收集信息。这个过程需要我发布一些信息，然后从该网站获得结果。我在 Python 中使用 for 循环自动执行此过程。但是，在~500次查询之后，我被告知由于查询率高而被阻止。执行每个查询大约需要 1 秒。我在网上使用了一些软件，他们可以毫无问题地查询多个数据。谁能帮我如何避免这个问题？谢谢！

不知道如何解决这个问题。

--- 我正在循环此过程(通过自动更改案例编号)并将数据导出为 csv....

经过一番询问，我被告知我的IP被阻止了。

Answer 1

1. 请求之间的最佳随机延迟时间。
2. 随机真实用户代理 每个请求。
3. 启用饼干。
4. 使用工作代理池和 为每个请求选择一个随机代理。