所以我在网络抓取谷歌，很确定它会根据IP地址阻止我的请求。我已经将我的应用程序部署到Heroku(当dynos重新启动时，Heroku具有动态IP地址(，我注意到如果应用程序启动，在5次请求后，它们将无法正常抓取。如果我重新启动dyne，那么在它停止刮擦之前，我会收到另外5个请求。这让我相信dyno启动时的静态IP地址是问题所在。我研究了QuotaGuard动态IP(https://devcenter.heroku.com/articles/quotaguard)但我认为这不会奏效，因为谷歌似乎是https。以前有人在Heroku上通过不同的IP动态代理过他们的请求吗(如果有，你建议使用什么(？我在Node.js环境中工作。
使用代理，有大量的付费/免费代理。您可以在每个请求上轮换代理。请注意，有不同类型的代理。数据中心IP、住宅IP和最昂贵的移动IP。