为Google Cloud VM实例设置一个自定义的外部IP地址以进行web抓取



我正在尝试使用Google Cloud VM实例进行web抓取。然而,我试图抓取的网站非常敏感,因此它已经将所有已知的IP地址列入黑名单。

即使只是使用requests发送一个GET请求也会被列入黑名单。如何在虚拟机上设置自定义IP地址?

我已经阅读了GCP自己的指南和教程,但我不确定我是否正确理解它们。

我对整个云计算和IP都是新手,但我真的很想让它发挥作用。有人能帮我吗?

您可以通过保留静态IP地址来设置公共IP地址。

但这不是支持";自定义";ip地址,你只能接收随机的ip地址。

请参阅此处获取有关如何保留静态ip地址并将其附加到VM实例的信息。

在你的情况下,你似乎需要很多ip地址在发送每个请求时,必须附加不同的静态ip地址。

在保留大量地址之前,您可以在这里检查您的ip地址配额

最新更新