在 AWS 上运行 scrapy/selenium 脚本是否有意义?

Question

我目前正在抓取一个超慢的网站。因此，我已经购买了Windows2000虚拟机。但是，此计算机使用的是静态 IP。结果，我被禁止了。

现在，我想知道将我的脚本(Scrapy，Selenium和Chrome(移动到AWS是否有意义。

是否有人有使用 AWS 进行爬网的经验？它的典型价格是多少？

Answer 1

你不需要不同的机器，你需要一个代理。或者更好的是，智能代理。