我已经尝试了一些爬虫,从本地机器上的Python环境中提取Web数据。理想情况下,我想托管一个网站,该网站可以启动爬虫来聚合内容并将其显示在网站上。
我的问题是,是否可以从Web环境而不是我的本地计算机执行此操作?
当然,
有许多服务正在执行您想要的相同任务。 scrapingHub
是你能得到的最好的例子。https://scrapinghub.com/
您可以在那里部署蜘蛛并定期运行它(付费服务(。通过scrapingHub API
您的网站部署和调用爬虫,并在您的主机网站中使用爬虫输出。
此外,您可以通过 API 调用在服务器和网站中实现相同的想法。