将Scrapy Spider结果用于网站



我已经尝试了一些爬虫,从本地机器上的Python环境中提取Web数据。理想情况下,我想托管一个网站,该网站可以启动爬虫来聚合内容并将其显示在网站上。

我的

问题是,是否可以从Web环境而不是我的本地计算机执行此操作?

当然,

有许多服务正在执行您想要的相同任务。 scrapingHub是你能得到的最好的例子。https://scrapinghub.com/

您可以在那里部署蜘蛛并定期运行它(付费服务(。通过scrapingHub API您的网站部署和调用爬虫,并在您的主机网站中使用爬虫输出。

此外,您可以通过 API 调用在服务器和网站中实现相同的想法。

最新更新