我正在尝试制作一个使用 scrapyrt
调用scrapy
的 Web 表单。 但是我遇到了一个问题:当我发送命令时,它会走到最后,我的意思是,当我关闭浏览器时,蜘蛛会停止。
有谁知道我可以通过调用蜘蛛来实现 Web 表单吗?
谢谢大家。
ScrapyD可以满足您的要求。这是安装方法吗
安装后,进入 Scrapy 的项目根文件夹,然后运行 scrapyd-deploy
,它将在 ScrapyD 上部署您的项目。
然后执行此命令以运行抓取器。
http://localhost:6800/schedule.json?project=default&spider=yourspidername