如何给命令行参数刮擦?

Question

我想给scrapy一个命令行参数，并在spider中使用sys.argv[]来检查哪些URL具有该参数。我怎样才能对名为 url 的蜘蛛做这样的事？

$scrapy抓取网址"August 01,2018"？

Answer 1

您可以使用-a将参数传递给蜘蛛的__init__()，如文档中指定：https://doc.scrapy.org/en/latest/topics/spiders.html#spider-arguments

默认方法会将所有参数转换为蜘蛛属性，但如果您需要对它们执行某些操作，您也可以创建自定义参数。