AwsGlueCrawlerOperator配置字典

Question

所以我试图从我的DAG开始一个Glue爬虫，等待它完成，然后再继续我的工作流程。

下面是我的代码:

run_crawler = AwsGlueCrawlerOperator(task_id="run_crawler",
aws_conn_id=aws_secret, config={???},
crawler_name ="name_of_crawler",
poll_interval=60, priority_weight=3)

最初，我输入{"crawler_name":"name_of_crawler", "iam_role":"iam_role_name}，其他设置不变。然而，它抱怨我在字典中引用爬虫的名字。把它拿出来，还是没有骰子。

有没有人知道这个操作符的配置字典中有什么，或者在aws帐户上从本地docker实例启动胶水爬虫?我在变量aws_secret中引用的连接中有凭据。

提前谢谢

Answer 1

从代码来看，config中的名称应该在Name键下而不是crawler_name。此外，我认为此操作符不接受您在示例中传递的crawler_name参数。