每次我创建一个新作业时,它都会创建一个同名的新作业,而不是覆盖现有作业。我想到的第一件事是删除所有具有特定名称的作业,然后创建该作业。这个问题是我无法保留与新作业相关联的已删除作业历史记录(日志等(。有没有一种方法可以使用databrickscli覆盖包含与上一个作业相关联的所有信息的作业?
databricks jobs list --output json | jq '.jobs[] | select(.settings.name == "test_job") | .job_id' | xargs -n 1 databricks jobs delete --job-id
databricks jobs create --json-file ./jobs_jsons/test_job.json
您需要使用databricks jobs resets
,它将覆盖作业定义,而不创建新作业(请参阅文档(:
databricks jobs reset --job-id 246 --json-file reset-job.json