"Cluster validation error: Validation failed for enable_elastic_disk, the value must be true (is

Question

在尝试使用气流在数据块中创建集群时收到以下错误。

"Cluster validation error: Validation failed for enable_elastic_disk, the value must be true (is \"true\")"

即使将值设置为true也无法解决此错误。有谁能帮帮忙吗?

下面是我的代码:

new_cluster = {
"cluster_name": "****",
'spark_version': '9.1.x-scala2.12',
'node_type_id': 'c5.xlarge',
'aws_attributes': {'availability': 'ON_DEMAND'},
'enable_elastic_disk': True,
# "autoscale": {
#     "min_workers": 2,
#     "max_workers": 8
# },
'num_workers': 8,
'policy_id': '*****'
}

即使将值设置为true也无法解决此错误。有谁能帮帮忙吗?

Answer 1

apache airflow databricks provider有一个bug，他们在这个PR中修复了它，它从3.2.0版本开始可用，所以你只需要升级到>= 3.2.0就可以解决这个问题

pip install apache-airflow-providers-databricks>=3.2.0