我正在尝试执行我的databricks笔记本和链接服务作为连接的执行池类型,我也上传了ADF中车轮格式库的追加库选项,但无法通过ADF执行我们的笔记本并获得以下错误。
运行结果不可用:job failed with error message:由于whl用户错误,库安装失败
"dbfs:/FileStore/罐/xxxxxxxxxxxxxxxxxxxx/先知- 1.1 - cp38 cp38 manylinux_2_17_x86_64.manylinux2014_x86_64.whl". 错误消息:在驱动程序节点上尝试安装库集群1129-161441-xwjfzl6k失败。请参考以下内容错误消息以修复库或联系Databricks支持。错误代码:DRIVER_LIBRARY_INSTALLATION_FAILURE。错误信息:org.apache.spark.SparkException: Process List(bash)/local_disk0/.ephemeral_nfs/cluster_libraries/python/python_start_clusterwide.sh,/local_disk0/。ephemeral_nfs cluster_libraries/python/bin/皮普,安装,——升级,找到链接=/local_disk0 .ephemeral_nfs cluster_libraries/python/lib/python3.9/网站,/local_disk0 .ephemeral_nfs cluster_libraries/python/lib/python3.9/网站/- 1.1 - cp38 cp38 manylinux_2_17_x86_6先知…*警告:消息被截断。跳过195字节的输出
请帮助我们。在链接式服务中,我们有三种选择(选择集群),1.新的工作集群2.现有交互式集群3.现有实例池
在生产角度,这是最好的,我们没有在数据库中创建任何作业,计划笔记需要触发并成功执行。请建议
确保将wheel安装到交互式集群上(选项2)。这与Azure Data Bricks无关。
在Databricks集群上安装本地.whl文件
详情见上述文章。
Karthik从错误中抱怨它的库。这是我本可以做的。
- 交叉检查&确保ADF指向正确的集群。
- 如果集群是正确的,在集群上移动并打开您试图从ADF引用的笔记本。
- 如果笔记本工作正常,去停止集群并重新启动它并运行笔记本。我的猜测是,一旦集群进入空闲模式并关闭,然后当ADF启动集群时,它无法找到所需的库。