无法在azure synapse分析火花池上传工作区包和requirement.txt文件

Question

当试图通过应用上传的requirements.txt文件和自定义包在火花池级别导入python库时，我得到了以下错误，没有其他详细信息：

CreateOrUpdateSparkComputeFailed处理请求时出错

几天前它运行得很好。上次上传成功时间为2021年12月3日。

此外，SystemReservedJob-LibraryManagement应用程序作业未被触发。

环境详细信息：

• Azure Synapse Analytics
• Apache Spark池-3.1

我们尝试了以下方法：

1. 将vcore大小增加到200
2. 将相同的包上载到不同的订阅资源，它运行良好
3. 增加了火花池的大小

请建议

谢谢

Answer 1

确保您的requirement.txt 中有以下包

在此之前，我们需要检查已安装和未安装的软件包。通过运行以下代码行，您可以获得安装包的所有详细信息，并可以得出哪些包丢失并可以将其保留在适当位置：

import pkg_resources 
for d in pkg_resources.working_set: 
print(d)

使用Requirement.txt安装缺少的库。

我遇到了类似的用例，我从MS文档中获得了很好的信息和步骤，看看它来处理工作区libs