尝试从databricks启动数据工厂。
我在群集级别上安装的Azure库之间发生冲突:
from azure.identity import ClientSecretCredential
from azure.mgmt.resource import ResourceManagementClient
from azure.mgmt.datafactory import DataFactoryManagementClient
azure_client_id = dbutils.secrets.get(scope="Azure_KeyVault", key="_Application_Id")
azure_client_secret = dbutils.secrets.get(scope="Azure_KeyVault", key="_Client_Secret")
azure_tenant_id = dbutils.secrets.get(scope="Azure_KeyVault", key="__Tenant_Id")
# example of trigger_object['topic']: /subscriptions/f8354c08-de3d-4a67-95ae-c7cbdb37fbf6/resourceGroups/WeS06DvBing15064/providers/Microsoft.Storage/storageAccounts/wes06dvraw15064
subscription_id = 'f4379743884938948398938493793749830'
credentials = ClientSecretCredential(client_id=azure_client_id, client_secret=azure_client_secret, tenant_id=azure_tenant_id)
dfmc = DataFactoryManagementClient(credentials, subscription_id, base_url="https://management.azure.com")
[f.id for f in dfmc.factories.list()]
错误消息:
AttributeError:"ClientSecretCredential"对象没有属性"已签名会话">
我认为可以,因为我们已经使用集群库实用程序在此集群上安装了Azure。(假设如果我从集群级别删除这个库,它就可以工作(。
当我在笔记本上这样做时:%pip uninstall Azure
我得到:
Python解释器将重新启动。已找到现有安装:azure 4.0.0未在卸载azure/databricks/python3/lib/python3.7/site-packages,外部环境/local_disk0/.ephemeral_nfs/envs/pythonEnv-6eab9ca4-4cd6-4bd9-843f-8e3a185c96a无法卸载"azure"。找不到要卸载的文件。蟒蛇解释器将重新启动。
我不太理解最后一条错误消息。我想卸载笔记本电脑中的库,但不想将其从集群库实用程序级别中删除(它在许多其他笔记本电脑中使用(
当涉及到数据块时,库可以安装在两个级别中。
- 工作区库
- 群集库
1.库
- 进入包含库的文件夹
- 选择需要卸载的库名称
- 选中需要卸载的库旁边的复选框,然后确认
- 确认后,状态更改为卸载挂起重新启动
2.集群
- 转到库文件夹
- 选择库
- 选中名称旁边的复选框,然后选择卸载
- 确认后将处于挂起状态
- 重新启动群集
在这个过程中,普通库和集群库都是隔离的。