Azure DataBrick PYTHONPATH指向导入的轮子



从这里开始,我按照简单的步骤成功地创建了我的python项目的python轮子:https://python101.pythonlibrary.org/chapter39_wheels.html

然后从我的DataBrick笔记本中,安装了我的项目依赖项(我将项目的requirements.txt单独上传到我的blob存储中(:

%pip install -r /dbfs/mnt/testdb-blob-container1/requirements.txt

然后我通过Azure DataBrick接口上传了我的项目的python轮子:https://learn.microsoft.com/en-us/azure/databricks/libraries/workspace-libraries

从我的DataBrick笔记本,我成功地参考:

import myproject
import myproject.src
from myproject.src.core import constants as constants   <-- This is fine.

但这件事搞砸了,因为我的datetimeutil需要"常数";。在当地,我们有巨蟒。在DataBrick中,我们没有这个,所以下面尝试导入下面的datetimeutil:

from myproject.src.helpers import datetimeutil as datetimeutil

我们如何在DataBrick环境中设置PYTHONPATH?

我试过的一件事是…我的车轮文件在这里:

dbfs:/FileStore/jars/23011937_5e16_4be0_b82a_88e83aaecadf/myproject-1.0-py3-none-any.whl

从我的笔记本:

import sys
sys.path.append("dbfs:/FileStore/jars/23011937_5e16_4be0_b82a_88e83aaecadf/")

这并没有起到任何作用。

感谢

导航到您的集群>库,然后单击"安装新"按钮。

使用Library Source=Upload和Library Type=Python Whl拖放Whl文件。这将在Databricks集群上安装python自定义库。

最新更新