Dask with cython in Juypter： ModuleNotFoundError： 没有名为 '_cython_magic 的模块

Question

我得到：

遇害工人： ("('from_pandas-1445321946b8a22fc0ada720fb002544'， 4("， 'tcp://127.0.0.1:45940'(

我已经阅读了有关后一条错误消息的解释，但是这与堆栈跟踪顶部的错误消息结合在一起，这都是令人困惑的：

distributed.utils - 错误 - worker 已存在 tcp://127.0.0.1:35780

实际错误通过管道传输到为我的笔记本运行Jupyter notebook命令的终端：

ModuleNotFoundError： 没有名为"_cython_magic_faba6120a194ab58ae9efd1da474433f"的模块

因此，我将研究如何自己解决此问题，现在我在我的案例中发现了详细的错误。关于这种特殊配置的精确提示会很好，但我想将所有 cython 代码提取到笔记本之外的 python 代码中会更明智，而不是敲打 dask 去了解 cython 魔法命令？

Answer 1

这是一个完整的玩具示例(使用 SLURM 集群在 JupyterLab 上测试(。 该示例使用 Cython 编译了一个对两个整数求和的简单函数，但当然可以将相同的技术应用于复杂(且更有用(的代码。
这里的关键技巧是必须设置工作线程才能查找和导入 Cython 库。
这需要导入pyximport，调用pyximport.install()，然后在每个Worker上导入Cython生成的模块。这是使用register_worker_callback()完成的。 注意 Cython 生成的模块放在<IPYTHONCACHEDIR/cython目录中(IPYTHONCACHEDIR可以通过调用IPython.paths.get_ipython_cache_dir()找到(。必须将该目录添加到 Python 查找模块的路径中，以便可以加载 Cython 生成的模块。
此示例假定 SLURM，但这只是为了我的方便。 dask.distributed "网络"可以用任何其他方法设置(参见例如 http://distributed.dask.org/en/latest/setup.html(。

from dask import delayed
%load_ext cython
# Create a toy Cython function and put it into a module named remoteCython
%%cython -n remoteCython
def cython_sum(int a, int b):
return a+b
# Set up a distributed cluster (minimal, just for illustration)
# I use SLURM.
from dask_jobqueue import SLURMCluster
from distributed import Client
cluster = SLURMCluster(memory="1GB",
processes=1,
cores=1,
walltime="00:10:00")
cluster.start_workers(1)   # Start as many workers as needed.

client = Client(cluster)
def init_pyx(dask_worker):
import pyximport
pyximport.install()
import sys
sys.path.insert(0,'<IPYTHONCACHEDIR>/cython/')   # <<< replace <IPYTHONCACHEDIR> as appropriate
import remoteCython
client.register_worker_callbacks(init_pyx)  # This runs init_pyx() on any Worker at init
import remoteCython
# ASIDE: you can find where the full path of Cython-generated library by
# looking at remoteCython.__file__
# The following creates a task and submits to the scheduler.
# The task computes the sum of 123 and 321 via the Cython function defined above
future = client.compute(delayed(remoteCython.cython_sum)(123,321)) 
# The task is executed on the remote worker
# We fetch the result from the remote worker
print(future.result())   # This prints 444
# We're done. Let's release the SLURM jobs.
cluster.close()

Answer 2

特定的cython错误看起来确实来自将编译配置为对worker可见的问题。当您执行%%cython时，将创建并构建一个临时扩展，最终导入到本地(客户端(会话中，而不会安装到 python 环境中。我不确定这究竟是如何发生的。

你至少应该确保在编译你的cython单元后创建你的客户端，然后它们可能会继承所需的环境，但很有可能通过细胞魔法修补的猴子太复杂了，在任何情况下都无法工作。