是否有可能有默认的分布式客户端每线程?

Question

我有两个独立的远程集群，并且在包含Dask DataFrame操作的不同线程中运行少量并行任务。我不想在每个线程中显式地使用客户端-client.compute(df)。我想使用default -df.compute().

是否可以为每个线程设置默认客户端?

Answer 1

这可能不是您想要的解决方案，但是一种选择是将相关计算包装在上下文管理器中:

from distributed import Client, LocalCluster
from dask.datasets import timeseries
cluster1 = LocalCluster(n_workers=1, dashboard_address=':0')
cluster2 = LocalCluster(n_workers=1, dashboard_address=':0')
with Client(cluster1) as client:
print(timeseries().head())
with Client(cluster2) as client:
print(timeseries().head())