是否可以在创建后将工作线程资源分配给 dask 分布式工作线程?



根据标题,如果我通过 helm 或 kubernetes 创建 worker ,是否可以在创建 worker 后分配"worker 资源"(https://distributed.readthedocs.io/en/latest/resources.html#worker-resources)?

用例是命中数据库的任务,我想限制在给定运行中能够命中数据库的进程数量,而不限制集群的总大小。

截至 2019-04-09,没有标准方法可以执行此操作。 您已经找到了Worker.set_resources方法,使用起来很合理。 最终,我也希望 Worker 插件能够处理这个问题,但它们没有实现。

对于控制对数据库的访问的应用程序,听起来您真正想要的是信号量。 你可以帮助构建一个(考虑到当前的Lock实现,它实际上相当简单),或者你可以使用 Dask 队列来模拟一个。

最新更新