等待Dask中的外部依赖关系



上下文:我正在使用自定义DASK图来管理和分发计算。

问题:某些任务包括读取在DASK之外生产的文件,不一定在调用dask.get(graph,result_key)时可用。

问题:拥有I/O任务等待文件不是一个选择,因为这将阻止工人。是否有(或哪个是(让DASK等待文件可用的好方法,然后执行I/O任务?

非常感谢您的想法!

听起来您可能想使用Dask的一些更实时的功能,此处描述。

您可以考虑制作使用secede and Rejoin或使用async-wait样式编程的任务,而仅一旦客户端流程注意它们的存在,才能启动任务。

最新更新