上下文:我正在使用自定义DASK图来管理和分发计算。
问题:某些任务包括读取在DASK之外生产的文件,不一定在调用dask.get(graph,result_key)
时可用。
问题:拥有I/O任务等待文件不是一个选择,因为这将阻止工人。是否有(或哪个是(让DASK等待文件可用的好方法,然后执行I/O任务?
非常感谢您的想法!
听起来您可能想使用Dask的一些更实时的功能,此处描述。
您可以考虑制作使用secede and Rejoin或使用async-wait样式编程的任务,而仅一旦客户端流程注意它们的存在,才能启动任务。