Kedro 是否支持结果的检查点/缓存?



假设我们有多个长时间运行的管道节点。 检查点或缓存中间结果似乎非常简单,因此当更改或添加检查点后的节点时,必须再次执行这些节点。

Kedro 是否提供功能来确保当我运行管道时只有这些步骤是 执行了变化? 同样相反,有没有办法确保执行所有已更改的步骤?

假设一个产生一些中间结果的管道发生了变化,当我根据第一个的输出执行管道时,它会被执行吗?

TL;大卫:凯德罗对需要做什么和不需要做什么有makefile式的跟踪吗?

我认为我的问题类似于问题 #341,但我不需要循环图的支持。

您可能希望查看分区数据集文档旁边的增量数据集,特别是有关增量数据集的增量加载的部分,该部分具有"检查点"的概念,尽管检查点是手动步骤,不像makefile那样自动化。

相关内容

  • 没有找到相关文章

最新更新