我想将azure中的Kedro内存数据集保存为一个文件,但仍希望将其保存在内存中,因为我的管道稍后将在管道中使用它。这在凯德罗有可能吗。我试图查看代码转换数据集,但看起来不可能。还有别的办法吗?
这可能是使用CachedDataSet的好机会,它允许您包装任何其他数据集,但一旦将其读取到内存中,就可以使其对下游节点可用,而无需重新执行IO操作。
我会尝试将数据集显式保存到Azure,作为节点逻辑的一部分,即使用catalog.save()
。然后,您可以使用标准节点输入和输出将数据集馈送到内存中的下游节点。