在我的Argo工作流步骤之一中,Docker容器将一个大文件拆分为许多小文件。
本教程展示了如何通过一次检查每个输出,将少量预先确定的输出(例如2或3)保存为S3桶中的工件。
在我的用例中,我事先不知道将创建多少较小的文件;可以有上百个。大量的输出文件使得很难(如果不是不可能的话)遵循教程并逐一指定每个文件,即使我知道提前创建了多少小文件。
是否有办法将所有输出保存到S3桶?
这听起来像是标准的输出工件。您可以将所有文件放在一个目录中,然后将该目录作为输出工件。
这里有一些例子可以帮助你:
https://argoproj.github.io/argo-workflows/examples/工件