如何在不同的火车节点中读取Azure文件数据集的一部分(包含1000个图像(。我想要一个所有图像都被覆盖的采样。
https://learn.microsoft.com/en-us/python/api/azureml-core/azureml.data.file_dataset.filedataset?view=azure-ml py
我正在寻找一个类似tensorflow.dataset.shard((的选项。
谢谢。
您可以使用带有FileDataset的Pipelines中的ParallelRunStep作为输入。请参阅：https://learn.microsoft.com/en-us/azure/machine-learning/how-to-use-parallel-run-step和https://learn.microsoft.com/en-us/python/api/azureml-contrib-pipeline-steps/azureml.contrib.pipeline.steps.parallelrunstep?view=azure-ml py