防止在零大小的源切片文件上运行切片



我的管道有AzureBLOB类型的源数据集。

这是每小时的数据集,所以管道不断提取每小时的切片。但问题是,许多源切片文件的大小为为零。但输油管道仍在继续并取得了成功。我不想那样。

同时,我不想在管道中硬编码任何"最小"大小策略(我知道我们可以为流水线提供一些这样的设置)。

我只是想说"管道应该只处理非零大小的文件,无论大小如何。"我们如何确保这一点?基本上,切片应该重试>,如果切片文件大小为零,则最终失败。

您可以创建自定义c#活动来检查Azure Blob中是否有活动数据,并根据结果继续您的管道

https://azure.microsoft.com/en-us/documentation/articles/data-factory-use-custom-activities/

相关内容

  • 没有找到相关文章

最新更新