我的管道有AzureBLOB类型的源数据集。
这是每小时的数据集,所以管道不断提取每小时的切片。但问题是,许多源切片文件的大小为为零。但输油管道仍在继续并取得了成功。我不想那样。
同时,我不想在管道中硬编码任何"最小"大小策略(我知道我们可以为流水线提供一些这样的设置)。
我只是想说"管道应该只处理非零大小的文件,无论大小如何。"我们如何确保这一点?基本上,切片应该重试>,如果切片文件大小为零,则最终失败。
您可以创建自定义c#活动来检查Azure Blob中是否有活动数据,并根据结果继续您的管道
https://azure.microsoft.com/en-us/documentation/articles/data-factory-use-custom-activities/