我是azure数据工厂的新手,正在构建一个从blob存储中复制大型xml文件并更新SQL数据库中的表的管道。是否可以根据子元素中的值跳过父元素更新为SQL?xml结构相当直接,我知道我可以使用xslt进行转换,但我想知道是否可以直接在管道中包含此逻辑?
下面是xml结构的一个示例:
<parent>
<child1>1</child1>
<child2>2</child2>
</parent>
<parent>
<child1></child1>
<child2>3</child2>
</parent>
<parent>
<child1>2</child1>
<child2>4</child2>
</parent>
</root>
每个父项都是表中的一行,我不想在child1为空的地方插入行。因此,在本例中,表必须仅包括作为行的第一个和第三个父元素。
因此,经过多次实验,我决定将所有数据加载到表中,然后在复制操作后使用数据流,该操作使用alter row函数删除所有不需要的条目。我更愿意从副本中过滤掉它们,但这个解决方案很简单,而且功能强大。