数据流和管道之间的区别



我不明白 Azure 数据工厂中数据流和管道之间的区别。

我已经阅读并看到数据流可以在不编写任何代码行的情况下转换数据。

但是我已经制作了一个管道,这是完全相同的事情。

谢谢

管道是业务流程协调程序,不会转换数据。它管理一系列一个或多个活动,如复制数据或执行存储过程。数据流是这些活动类型之一,与管道有很大不同。

数据流执行行和列级别的转换,例如分析值、计算、添加/重命名/删除列,甚至添加或删除行。在运行时,数据流在 Spark 环境中执行,而不是在数据工厂执行运行时中执行。

管道可以在没有数据流的情况下运行,但数据流不能在没有管道的情况下运行。

首先,需要在管道中执行数据流活动。所以我怀疑您正在谈论复制活动和数据流活动,因为它们都用于将数据从源传输到接收器。

我已经阅读并看到数据流可以在不编写任何内容的情况下转换数据 代码行。

可以看到数据流的概述。数据流允许数据工程师开发图形数据转换逻辑,而无需编写代码。所有数据传输步骤都基于可视化界面。

我做了一个管道,这是完全相同的事情。

复制活动可用于数据传输。但是,它在列映射方面有许多限制。因此,如果您只需要简单纯粹的数据传输,则可以使用复制活动。为了进一步满足个性化需求,您可以在数据流活动中找到许多内置功能。例如,派生列、聚合、排序等。

最新更新