可以从 Azure 数据工厂读取 Azure 数据砖表



我有一个表到Azure Databricks群集中,我想将此数据复制到Azure SQL数据库中,以便其他用户从元数据库分析此数据。

是否可以通过 Azure 数据工厂访问数据砖表?

不,不幸的是不是。 Databricks 表通常是临时的,只要作业/会话正在运行,就会持续存在。看这里。

您需要将数据砖表保存到某个存储才能访问它。更改数据砖作业,将表转储到 Blob 存储,这是最终操作。在数据工厂作业的下一步中,可以从存储帐户读取转储的数据并进一步处理。

另一种选择可能是数据砖增量,尽管我还没有尝试过......

如果在 Databricks 配置单元元存储中注册该表,则 ADF 可以使用 ADF 中的 ODBC 源从中读取该表。虽然这需要 IR。或者,可以将表写入外部存储,例如 Blob 或湖。然后,ADF 可以读取该文件并将其推送到 sql 数据库。

相关内容

  • 没有找到相关文章