Databricks-将数据从Databricks-temp移动到DataWarehouse，或直接从Databrick

Question

我们如何将数据从databricks临时视图或表直接移动到数据仓库。请告诉我因为我是数据砖的新手。

该文档只是显示了与数据仓库的直接连接，但我们如何移动数据

Answer 1

通过将数据帧写入外部位置来移动数据。例如

df.write
.format("com.databricks.spark.sqldw")
.option("url", "jdbc:sqlserver://<the-rest-of-the-connection-string>")
.option("forwardSparkAzureStorageCredentials", "true")
.option("dbTable", "my_table_in_dw_copy")
.option("tempDir", "wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net/<your-directory-name>")
.save()

https://docs.databricks.com/data/data-sources/azure/synapse-analytics.html