将最新数据从 ADLS Gen 2 blob 存储获取到 Azure DataBricks 中装载的表

Question

我使用装载路径在 Azure DataBricks 中创建了一个非托管表，如下所示：

CREATE TABLE <Table-Name> using org.apache.spark.sql.parquet OPTIONS (path "/mnt/<folder>/<subfolder>/")

装载路径的源是存储在 ADLS Gen2 中的镶木地板文件。 我看到基础数据是否在 ADLS Gen 2 blob 存储路径中发生更改，它不会反映在 ADB 中创建的非托管表中。此 ADB 表仍保存创建表时 blob 存储中可用的数据 有没有办法将 blob 存储中的最新数据获取到 ADB 中的表中？

Answer 1

有很多人建议使用 ，

REFRESH TABLE <table-name>

https://docs.databricks.com/data/tables.html#update-a-table

但它从来没有对我有用.

下面认为它有效.

yourdataframe.write.mode("overwrite").saveAsTable("test_table")