Pyspark结构化流错误与delta文件版本



我有一个工作,从一个delta表与拼花文件流数据到一个json格式的输出表。这两个表都在Azure数据湖容器中。

我得到以下错误,我无法理解:

. lang。IllegalArgumentException:需求失败:没有得到第一个增量文件版本:921来计算快照

这是什么意思?我不想删除我的检查点文件或事务日志等。

Thanks in advance

备注:恢复Azure数据湖存储Gen2扁平和分层不支持命名空间

有关详细信息,请参阅微软文档"时间点恢复"。

时间点还原允许您从仅影响块blob的操作中恢复数据。任何作用于容器的活动都将不可逆转地丢失。例如,如果使用"删除容器"操作从存储帐户中删除容器,则无法使用时间点恢复操作恢复该容器。如果您希望稍后恢复单个blob,请删除单个blob,而不是整个容器。

相关内容

  • 没有找到相关文章

最新更新