尝试写入增量表时'list'对象没有属性'write'时出错

Question

我试图将增量表的前X行读入数据帧，然后将其写(覆盖)回增量表。下面是代码:

# read from entire delta table into dataframe
revEnrichRef = spark.read.format("delta").load("/mnt/tables/myTable")
# retrieve first 5 rows
dfSubset = revEnrichRef.head(5)
dfSubset.write.format("delta").mode("overwrite").save("/mnt/tables/myTable")

此时我得到错误:'list'对象没有属性'write'

我猜这意味着head返回列表而不是一个新的日期框架。我真正想要的是一个解决方案，将返回x行数据帧。或者，有一种不需要中间数据框的方法也一样好。任何帮助都是感激的。由于

Answer 1

您可以使用limit方法这样做。这将返回一个数据帧，限制作为参数传递的行数。

dfSubset = revEnrichRef.limit(5)

head方法是一个动作，它将从数据框中收集5行作为列表。(或单个Row对象，如果n = 1)