如何修复"数据帧"对象没有属性"合并"？

Question

在pyspark应用程序中，我试图通过将其转换为熊猫来转置数据框，然后我想将结果写入CSV文件。这就是我这样做的方式：

df = df.toPandas().set_index("s").transpose()
df.coalesce(1).write.option("header", True).option("delimiter", ",").csv('dataframe')

执行此脚本时，我会收到以下错误：

'DataFrame' object has no attribute 'coalesce'

有什么问题？我该如何修复？

Answer 1

问题在于，您将Spark DataFrame转换为PANDAS DataFrame。PANDAS DATAFRAME没有coalesce方法。您可以在此处查看Pandas的文档。

当您使用toPandas()时，数据框已收集并在内存中，尝试使用PANDAS数据帧方法df.to_csv(path)。