我正在尝试用命令将数据帧中的数据附加到现有的parquet文件:
dfModified
.write
.mode("append")
.parquet("/home/hduser/s_s_c/fadpd/fadpd.parquet")
但是我总是遇到这样的异常:
Exception in thread "main" org.apache.hadoop.fs.FileAlreadyExistsException: Parent path is not a directory: file:/home/hduser/s_s_c/fadpd/fadpd.parquet
同时，我设置了spark。开头的猜测错误。有人知道我说错了吗?感谢您的帮助和时间!
对于每个试图在parquet文件中附加数据的人。不能追加拼花文件。您需要重新创建一个新的，当您查询时，您需要查询所有的:)