将数据框另存为 pyspark 中的文本文件格式?

Question

我有如下数据框：

+-------+------+----+----+
|      a|     b|c   |d   |
+-------+-----------+----+
|    101|   244|   4|   1|
|    101|   245|   5|   0|
|    135|   396|   2|   1|
|    140|   247|   2|   1|
|    140|   313|   3|   0|
|    140|   380|   4|   0|
|    140|   558|   5|   0|
|    140|   902|   1|   1|
|    141|   240|   4|   0|
|    141|   275|   2|   1|
|    141|   387|   3|   0|
|    141|   388|   1|   1|
|    141|   528|   5|   0|
+------------+-----------+

如何使用字段分隔符将上述数据框另存为文本文件格式是 | 保存我的输出文件后，应该是部分-00000，部分-00001 e.t.c

Answer 1

如果你想保持你的数据分隔，我会使用 csv 输出格式。 例如，您可以执行以下操作：

df = ...  # However you are building your df currently
df.write.format('csv').options("delimiter", "|").save(some_path)

其中some_path是您的输出目的地。