pyspark -读取CSV与自定义行分隔符

Question

如何使用pyspark读取具有自定义行分隔符(x03)的csv文件?我尝试了下面的代码，但它没有工作。

df = spark.read.option("lineSep","x03").csv(path)
display(df)

Answer 1

在OSS Spark(3.2.0)和DBR 9.1 ML下都可以正常工作:

>>> df = spark.read.option("lineSep","x03")
.option("header", "true").csv("/path_to_file.csv")
>>> df.show()
+----+----+
|val1|val2|
+----+----+
|   1|   2|
|   3|   4|
+----+----+

查找文件内部的问题，或者类似的内容