AWS SageMaker 批量转换 CSV 错误：非引号字段中的裸 "

Question

使用以下命令批量转换错误:

bare " in non quoted field found near: "['R627' 'Q2739' 'D509' 'S37009A' 'E860' 'D72829' 'R9431' 'J90' 'R7989'

在SageMaker Studio笔记本中，我使用Pandas将数据输出到csv:

data.to_csv(my_file, index=False, header=False)

我的Pandas数据框架包含如下字符串值的列:

['ABC123', 'DEF456']

Pandas在这些字段之间添加了换行符，例如，这是一行(跨越两行)，并且有一个换行符。注意，双引号现在跨越两行。有时它们会跨越3行或更多行。

False,ABC123,7,1,3412,['I509'],,"['R627' 'Q2739' 'D509' 'S37009A' 'E860' 'D72829' 'R9431' 'J90' 'R7989'
'R5383' 'J9621']",['R51' 'R05' 'R0981'],['X58XXXA'],M,,A,48

CSV是有效的，我可以成功地将其读入Pandas数据框架。

为什么批处理转换无法读取CSV格式?

Answer 1

我已经将数组转换为字符串(空格分隔)，例如

From:
['ABC123', 'DEF456']
To:
ABC123 DEF456