如何在Python中解析混合CSV文件

Question

我正在处理一个类似于这个的CSV文件

foo; val1; position1
bar; name1; address1; phone_nbr1
bar; name2; address2; phone_nbr2
foo; val2; position2
bar; name3; address3; phone_nbr3
bar; name4; address4; phone_nbr4
bar; name5; address5; phone_nbr5
bar; name6; address6; phone_nbr6
foo; val3; position3

不用说，我不能修改CSV。

foo行显示的实例与bar行显示的实例不同(注意它们甚至没有相同数量的字段)

我只需要读这些数据，不需要写。

我的第一个想法是把文件分成两个临时文件，然后用csv.DictReader分别读取每个临时文件，但是我真的不喜欢这种方法。

有更简单的方法吗?如果可能的话，我希望避免将文件写入磁盘。

我在Solaris 10机器上使用Python2.7

Answer 1

您可以在两个不同的列表中收集来自csv.reader的记录，这取决于它们的长度(或者您用来区分两个流的任何标准):

list1 = []
list2 = []
with open("input.csv", "rb") as f:
    for record in csv.reader(f, delimiter=";"):
        if len(record) == 3:
            list1.append(record)
        else:
            list2.append(record)

Answer 2

csv.reader()对此没有问题:

import csv
foo = []
bar = []
with open("test.csv", 'r') as f:
    c = csv.reader(f, delimiter = ";")
    for row in c:
        if row[0] == "foo":
            foo.append(row[1:])
        elif row[0] == "bar":
            bar.append(row[1:])
print(foo)
print(bar)

在

搜索结果

[[' val1', ' position1'], [' val2', ' position2'], [' val3', ' position3']]
[[' name1', ' address1', ' phone_nbr1'], [' name2', ' address2', ' phone_nbr2'], [' name3', ' address3', ' phone_nbr3'], [' name4', ' address4', ' phone_nbr4'], [' name5', ' address5', ' phone_nbr5'], [' name6', ' address6', ' phone_nbr6']]

Answer 3

每一行使用str.split怎么样?

items = line.split(";")

如果items列表中的第一项是foo，你做一件事，如果是bar，你做另一件事。

Answer 4

行不同的事实不是csv模块的问题，但您必须根据第一个'单元格'不同地分析行内容。

代码示例:

with open(input_file, 'rb') as fin:
    c = csv.reader(fin)
    for line in c:
         if line[0] == 'foo':
              # do some treatment
         elif line[0] == 'bar':
              # do something else
    c.close()

Answer 5

从您的问题中不清楚您实际想要实现的是什么，但我不确定您是否需要csv模块。

for row in myfile.readlines():
    cols = [r.strip() for r in row.split(';')]
    if (cols[0] == "foo"):
        # Do something for foo
    elif (cols[0] == "bar"):
        # Do something for bar

Answer 6

foos = []
bars = []
for line in csv.reader(open("file.csv","rb"), delimiter=";"):
  if line[0] == "foo":
    foos.append(Foo(line[1], line[2]))
  else:
    bars.append(Bar(line[1], line[2], line[3]))

假设您有一个Foo和Bar类，将其余的行单元格作为参数。