使用列表推导式旋转表格 CSV 数据

Question

我正在新手破解一个工具，该工具可以帮助我以这种形式收集数据：[{实体：{字段：值}}，...]

除非线索被粘住，否则我将以这种方式表达数据：

alldata = [
    {'ShinyCorp, Inc.' :
        [
        {'state' : 'CA'},
        {'phone' : '123-456-7890'}
        ]
    },
    {'MultiBiz, LLC' :
        [
        {'state' : 'NY'},
        {'ceo' : 'Glenn Suggzass'}
        ]
    },
    {'Marx Capital Group' : 
        [
        {'state' : 'DE'},
        {'fax' : '321-654-0987'}
        ]
    }
]

我想以两种形式呈现数据：

1） 实体名称列表作为第一列，每行的列显示此行第一列中列出的实体的字段值

2） 字段

名称列表作为第一列，每行的列显示此列第一行中列出的实体的字段值（也称为标题）

这样。。。

1）

EntityName          state   phone           ceo             fax
ShinyCorp, Inc.     CA      123-456-7890
MultiBiz, LLC       NY                      Glenn Suggzass
Marx Capital Group  DE                                      321-654-0987

2）

FieldName   ShinyCorp, Inc. MultiBiz, LLC   Marx Capital Group
state       CA              NY              DE
phone       [phone]
ceo                         Glenn Suggzass
fax                                         321-654-0987

所以。。。

给定 alldata 的格式（实体名称命令字典的列表），为 DictWriter 和 writerows 提供写入格式 1） 和 2 的迭代对象的列表推导式是什么。

编辑：这只是一个玩具示例，目的是获得一些好的列表理解建议。

Answer 1

非常老的问题，你还在的可能性很小，但这个问题很有趣。

更简单的数据结构

首先，我认为你的数据结构不是最好的。假设你得到这样的元组（来自 csv 文件）：

>>> csv = [('ShinyCorp, Inc.', 'state', 'CA'),
... ('ShinyCorp, Inc.', 'phone', '123-456-7890'),
... ('MultiBiz, LLC', 'state', 'NY'),
... ('MultiBiz, LLC', 'ceo', 'Glenn Suggzass'),
... ('Marx Capital Group', 'state', 'DE'),
... ('Marx Capital Group', 'fax', '321-654-0987')]

您必须列出实体和字段及其关系。如果您不关心订单：

>>> data_by_entity = {}
>>> fields = set()
>>> for entity,k,v in csv:
...     fields.add(k)
...     data_by_entity.setdefault(entity, {})[k] = v
...
>>> data_by_entity
{'ShinyCorp, Inc.': {'state': 'CA', 'phone': '123-456-7890'}, 'MultiBiz, LLC': {'state': 'NY', 'ceo': 'Glenn Suggzass'}, 'Marx Capital Group': {'state': 'DE', 'fax': '321-654-0987'}}
>>> sorted(fields)
['ceo', 'fax', 'phone', 'state']
>>> sorted(data_by_entity.keys())
['Marx Capital Group', 'MultiBiz, LLC', 'ShinyCorp, Inc.']

如果您关心订单：

>>> data_by_entity = {}
>>> fseen = set()
>>> fields = []
>>> eseen = set()
>>> entities = []
>>> for entity,k,v in csv:
...     if entity not in eseen:
...         entities.append(entity)
...         data_by_entity[entity] = {}
...         eseen.add(entity)
...     if k not in fseen:
...         fields.append(k)
...         fseen.add(k)
...     data_by_entity[entity][k]=v
...
>>> data_by_entity
{'ShinyCorp, Inc.': {'state': 'CA', 'phone': '123-456-7890'}, 'MultiBiz, LLC': {'state': 'NY', 'ceo': 'Glenn Suggzass'}, 'Marx Capital Group': {'state': 'DE', 'fax': '321-654-0987'}}
>>> fields
['state', 'phone', 'ceo', 'fax']
>>> entities
['ShinyCorp, Inc.', 'MultiBiz, LLC', 'Marx Capital Group']

seen技巧保留了列表的一组元素。当（并且仅当）元素不在列表中时，才会添加该元素，即...不在集合中（O（1） 与 0（n） 速度）。

这个数据结构可以很容易地更新：给循环的主体一个新的元组。

从数据结构到更简单的数据结构

>>> alldata = [
...     {'ShinyCorp, Inc.' :
...         [
...         {'state' : 'CA'},
...         {'phone' : '123-456-7890'}
...         ]
...     },
...
...     {'MultiBiz, LLC' :
...         [
...         {'state' : 'NY'},
...         {'ceo' : 'Glenn Suggzass'}
...         ]
...     },
...
...     {'Marx Capital Group' :
...         [
...         {'state' : 'DE'},
...         {'fax' : '321-654-0987'}
...         ]
...     }
... ]    
>>> data_by_entity = {e:{k:v for value in values for k,v in value.items()} for data in alldata for e, values in data.items()}
>>> data_by_entity
{'ShinyCorp, Inc.': {'state': 'CA', 'phone': '123-456-7890'}, 'MultiBiz, LLC': {'state': 'NY', 'ceo': 'Glenn Suggzass'}, 'Marx Capital Group': {'state': 'DE', 'fax': '321-654-0987'}}

解释：

• for data in alldata：这是外部指令
• for e, values in data.items()：实体和内部字典列表
• {k:v for value in values for k,v in value.items()}：这将合并列表中存在的内部字典values。

使用 merge_list_of_dicts 函数可能更容易理解：

>>> def merge_list_of_dicts(L): return {k: v for d in L for k,v in d.items()}
>>> data_by_entity = {e:merge_list_of_dicts(values) for e, values in merge_list_of_dicts(alldata).items()}
>>> data_by_entity
{'ShinyCorp, Inc.': {'state': 'CA', 'phone': '123-456-7890'}, 'MultiBiz, LLC': {'state': 'NY', 'ceo': 'Glenn Suggzass'}, 'Marx Capital Group': {'state': 'DE', 'fax': '321-654-0987'}}

从结构中获取字段很容易：

>>> fields = set(k for data in data_by_entity.values() for k,v in data.items())
>>> sorted(fields)
['ceo', 'fax', 'phone', 'state']

输出

现在，问题的答案。

第一种形式

>>> fields = sorted(fields) # ensure the test is reproducible
>>> [["EntityName"]+fields]+[[k]+[v.get(f, "") for f in fields] for k, v in data_by_entity.items()]
[['EntityName', 'ceo', 'fax', 'phone', 'state'], ['ShinyCorp, Inc.', '', '', '123-456-7890', 'CA'], ['MultiBiz, LLC', 'Glenn Suggzass', '', '', 'NY'], ['Marx Capital Group', '', '321-654-0987', '', 'DE']]

解释：

• ["EntityName"]+fields]是第一行;
• [k]+[v.get(f, "") for f in fields]循环访问字段并获取值。它前面有 k ，字段的名称;
• [[k]+[...] for k, v in data_by_entity.items()]为每个实体重复上面的列表。

第二种形式

>>> [["FieldName"]+entities]+[[k]+[data_by_entity[e].get(k, "") for e in entities] for k in fields]
[['FieldName', 'ShinyCorp, Inc.', 'MultiBiz, LLC', 'Marx Capital Group'], ['ceo', '', 'Glenn Suggzass', ''], ['fax', '', '', '321-654-0987'], ['phone', '123-456-7890', '', ''], ['state', 'CA', 'NY', 'DE']]

解释：

• ["FieldName"]+entities]是第一行;
• [k]+[data_by_entity[e].get(k, "") for e in entities]遍历实体并获取给定k的值。它前面有 k ，字段的名称;
• [[k]+[...] for k in fields]为每个字段重复上面的列表。

这是另一个版本

>>> L = [["EntityName"]+list(fields)]+[[k]+[v.get(f, "") for f in fields] for k, v in data_by_entity.items()]
>>> list(zip(*L))
[('EntityName', 'ShinyCorp, Inc.', 'MultiBiz, LLC', 'Marx Capital Group'), ('ceo', '', 'Glenn Suggzass', ''), ('fax', '', '', '321-654-0987'), ('phone', '123-456-7890', '', ''), ('state', 'CA', 'NY', 'DE')]

说明：list(zip(*L)是转置列表列表的惯用方法。如果L = [L1, ..., Ln]，zip(*L)解压缩列表以zip(L1, ..., Ln) 。然后zip创建一个元组，其中包含每个列表的第一个元素，另一个元组包含每个列表的第二个元素，...直到它用尽其中一个列表。