压扁JSON嵌套键值对以转换为csv



我有一个非常典型的json文件,除了一些项包含嵌套的标签/值对。数据样本:

{
"total_count":10000,
"count_from":1,
"count_to":1000,
"contacts":[
{
"contact_id":"ABC123",
"contact_last_name":"Last name",
"contact_email":[
{
"label":"primary",
"value":"last.first@example.com"
},
{
"label":"Secondary",
"value":"first.last@example.com"
},
{
"label":"personal",
"value":"last.first@gmail.com"
}
],
"research_mail":"last.first@yahoo.com",
"contact_phone":[
{
"label":"Desk/Work",
"value":"2015555555"
},
{
"label":"Mobile",
"value":"2015555556"
},
{
"label":"Other/Home",
"value":"2015555557"
}
],
"contact_address1":"3rd street",
"contact_asst_name":"",
"contact_asst_phone":""
}
]
}

在最终创建csv之前,我使用pandasjson_normalize来创建一个数据集。

import json
import csv
import pandas as pd
with open("sourcefilename") as f:  
data = json.load(f)
info_df = pd.json_normalize(data, 'contacts')

contact_email和research_email值分别作为单独的列返回,其中包含列内容的原始JSON数据。

contact_id,contact_last_name,contact_email,research_mail, etc.

我希望该数据的输出列是

contact_id,contact_last_name,contact_email_primary,contact_email_secondary,contact_email_personal,research_mail, etc.

有人能提出最好的方法吗?如果可能的话,我更愿意继续使用panda和json_normalize。

一个简单的方法是将列表更改为dict,以便json_normalize可以更容易地应用其魔力:

有了一个快速的重新格式化程序,它可以提供

def list2dic(inconvenient_list):
reformatted_dic = {}
for item in inconvenient_list:
reformatted_dic[item['label']] = item['value']
return reformatted_dic

将其应用于contact_email和contact_phone字段:

for contact in data['contacts']:
contact['contact_email'] = list2dict(contact['contact_email'])
contact['contact_phone'] = list2dict(contact['contact_phone'])

现在json_normalize应该可以正常工作(将分隔符从"."更改为"_"(

info_df = pd.json_normalize(data, 'contacts', sep='_')

最新更新