我有一些代码可以将嵌套的JSON DICE放在DataFrame上。这不是很高效,想知道我是否需要使用numpy阵列在创建数据框之前进行存储。dict大小为100万,项目是一个json字符串。
ALL=dict()
ALL[0]= """{id1: 'Big_JSON' }"""
for k_id, dd in ALL.items() :
ii+=1
if ii > -1 :
dfi= pd.io.json.json_normalize(dd)
if ii == 0 :
ALL_df= dfi
else:
ALL_df= pd.concat((ALL_df, dfi), axis=0)
print ii,
是否有一种快速转换为数据框的方法?
而不是使用cont效率低下,请尝试同时转换所有dict:
ALL_df = pd.io.json.json_normalize(ALL.values())