From dict to pandas dataframe



我有一些代码可以将嵌套的JSON DICE放在DataFrame上。这不是很高效,想知道我是否需要使用numpy阵列在创建数据框之前进行存储。dict大小为100万,项目是一个json字符串。

  ALL=dict()
  ALL[0]=  """{id1: 'Big_JSON' }"""
  for k_id, dd in ALL.items() :
   ii+=1 
   if ii > -1 :
    dfi=  pd.io.json.json_normalize(dd)
    if ii == 0 :
       ALL_df= dfi    
    else:
       ALL_df= pd.concat((ALL_df, dfi), axis=0)       
       print ii,

是否有一种快速转换为数据框的方法?

而不是使用cont效率低下,请尝试同时转换所有dict:

ALL_df = pd.io.json.json_normalize(ALL.values())

最新更新