将json.gz文件读入pandas

Question

我有一个json.gz文件，需要将其转换为pandas数据帧。我试过：

df = pd.read_json('myfile.json.gz',lines=True,compression='gzip')

但是我的df看起来是这样的：

Item
0   {'id': {'S': '83424'}, 'createdAt':...
1   {'id': {'S': '234324'}, 'createdAt'...
2   {'id': {'S': '234342'}, 'createdAt'...

基本上，我所有的列都是json格式的一列。我该如何应对？我还尝试过用解压缩文件

with gzip.open("myfile.json.gz", "r") as f:
data = f.read()
j = json.loads (data.decode('utf-8'))

但是得到：

类型错误：JSON解码器init((得到了一个意外的关键字参数"编码">

Answer 1

使用最新的pandas版本，您可以直接加载.json.gz文件

import pandas as pd
df = pd.read_json("myfile.json.gz", lines=True)
df

我正在使用pandas==2.0.1