如何在使用pyarrow读取镶木地板文件时解码字典列

Question

我有三个.snappy.parquet文件存储在s3存储桶中，我尝试使用pandas.read_parquet()，但它只在我指定一个镶木地板文件时有效，例如：df = pandas.read_parquet("s3://bucketname/xxx.snappy.parquet")，但如果我不指定文件名df = pandas.read_parquet("s3://bucketname")，这将不起作用，并给我错误：Seek before start of file。

我读了很多书，然后我发现了这个页面

它建议我们可以使用pyarrow来读取多个镶木地板文件，所以下面是我尝试的：

import s3fs
import import pyarrow.parquet as pq
s3 = s3fs.S3FileSystem()
bucket_uri = f's3://bucketname'
data = pq.ParquetDataset(bucket_uri, filesystem=s3)
df = data.read().to_pandas()

这是有效的，但我发现df中其中一列的值是一个字典，我如何解码这个字典和所选的key作为列名，value作为相应的值？

例如，当前列：

column_1
{'Id': 'xxxxx', 'name': 'xxxxx','age': 'xxxxx'....}

预期列：

Id    age
xxx   xxx
xxx   xxx

以下是data.read().schema:的输出

column_0: string
-- field metadata --
PARQUET:field_id: '1'
column_1: struct<Id: string, name: string, age: string,.......>
child 0, Id: string
-- field metadata --
PARQUET:field_id: '3'
child 1, name: string
-- field metadata --
PARQUET:field_id: '7'
child 2, age: string
-- field metadata --
PARQUET:field_id: '8'
...........
...........

Answer 1

您有一个带有"结构类型"；并且您想使其变平。为此，请在调用to_pandas之前调用flatten

import pyarrow as pa
COLUMN1_SCHEMA = pa.struct([('Id', pa.string()), ('Name', pa.string()), ('Age', pa.string())])
SCHEMA = pa.schema([("column1", COLUMN1_SCHEMA), ('column2', pa.int32())])
df = pd.DataFrame({
"column1": [("1", "foo", "16"), ("2", "bar", "17"), ],
"column2": [1, 2],
})
pa.Table.from_pandas(df, SCHEMA).to_pandas() #  without flatten
| column1                                 |   column2 |
|:----------------------------------------|----------:|
| {'Id': '1', 'Name': 'foo', 'Age': '16'} |         1 |
| {'Id': '2', 'Name': 'bar', 'Age': '17'} |         2 |
pa.Table.from_pandas(df, SCHEMA).flatten().to_pandas() #  with flatten
|   column1.Id | column1.Name   |   column1.Age |   column2 |
|-------------:|:---------------|--------------:|----------:|
|            1 | foo            |            16 |         1 |
|            2 | bar            |            17 |         2 |

顺便说一下，您不应该称之为dictionary列。dictionary是pyarrow中的加载项，通常指的是distionary编码

编辑：如何阅读拼花地板中的列子集

import pyarrow.parquet as pq
table = pa.Table.from_pandas(df, SCHEMA)
pq.write_table(table, 'data.pq')
# Using read_table:
pq.read_table('data.pq', columns=['column1.Id', 'column1.Age'])
# Using ParquetDataSet:
pq.ParquetDataset('data.pq').read(columns=['column1.Id', 'column1.Age'])