解压缩文件而不创建临时文件



我从AWS S3下载了一个zip文件并解压缩。解压缩后,所有文件都保存在tmp/文件夹中。

s3 = boto3.client('s3')
s3.download_file('testunzipping','DataPump_10000838.zip','/tmp/DataPump_10000838.zip')
with zipfile.ZipFile('/tmp/DataPump_10000838.zip', 'r') as zip_ref:
zip_ref.extractall('/tmp/')
lstNEW = zip_ref.namelist()

listNEW的输出如下:

['DataPump_10000838/', '__MACOSX/._DataPump_10000838', 'DataPump_10000838/DockBooking', '__MACOSX/DataPump_10000838/._DockBooking', 'DataPump_10000838/LoadEquipment', '__MACOSX/DataPump_10000838/._LoadEquipment', ....]

LoadEquipment和DockBooking是文件,但其余的不是。有没有可能在不创建这些临时文件的情况下解压缩文件?或者我可以过滤掉真正的文件吗?因为稍后,我需要使用正确的文件并对它们进行gzip。

$item_$unixepochtimestamp.csv.gz

我是否使用压缩功能?

仅提取某些文件,您可以将列表传递给extractall:

with zipfile.ZipFile('/tmp/DataPump_10000838.zip', 'r') as zip_ref:
lstNEW = list(filter(lambda x: not x.startswith("__MACOSX/"), zip_ref.namelist()))
zip_ref.extractall('/tmp/', members=lstNEW)

这些文件不是临时文件,而是macOS在zip文件中表示资源分支的方式,通常不支持。

最新更新