我正在尝试使用 AWS Lambda 从 S3 读取.gz文件。
当我尝试使用 gzip 解压缩文件时,我收到 OSError:不是 gzip 文件 (b'PK'( 错误。
这是代码...
retr = s3_client.get_object(Bucket=bucket, Key=key)
print(retr)
bytestream = BytesIO(retr['Body'].read())
print(bytestream)
got_text = GzipFile(mode='rb', fileobj=bytestream).read().decode('utf-8')
print(got_text)
这是 retr 文件的响应。
{
'ResponseMetadata':{
'RequestId':'aklsfjdlskfj',
'HostId':'kajsdfhdkjfh/+r+i0OLx/adlksfjd/aksfh=',
'HTTPStatusCode':200,
'HTTPHeaders':{
'x-amz-id-2':'alsdkfjslkfjsalfjflkj/+r+i0OLx/asklfjslk/r9eTM=',
'x-amz-request-id':'hgfhgf',
'date':'Sun, 21 Jan 2018 08:35:28 GMT',
'last-modified':'Sun, 21 Jan 2018 08:32:34 GMT',
'etag':'"aksjdfhdskjfhfkjhf"',
'accept-ranges':'bytes',
'content-type':'application/x-gzip',
'content-length':'2825',
'server':'AmazonS3'
},
'RetryAttempts':0
},
'AcceptRanges':'bytes',
'LastModified':datetime.datetime(2018,
1,
21,
8,
32,
34,
tzinfo=tzutc()),
'ContentLength':2825,
'ETag':'"akjsfhksdjfhsdkfj"',
'ContentType':'application/x-gzip',
'Metadata':{
},
'Body':<botocore.response.StreamingBody object at adsfdsf08>
}
如何解压缩该.gz文件? 我想解压缩它并读取该.gz文件中的.txt文件。谁能指导我?
您尝试解压缩的文件不是 gzip 文件。 这是一个 ZIP 文件。
以下是我尝试使用 Python gzip 模块解压缩 ZIP 文件的原因:
Python 3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:04:45) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import gzip
>>> with gzip.open("ResultList_example2.zip", "rb") as f: data = f.read()
...
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:Python36libgzip.py", line 276, in read
return self._buffer.read(size)
File "C:Python36libgzip.py", line 463, in read
if not self._read_gzip_header():
File "C:Python36libgzip.py", line 411, in _read_gzip_header
raise OSError('Not a gzipped file (%r)' % magic)
OSError: Not a gzipped file (b'PK')
您将需要使用 zipfile 模块。
我正在上传一个损坏的.gz文件。代码很好,现在运行良好。
首先确保其.gz或.zip(如果.zip(,而不是gzip
使用 zipfile
。
import zipfile
Fileobj=zipfile.ZipFile(....)
这对我有用AWS Lambda