在S3中将python数据帧从AWS lambda转换为CSV

Question

我正在尝试转换一个编写python数据帧并将其存储在S3中。我在Lambda(s3fs&fsspec(中添加了所需的层，并为Lambda提供了写入s3所需的权限。但我没有得到以下错误：

"errorMessage"："模块"s3fs"没有属性"S3FileSystem"；

以下是我的代码的相关行：

s3 = boto3.client('s3')
df.to_csv('s3://buckets/<my-bukcet-name>/mydata.csv')

关于这可能是什么原因，有什么线索吗？

谨致问候，Dbeings

Answer 1

我建议不要包括这些层，而是包括亚马逊提供的AWS Data Wrangler层。

然后，您将使用AWS Data Wrangler将数据帧直接写入S3，如下所示：

import awswrangler as wr
wr.s3.to_csv(df, 's3://buckets/<my-bukcet-name>/mydata.csv', index=False)