我正在尝试使用AWS Lambda将多个小JSON文件(大约500000个400-500字节大小的文件，不再容易更改(合并为一个大CSV文件。我有一份工作是这样的：
- 使用s3.listobjects((获取密钥
- 使用s3.getObject((获取每个JSON文件(有更好的方法吗？(
- 在内存中创建一个CSV文件(在nodejs中最好的方法是什么？(
- 在S3中上传该文件
我很想知道是否有更好的方法。谢谢
我建议使用亚马逊雅典娜。
它允许您同时在多个数据文件(包括JSON(上运行SQL命令，并可以通过从查询结果创建表(CTAS(-Amazon Athena创建输出文件。