我正在寻找使用AWS Glue从数据源摄取数据到s3。
是否有可能将摄取的数据在glue中压缩到指定值?例如:将数据压缩到500 MB，并能够根据提供的压缩值对数据进行分区?如果是，如何启用?我正在用Python编写glue脚本。
压缩&分组是类似的术语。压缩发生在拼木地板输出上。但是，您可以使用'groupSize': '31457280' (30mb)来指定输出文件的动态帧的大小(并且是默认的输出大小)(至少其中大多数，最后一个文件将是剩余的)。此外，您还需要小心/利用Glue CPU的类型和数量。如最大容量10，工人类型标准。G.2X倾向于创建太多的小文件(这将/完全取决于您的情况/输入)。如果你什么都不做，只是读取许多小文件，并在一个大的组中不加修改地写入它们，它们将被"默认压缩/组";进入"groupsize"。如果您希望看到文件写入大小的大幅减少，那么将输出格式设置为parquet。glueContext。create_dynamic_frame_from_options(connection_type =" s3"， format="json"，connection_options = {"paths" "s3://yourbucketname/folder_name/21%/01/"]， recurse':True， 'groupFiles':'inPartition'， 'groupSize': '31457280'})