使用s3路径的子字符串进行分区

Question

我们有一个s3 bucket，它包含以下格式的文件：

6ugdasznp56o_2020-09-04T140000_6081c358e0417bdd81284b0cf7a6b321_2853a9.csv.gz

是否可以将storage.location.template定义如下：

6ugdasznp56o_${year}-${month}-${date}T${hour}0000_6081c358e0417bdd81284b0cf7a6b321_2853a9.csv.gz

在这个s3存储桶中对我的文件进行分区？

Answer 1

分区不能发生在文件级别，只能发生在文件夹结构上，另请参阅AmazonS3中的表位置：

不要使用以下任何项目为数据指定LOCATION。

• 不要使用文件名、下划线、通配符或glob模式来指定文件位置

不起作用的示例：

...
s3://path_to_bucket/mySpecialFile.dat
s3://bucketname/prefix/filename.csv
...