我正在使用Hive从S3加载一些文本文件。目前,结构如下:
bucket/dir/id/text_files
问题是<id>
目录没有Hive似乎喜欢加载分区的"user=id"格式。通常,如果目录是 bucket/dir/user=id,我可以这样做:
CREATE EXTERNAL TABLE IF NOT EXISTS table1 (
data STRING
) PARTITIONED BY (user STRING)
LOCATION 'bucket/dir';
但是,由于我没有正确的分区目录格式,我将如何做同样的事情,也就是说,我想有一个名为 user 的分区并使其等于那里已有的 id?
谢谢你的帮助。
我希望这对你有用。
load data inpath 'bucket/dir/user=id' overwrite into table table1 partition(user='id');