使用气流在s3中的桶内移动文件

Question

我有一个自定义的气流操作符，它只是复制同一桶内的s3文件列表

for src, list in move_list:
s3_hook.copy_object(
source_bucket_key=src,
dest_bucket_key=dest,
source_bucket_name=self.bucket_name,
dest_bucket_name=self.bucket_name
)

这是疯狂的慢…800个左右文件耗时约8分钟。相比之下，当我运行像aws s3 cp {src} {dest} --recursive这样的东西时，它是闪电般的快。

以前有人经历过这种情况吗?有没有办法加快速度，或者有没有办法直接使用cli ?

Answer 1

可以使用BashOperator或PythonOperator来执行CLI命令。我不认为它与气流有关，但与boto3有关，AWS python库