使用python和51 api上传文件到s3

Question

我正在尝试创建一个自动管道，从这个api 51获取文件并将其加载到s3。从我看到的51包只能在本地下载。

import fiftyone as fo
import fiftyone.zoo as foz
dataset = foz.load_zoo_dataset(
"open-images-v6",
split="validation",
classes=["Cat","Dog"],
max_samples=100,
label_types=["detections"],
seed=51,
dataset_name="open-images-pets"

这是我用来下载文件的代码，事情是他们在本地下载。有人对此有经验吗?怎么做?

谢谢!

Answer 1

您是对的，您共享的代码片段将从Open Images下载文件到您正在使用的任何本地机器。从这里，您可以使用boto3之类的东西将文件上传到s3。然后，您可能需要查看使用s3fs-fuse和FiftyOne的示例，以了解如何挂载这些云文件并在FiftyOne中使用它们。

在Sagemaker笔记本中直接使用FiftyOne正在开发中。

注意，FiftyOne Teams对云数据有更多的支持，提供了上传/下载到云的方法，并直接使用云对象，而不是使用s3fs-fuse。