我查看了Hub——人工智能的数据集格式——并注意到Hub与GCP和AWS集成。我想知道它是否也支持与MinIO的集成。
我知道Hub允许您将数据集从云存储直接流式传输到ML工作流，但我不确定它与哪些ML工作流集成。
我想在S3上使用MinIO，因为我的团队有一个自托管的MinIO实例(也就是说它是免费的(。
Hub允许您从任何地方加载数据。Hub在本地工作，在谷歌云、MinIO、AWS以及Activeloop存储上工作(不需要服务器！(。因此，它允许您加载数据，并将数据集从云存储直接流式传输到ML工作流。
您可以在Hub文档中找到有关存储身份验证的更多信息。
然后，Hub允许您通过简单的数据集集成将数据流传输到PyTorch或TensorFlow，就像数据是本地的一样，因为您可以将Hub数据集连接到ML框架。