Foundry Data Connection中的源"S3(通过Hadoop)"和"S3(直接)"有什么区别?



Foundry Data Connection中可用的两个S3源选项之间有什么区别?

  • S3(通过Hadoop(
  • S3(直接(

摄入镶木地板文件是首选吗?

Hadoop的S3是目前测试最好、最灵活的S3选项,但对大量文件的性能非常差。

S3 Direct是使用Amazon S3 SDK直接从S3中读取的,它的性能明显优于Hadoop,因为它需要O(1)而不是O(number of files)网络调用。

我们建议尽可能使用S3直接源。

最新更新