在s3n上查询Orc文件非常慢

Question

只要我在hdfs上查询我的ORC文件，一切都很好，非常快-但是当我想查询数据时，它存储在S3上，它是疯狂的慢，查询无法完成。

我正在使用Hive 0.12我的create语句如下所示

CREATE external TABLE externalORCFiles (... , ... , ...)
STORED AS ORC 
location 's3n://...'; 

这在我看来就像有同样的问题与ORC + Presto + S3(见这里)，但我找不到类似的东西Hive

Answer 1

S3在冷库方面是一个非常好的存储空间。然而，它并不适合HDFS空间。S3数据以大约50Mbps的速度移动(可能更多或更少，但比HDFS慢得多)。你可以在速度和速度之间做出选择。成本。