在EMR上，我使用spark在parquet中创建了一个数据集，并将其存储在S3上。我目前能够创建一个外部表并使用hive查询它，但是当我尝试使用presto执行相同的查询时，我获得了一个错误(每次运行时引用的部分发生了变化)。
2016-11-13T13:11:15.165Z ERROR remote-task-callback-36 com.facebook.presto.execution.StageStateMachine Stage 20161113_131114_00004_yp8y5.1 failed
com.facebook.presto.spi.PrestoException: Error opening Hive split s3://my_bucket/my_table/part-r-00013-b17b4495-f407-49e0-9d15-41bb0b68c605.snappy.parquet (offset=1100508800, length=68781800): null
at com.facebook.presto.hive.parquet.ParquetHiveRecordCursor.createParquetRecordReader(ParquetHiveRecordCursor.java:475)
at com.facebook.presto.hive.parquet.ParquetHiveRecordCursor.<init>(ParquetHiveRecordCursor.java:247)
at com.facebook.presto.hive.parquet.ParquetRecordCursorProvider.createHiveRecordCursor(ParquetRecordCursorProvider.java:96)
at com.facebook.presto.hive.HivePageSourceProvider.getHiveRecordCursor(HivePageSourceProvider.java:129)
at com.facebook.presto.hive.HivePageSourceProvider.createPageSource(HivePageSourceProvider.java:107)
at com.facebook.presto.spi.connector.classloader.ClassLoaderSafeConnectorPageSourceProvider.createPageSource(ClassLoaderSafeConnectorPageSourceProvider.java:44)
at com.facebook.presto.split.PageSourceManager.createPageSource(PageSourceManager.java:48)
at com.facebook.presto.operator.TableScanOperator.createSourceIfNecessary(TableScanOperator.java:268)
at com.facebook.presto.operator.TableScanOperator.isFinished(TableScanOperator.java:210)
at com.facebook.presto.operator.Driver.processInternal(Driver.java:375)
at com.facebook.presto.operator.Driver.processFor(Driver.java:301)
at com.facebook.presto.execution.SqlTaskExecution$DriverSplitRunner.processFor(SqlTaskExecution.java:622)
at com.facebook.presto.execution.TaskExecutor$PrioritizedSplitRunner.process(TaskExecutor.java:529)
at com.facebook.presto.execution.TaskExecutor$Runner.run(TaskExecutor.java:665)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.io.EOFException
at java.io.DataInputStream.readFully(DataInputStream.java:197)
at java.io.DataInputStream.readFully(DataInputStream.java:169)
at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:420)
at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:385)
at com.facebook.presto.hive.parquet.ParquetHiveRecordCursor.lambda$createParquetRecordReader$0(ParquetHiveRecordCursor.java:416)
at com.facebook.presto.hive.authentication.NoHdfsAuthentication.doAs(NoHdfsAuthentication.java:23)
at com.facebook.presto.hive.HdfsEnvironment.doAs(HdfsEnvironment.java:76)
at com.facebook.presto.hive.parquet.ParquetHiveRecordCursor.createParquetRecordReader(ParquetHiveRecordCursor.java:416)
... 16 more
拼花位置由128个部分组成—数据存储在S3上，并使用KMS的客户端加密进行加密。Presto使用一个自定义的加密材料提供程序(使用Presto .s3.encryption-materials-provider指定)，它只返回一个用我的主密钥初始化的KMSEncryptionMaterials对象。我使用EMR 5.1.0 (Hive 2.1.0, Spark 2.0.1, Presto 0.152.3)。
关闭加密时是否会出现这种情况?
有一个针对ASF 3a客户端(而不是EMR客户端)的bug报告，当文件系统列出的长度!=实际文件长度时，事情就会中断。也就是说:由于加密，list中的文件长度大于read中的文件长度。
我们无法在测试中重现这一点，我们的结论是"文件系统不能这样做"(实际上，这是Hadoop FS规范的基本要求:列出的长度必须等于实际长度)。如果EMR代码弄错了，那么是它们的驱动程序中的某些东西不能期望下游代码处理