使用Presto阅读Alluxio时频道关闭



我在Alluxio上运行Presto查询时遇到了这个堆栈跟踪。有时我的查询能够成功,但有时会因为这个错误而失败。这意味着什么,我该如何修复它?

com.facebook.presto.spi.PrestoException:打开配置单元拆分时出错alluxio://xxxxx:19998/s3/data/m-00025(偏移量=100663296,长度=53990296(使用org.apache.hadoop.mapred.文本输入格式:通道[id:0xfa748b02,L:/xxxxx:34874!R:xxxxx/xxxxxx:22999]关闭。网址:com.facebook.presto.hive.HiveUtil.createRecordReader(HiveUtil.java:219(网址:com.facebook.presto.hive.GenericHiveRecordCursorProviderLambda$createRecordCursor$0(GenericHiveRecordCursorProvider.java:71(网址:com.facebook.presto.hive.authentication.NoHdfsAuthentication.doAs(NoHdfsAauthentication.java:23(网址:com.facebook.presto.hive.HdfsEnvironment.doAs(HdfsEnvironment.java:80(网址:com.facebook.presto.hive.GenericHiveRecordCursorProvider.createRecordCursor(GenericHiveRecordCursorProvider.java:70(网址:com.facebook.presto.hive.HivePageSourceProvider.createHivePageSource(HivePageSourceProvider.java:183(网址:com.facebook.presto.hive.HivePageSourceProvider.createPageSource(HivePageSourceProvider.java:93(网址:com.facebook.pressto.spi.connecter.classloader.ClassLoaderSafeConnectorPageSourceProvider.createPageSource(ClassLoaderSecurityConnectorPageSource Provider.java:44(网址:com.facebook.presto.split.PageSourceManager.createPageSource(PageSourceManager.java:56(网址:com.facebook.pressto.operator.ScanFilterAndProjectOperator.getOutput(ScanFilterAndProjectOperationr.java:216(网址:com.facebook.pressto.operator.Driver.processInternal(Driver.java:379(网址:com.facebook.pressto.operator.DriverLambda$processFor$8(Driver.java:283(网址:com.facebook.pressto.operator.Driver.tryWithLock(Driver.java:675(网址:com.facebook.pressto.operator.Driver.processFor(Driver.java:276(网址:com.facebook.presto.execution.SqlTaskExecution$DriverSplitRunner.processFor(SqlTaskExecution.java:1053(网址:com.facebook.presto.execution.executor.PrioritedSplitRunner.process(PrioritedsplitRunner.java:162(网址:com.facebook.presto.execution.executor.TaskExecutor$TaskRunner.run(TaskExecutor.java:456(位于java.util.concurrent.ThreadPoolExecutiator.runWorker(ThreadPoolExecutiator.java:1149(位于java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624(在java.lang.Thread.run(线程.java:748(由:java.io.io异常引起:通道[id:0xfa748b02,L:/xxxxx:34874!R:xxxxx/xxxxxx:22999]关闭。位于alluxio.client.block.stream.NettyPacketReader$PacketReadHandler.channelUnregistered(NettyPacket Reader.java:314(位于alluxio.core.client.runtime.io.netty.channe.AbstractChannelHandlerContent.invokeChannelUnregistered(AbstractChannelHandlerContext.java:176(

这意味着Alluxio客户端(Presto(和AlluxioWorker之间的连接意外关闭。

通常,这是由于客户端上的GC长时间暂停造成的。Alluxio客户端定期在连接上发送保持活动,但这可能会被完整的GC延迟(直到工作人员关闭连接(。

您可以通过将Java选项-XX:+PrintGCDetails-Xloggc:<file name here>添加到Presto守护进程来验证是否存在GC压力。

相关内容

  • 没有找到相关文章

最新更新