从Alluxio读取超时



我在Alluxio上执行Presto查询时遇到此错误。这个超时意味着什么?我该如何修复它?

com.facebook.presto.spi.PrestoException:打开配置单元拆分时出错alluxio://xxxxx:19998/s3/data/m-00020(偏移=134217728,length=67108864(使用org.apache.hadoop.mapred.TextInputFormat:从[id:0x23615709,L:/xxxxx:34740读取3996328152超时-R: xxxxxxxxxx:29999]

Alluxio工作程序向客户端提供数据的时间过长(可通过alluxio.user.network.netty.timeout配置(时,您将收到此错误。

一个简单的解决方法是增加超时时间。

然而,这通常是工人在某种程度上超负荷工作的症状。在您的设置中要检查的常见事项:

  1. Alluxio工作负载,如果您的计算机位于同一位置并且没有资源管理,则可能会出现问题
  2. Alluxio worker的文件系统负载/带宽不足,这通常是对象存储等远程存储的瓶颈

如果这些都是瓶颈,您可以尝试降低并发性或增加集群中的节点数量。

相关内容

  • 没有找到相关文章

最新更新