我在Alluxio上执行Presto查询时遇到此错误。这个超时意味着什么?我该如何修复它?
com.facebook.presto.spi.PrestoException:打开配置单元拆分时出错alluxio://xxxxx:19998/s3/data/m-00020(偏移=134217728,length=67108864(使用org.apache.hadoop.mapred.TextInputFormat:从[id:0x23615709,L:/xxxxx:34740读取3996328152超时-R: xxxxxxxxxx:29999]
Alluxio工作程序向客户端提供数据的时间过长(可通过alluxio.user.network.netty.timeout
配置(时,您将收到此错误。
一个简单的解决方法是增加超时时间。
然而,这通常是工人在某种程度上超负荷工作的症状。在您的设置中要检查的常见事项:
- Alluxio工作负载,如果您的计算机位于同一位置并且没有资源管理,则可能会出现问题
- Alluxio worker的文件系统负载/带宽不足,这通常是对象存储等远程存储的瓶颈
如果这些都是瓶颈,您可以尝试降低并发性或增加集群中的节点数量。