IOError:随机关闭失败:内部:RPC 错误:IO 错误:/var/shuffle/sorted-dataset-1

Question

我正在尝试处理在bz2中压缩的~600个xml文件，每个文件的范围从200MB到2GB。

我按照标题中的指示遇到了错误。我看到了两年前发布的关于堆栈溢出的问题。答案指向不再存在的常见问题解答问题。答案建议使用自动缩放，但是当作业失败时我已经在使用它。

还有其他方法可以解决此问题吗？

我的工作ID是2019-07-14_13_04_05-9369076338245857803。

谢谢。

Answer 1

尝试以下几个项目：

使用管道参数增加辅助角色使用的磁盘大小

磁盘大小国标

另一种选择是利用随机播放服务的详细信息，可以在此处找到：

数据流随机播放服务

有关随机播放服务优势的更多详细信息，请参阅此博客：

博客

请注意使用这些选项的价格注意事项：

定价