当我使用Distcp工具通过不同的集群复制文件时,我发现了一些后缀为__distcpSplit__
的不寻常文件。这是什么?原始文件没有这样的后缀。我还注意到源文件是由其他进程打开的,但是为什么会出现这种结果呢?
如果传入参数blocksPerChunk>0,它会将大文件分成多个块,每个大小为blockSize * blocksPerChunk,当distcp完成时,输出提交器会在提交阶段将这些文件连接到最终目标文件。