Xargs:并行运行 3 个单独的 xargs 命令

Question

我有以下 3 个命令（每个命令都包含 xarg 和并行进程），我想并行运行。

1. ls filenames_for_bld*_all | xargs -i bash -c 'calculateMd5Sums "$@"' _ {}
2. cat filenames_for_bld*_all | awk -F'|' '{print $2}' | xargs -n 1 -P 10 -I {} remotecmd -q -n server1 md5sum {} 2>/dev/null| tee -a ${dir}/md5sums_for_server1
3. cat filenames_for_bld*_all | awk -F'|' '{print $2}' | xargs -n 1 -P 23 -I {} remotecmd -q -n server2 md5sum {} 2>/dev/null | tee -a ${dir}/md5sums_for_server2

每个 xargs 命令在不同的服务器上运行多个进程。因此，1 在服务器 1-5 上运行，2 在服务器 6 上运行，3 在服务器 7 上运行。

是否可以并行运行上述所有 3 个？

在上面使用 xarg 会很好。我正在考虑将上面的 3 设置为字符串 xargsInput，用换行符分隔，然后......

echo $xargsInput | xargs -n 1 -P 3 -I {} sh -c {}

但是，这有一些错误：

ls: xargs: No such file or directory
ls: bash: No such file or directory
ls: calculateMd5Sums: No such file or directory
ls: 20140107: No such file or directory
ls: _: No such file or directory
ls: {}: No such file or directory

Answer 1

只需在每行后添加一个&，并在末尾添加一个wait以等待它们全部完成：

ls filenames_for_bld*_all | xargs -i bash -c 'calculateMd5Sums "$@"' _ {} &
cat filenames_for_bld*_all | awk -F'|' '{print $2}' | xargs -n 1 -P 10 -I {} remotecmd -q -n server1 md5sum {} 2>/dev/null| tee -a ${dir}/md5sums_for_server1 &
cat filenames_for_bld*_all | awk -F'|' '{print $2}' | xargs -n 1 -P 23 -I {} remotecmd -q -n server2 md5sum {} 2>/dev/null | tee -a ${dir}/md5sums_for_server2 &
wait

这适用于所有不需要交互的单独 shell 命令。