如何用GNU Parallel运行两个不同输入的命令

Question

我有两个程序，它们有不同的建议，它们的名称如下:

./FolderCounter <PATH TO FOLDER> traceX
./VideoCounter <PATH TO VIDEO> traceY

运行这些应用程序，我有以下命令与GNU并行:

parallel ./FolderCounter {} trace3 ::: $(cat PatinN_files.txt) &> data_output/Result_PatinN_files.txt
parallel ./FolderCounter {} trace5 ::: $(cat PatinS_files.txt) &> data_output/Result_PatinS_files.txt
parallel ./VideoCounter  {} trace3 ::: $(cat PatinN_videos.txt) &> data_output/Result_PatinN_video.txt
parallel ./VideoCounter  {} trace5 ::: $(cat PatinS_videos.txt) &> data_output/Result_PatinS_video.txt

我的目标是将这四行合并成一个GNU并行命令，以便它可以更好地管理并行作业的数量，并在有处理器可用时立即启动下一批文件。

我该怎么做呢?

Answer 1

第一:不要这样做:

parallel ... ::: $(cat foo)

:

parallel ... :::: foo

在大多数情况下，这将做你想要的，而第一个可能会导致问题，如果它包含有空格的行。

我假设PatinN_files.txt具有与PatinN_videos.txt相同的行数。

通常我会执行两次运行:trace3-run和trace5 run:

parallel ./FolderCounter {1} trace3 ";" ./VideoCounter {2} trace3  ::::+ PatinN_files.txt PatinN_videos.txt &> data_output/Result_PatinN.txt
parallel ./FolderCounter {1} trace5 ";" ./VideoCounter {2} trace5  ::::+ PatinS_files.txt PatinS_videos.txt &> data_output/Result_PatinS.txt

或者您可以简单地使用GNU Parallel首先生成所有要运行的命令，然后运行它们(这不要求文本文件具有相同的行数):

(
 parallel --dry-run ./FolderCounter {} trace3 :::: PatinN_files.txt
 parallel --dry-run ./FolderCounter {} trace5 :::: PatinS_files.txt
 parallel --dry-run ./VideoCounter  {} trace3 :::: PatinN_videos.txt
 parallel --dry-run ./VideoCounter  {} trace5 :::: PatinS_videos.txt
) | parallel &> data_output/Result.txt

要跟踪哪个输入生成什么输出，使用:

) | parallel --tag &> data_output/Result.txt

将日志输出放到4个不同的文件中有点困难。如果确实需要的话，也可以这样做，但不如上面那样优雅。

如果您只是想在有空闲cpu时运行作业，您可以使用--load 100%:

parallel --load 100% ./FolderCounter {} trace3 ::: $(cat PatinN_files.txt) &> data_output/Result_PatinN_files.txt &
parallel --load 100% ./FolderCounter {} trace5 ::: $(cat PatinS_files.txt) &> data_output/Result_PatinS_files.txt &
parallel --load 100% ./VideoCounter  {} trace3 ::: $(cat PatinN_videos.txt) &> data_output/Result_PatinN_video.txt &
parallel --load 100% ./VideoCounter  {} trace5 ::: $(cat PatinS_videos.txt) &> data_output/Result_PatinS_video.txt &
wait

如果即时负载小于cpu数量，则会启动作业。