在 Ksh 和 Perl 中并行执行任务的最佳方式是什么？

Question

我有一个大型C++项目，需要在没有并行make的平台上构建（比如Linux上的make-j）。服务器有6个CPU，我想手动进行并行构建。

我可以为大约300个对象文件生成这样的任务列表。我使用Makefile进行依赖性检查和增量构建：

make-f Makefile obj1.o

make-f Makefile obj2.o

make-f Makefile obj3.o…

在使用Ksh和Perl一次运行不超过6个任务的情况下，我如何并行执行这些任务？（Java或Python不可用：-（）

Answer 1

在Perl中，您应该查看Parallel:：ForkManager。你可以这样做：

my @make_obj = qw(
  obj1.o
  obj2.o
  obj3.o
  ...
);
my $fm = $pm = new Parallel::ForkManager(6);
foreach my $obj (@make_obj) {
  $fm->start and next;
  system("make -f Makefile $make_obj");
  $fm->finish();
}

Answer 2

分叉的另一种选择是在自己的线程中运行每个make。

use threads;
my $max_threads = 5;
my @targets = qw(obj1.o obj2.o obj3.o ...);
while(@targets) {
    my $num_threads = threads->list(threads::running);
    if( $num_threads < $max_threads ) {
        my $target = shift @targets;
        threads->create(sub { return system "make $target" });
    }
}

不幸的是，我在两个地方挥手。首先是让循环静态等待，直到线程结束。我相信这是通过使用线程：：shared的cond_wait（）和信号量变量来实现的。

第二个是从make中获取返回值，这样你就可以知道是否有什么东西失败了，并停止构建。要做到这一点，你必须加入（）每个线程才能获得系统（）的结果，即进程的退出代码。

很抱歉回复得太草率。希望社区能填补剩下的空缺。

Answer 3

HPUX上的gnu make没有-j标志吗？

http://hpux.connect.org.uk/hppd/hpux/Gnu/make-3.81/

Answer 4

使用GNU并行可以编写：

parallel -j6 make -f Makefile obj{}.o ::: {1..500}

10秒安装：

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

了解更多信息：http://www.gnu.org/software/parallel/parallel_tutorial.htmlhttps://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Answer 5

如果操作系统正确地处理了处理器间的通信和调度，那么只要不存在相互依赖性，就应该能够将所有的成功都投入到后台进程中。

如果它们都是独立的，我会发出一系列这样的命令：

make -f Makefile obj1.o &
make -f Makefile obj2.o &
...
make -f Makefile objn.o &

对于依赖项，请使用双符号（&&）对其进行字符串连接，这样依赖项在其"父项"完成之前不会启动。

我知道这不是你要求的解决方案，但这就是我解决问题的方法：）