使用多个版本运行测试，并在Makefile中收集返回值

Question

我正在开发从Emacs-22运行到Emacs26的Emacs包，我想确认这些Emacs是否通过了测试。

但是，由于每个日志都很长，我想收集每个测试的返回值，并在最后清楚地显示出来。

我如何在Makefile中写这篇文章？要测试的Emacs列表已在ALL_EMACS_VERS中作为数组(22.123.424.525.326.1(获得，现在我正在按如下方式运行测试。

EMACS          ?= emacs
LOAD_PATH      := -L $(dir $(lastword $(MAKEFILE_LIST)))
BATCH          := $(EMACS) -Q --batch $(LOAD_PATH)
ALL_EMACS_VERS := $(shell compgen -c emacs- | grep -oP '(?<=emacs-)([0-9]|.)+' | sort | uniq)
test:
$(BATCH) -l srt-tests.el -f srt-run-tests
debug-localtest:
for ver in $(ALL_EMACS_VERS); do 
echo "===  test by emacs-$${ver}...  ==="; 
EMACS=emacs-$${ver} make test; 
done

我想获得测试通过或未通过的版本的信息，并按如下方式输出。

===  test by emacs-22.1  ===
emacs-22.1 -Q --batch -L ./ -l srt-tests.el -f srt-run-tests
Running 30 tests...
GNU Emacs 22.1.1 (mac-apple-darwin)
of 2017-10-07 on osx339.sd.apple.com
[PASSED]  simple:equal
[PASSED]  simple:=
...
===== Run 30 Tests, 29 Expected, 1 Failed, 0 Errored =====
make[1]: Leaving directory '/Users/conao/Develop/git/.dotfiles/.emacs.d/local/26.1/site-lisp/srt.el'

===  test by emacs-23.4  ===
emacs-23.4 -Q --batch -L ./ -l srt-tests.el -f srt-run-tests
Running 30 tests...
GNU Emacs 23.4.1 (x86_64-apple-darwin, NS apple-appkit-1038.36)
of 2012-01-29 on bob.porkrind.org
[PASSED]  simple:equal
[PASSED]  simple:=
...
===== Run 30 Tests, 29 Expected, 1 Failed, 0 Errored =====
make[1]: Leaving directory '/Users/conao/Develop/git/.dotfiles/.emacs.d/local/26.1/site-lisp/srt.el'
...
(Emacs 24.5, 25.3, 26.1)
...
===  localtest completed!!  ===
*FAILED* Emacs-22.1
*FAILED* Emacs-23.4
[PASSED] Emacs-24.5
*FAILED* Emacs-25.3
[PASSED] Emacs-26.1

Answer 1

问题分为两部分。第一种是为一个测试提供所需的输出。如果(正如你的问题标题所示(这取决于过程的回报值，那么这种方法就会奏效：

single-test:
(some-command && echo PASS) || echo FAIL

在您的情况下，这变成：

ARGS := -Q --batch $(LOAD_PATH) -l srt-tests.el -f srt-run-tests
test-emacs-22.1:
(emacs-22.1 $(ARGS) && echo [PASS] emacs-22.1) || echo *FAIL* emacs-22.1

第二部分是对版本列表进行迭代。我建议使用模式规则：

ALL_EMACS_VERS := 22.1 23.4 24.5 25.3 26.1
TESTS := $(addprefix test-emacs-, $(ALL_EMACS_VERS))
all-tests: $(TESTS)
test-%:
($* $(ARGS) && echo [PASS] $*) || echo *FAIL* $*

最后，如果这些过程产生了您希望抑制的输出：

test-%:
($* $(ARGS) > /dev/null && echo [PASS] $*) || echo *FAIL* $*

编辑：要在所有脚本输出后打印所有结果，最简单的方法是将它们保存在一个文件中，例如"results"：

all-tests: $(TESTS)
@cat results
@rm results
test-%:
@($* $(ARGS) && echo [PASS] $* >> results) || echo *FAIL* $* >> results