处理没有错误代码的 bash 脚本中的 python 错误

Question

我正在运行一个python cli工具Papermill。我正在运行 jupyter 笔记本，并希望能够在运行笔记本时检测断言错误。当我从 bash 脚本运行造纸厂时，我总是得到 0 退出代码，即使笔记本中存在 python 错误也是如此。

我已经找到了检测退出代码的方法，但是python错误没有抛出任何代码

例如：在我的 nbTest.sh 中，我正在运行笔记本并查找错误

papermill python_notebooks/testing/$d python_notebooks/testing/results/$d.results.ipynb || True
if [ $? -eq 0 ]
then
echo "Successfully executed script"
else
# Redirect stdout from echo command to stderr.
echo "Script exited with error." 
fi
done

作为输出，我得到：

.
.
.
Input Notebook:  python_notebooks/testing/paperTest.ipynb
Output Notebook: python_notebooks/testing/results/paperTest.ipynb.results.ipynb
83%|████████▎ | 5/6 [00:00<00:00,  1.97it/s]
Traceback (most recent call last):
...
---------------------------------------------------------------------------
Exception encountered at "In [5]":
---------------------------------------------------------------------------
AssertionError                            Traceback (most recent call last)
<ipython-input-5-d941c6663321> in <module>()
----> 1 assert passed == False
AssertionError: 
Successfully executed script

我希望退出代码为 1，但未处理 python 故障

Answer 1

Jupyter 和造纸厂组合的部分美妙之处在于错误保留在笔记本中和它们发生的位置。这在一次运行多个 ETL 作业时非常有用。如果您还想访问笔记本外部的错误，我会从try catch内部将特定错误写入errors.txt文件。然后，脚本可以通过读取错误(如果有(来完成。

本文讨论了各种错误日志记录技术。