最佳方法-监控数据收集器脚本(Python)



我们维护了15个用Python编写的数据收集器,每个数据收集器收集数据,执行一些操作,并将这些数据(REST API(发送到一些数据源。

这些收集器在我们的环境中作为cron作业运行,我们正在寻找一种方法来监控它们的运行。

你认为监控的最佳方法是什么?我们想知道每个收集器是否都成功地完成了运行,如果没有,原因是什么。

我们应该使用詹金斯服务器吗?并为这些脚本编写管道?我们应该使用Github操作吗?

任何其他建议都很好。

我会设置cron作业,将其输出(cf(记录到/var/your-project-name/collector-xy.log
然后创建一个脚本,该脚本连接到运行数据收集器的计算机,并获取大约15个文件(可以像单个scp一样简单(
现在这些文件在本地可用,请检查它们的内容以查找";运行成功";或";运行失败,因为&";,或者您决定用来指示数据收集器工作成功与否的任何东西(可以简单到一个grep(。

你可以自己在电脑上运行这个脚本,你可以创建一个Jenkins作业来运行它并采取相应的行动。。。无论什么