测量 Linux 上的峰值 nvidia GPU 内存使用量

Question

要测量我的程序当前使用的GPU内存，我可以使用以下命令（ubuntu linux，nvidia GPU）：

while true; do nvidia-smi --query-gpu=memory.used --format=csv; sleep .5; done|grep -v memory

它将定期输出如下值：

70 MiB
74 MiB
75 MiB
76 MiB
77 MiB
77 MiB
70 MiB

是否可以修改命令以始终显示最大值而不是最新版本？

（如果可能的话，仅以 bash 的方式）

Answer 1

不确定，但你可以像这样试一试。

a=0
while true; do 
b=$(nvidia-smi --query-gpu=memory.used --format=csv|grep -v memory|awk '{print $1}')
[ $b -gt $a ] && a=$b && echo $a 
sleep .5
done

Answer 2

运行以下命令，并将替换为有问题的 gpu。您可以通过运行nvidia-smi来获得gpu_id

nvidia-smi --query-gpu=memory.used --format=csv -i <gpu-id> -l 1