我刚刚用
安装了tensorboard分析器pip install -U tensorboard_plugin_profile
版本为2.3。Tensorflow-Version 2.3Tensorboard-Version 2.3cudatoolkit-Version 10.1.243
当我现在尝试在Tensorboard中打开profile - tab时,我看到Profiler-Window正常但为空,Error-Message:
DEM6561: Failed to load libcupti (is it installed and accessible?)
和警告:
No step marker observed and hence the step time is unknown. This may happen if (1) training steps are not instrumented (e.g., if you are not using Keras) or (2) the profiling duration is shorter than the step time. For (1), you need to add step instrumentation; for (2), you may try to profile longer.
我认为这与环境路径和变量有关,但我不知道它们是如何与Anaconda的虚拟环境一起工作的。(我没有可以链接到的cuda文件夹)
有人有同样的问题像我或任何想法,我可以尝试吗?谢谢吧!
首先,确保已将CUPTI设置为Path(如果您使用的是Windows,则通过环境变量),并添加如下所示的路径:
%CUDA_PATH%extrasCUPTIlib64
第二,检查Tensorflow是否正在寻找正确的CUPTI dll。我遇到了同样的问题,当我检查时,似乎TF 2.4正在寻找cupti64_110.dll而不是cupti64_2020.1.1.dll。目前这是一个已知的问题,将在TF 2.5中解决。我不确定TF 2.3是否也是如此。
我基本上通过在同一目录中复制dll并重命名它来解决问题。让我知道这是否有帮助!