我有一个PyTorch模型的docker映像，当它在debian/Tsla P4 GPU/google深度学习映像上运行的谷歌计算引擎VM内运行时返回此错误：
CUDA kernel failed : no kernel image is available for execution on the device
这发生在调用我的模型的行上。PyTorch模型包括自定义的c++扩展，我使用的是这个模型https://github.com/daveredrum/Pointnet2.ScanNet
我的映像在运行时安装这些
该映像在我的本地系统上运行良好。VM和我的系统都有以下版本：
Cuda编译工具10.1、V10.1.243
火炬1.4.0
torchvision 0.5.0
主要的区别是GPU，据我所知
本地：
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 435.21 Driver Version: 435.21 CUDA Version: 10.1 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce GTX 960M Off | 00000000:01:00.0 Off | N/A |
| N/A 36C P8 N/A / N/A | 361MiB / 2004MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
VM:
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.87.01 Driver Version: 418.87.01 CUDA Version: 10.1 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla P4 Off | 00000000:00:04.0 Off | 0 |
| N/A 42C P0 23W / 75W | 0MiB / 7611MiB | 3% Default |
如果我ssh到VMtorch.cuda.is_available()返回true
因此，我怀疑这一定与扩展的编译有关
这是我的docker文件的相关部分：
ENV CUDA_HOME "/usr/local/cuda-10.1"
ENV PATH /usr/local/nvidia/bin:/usr/local/cuda-10.1/bin:${PATH}
ENV NVIDIA_VISIBLE_DEVICES all
ENV NVIDIA_DRIVER_CAPABILITIES compute,utility
ENV NVIDIA_REQUIRE_CUDA "cuda>=10.1 brand=tesla,driver>=384,driver<385 brand=tesla,driver>=396,driver<397 brand=tesla,driver>=410,driver<411 brand=tesla,driver>=418,driver<419"
ENV FORCE_CUDA=1
# CUDA 10.1-specific steps
RUN conda install -c open3d-admin open3d
RUN conda install -y -c pytorch
cudatoolkit=10.1
"pytorch=1.4.0=py3.6_cuda10.1.243_cudnn7.6.3_0"
"torchvision=0.5.0=py36_cu101"
&& conda clean -ya
RUN pip install -r requirements.txt
RUN pip install flask
RUN pip install plyfile
RUN pip install scipy
# Install OpenCV3 Python bindings
RUN sudo apt-get update && sudo apt-get install -y --no-install-recommends
libgtk2.0-0
libcanberra-gtk-module
libgl1-mesa-glx
&& sudo rm -rf /var/lib/apt/lists/*
RUN dir
RUN cd pointnet2 && python setup.py install
RUN cd ..
我已经在VM中从ssh重新运行了这一行：
TORCH_CUDA_ARCH_LIST="6.0 6.1 7.0" python setup.py install
我认为哪个是针对特斯拉P4计算能力的安装？
我是否可以尝试其他设置或故障排除步骤？
直到几天前，我才对docker/VM/pytorch扩展一无所知，所以有点在黑暗中拍摄。这也是我的第一篇博客，如果我没有遵守一些礼仪，我很抱歉，请随意指出。
我最终通过手动删除包含setup.py 的文件夹中除"src"外的所有文件夹来解决这个问题
然后重建docker镜像
然后，在构建映像时，我运行TORCH_CUDA_ARCH_LIST="6.1" python setup.py install，以在VM 上安装针对GPU正确计算能力的cuda扩展
它成功了！
我想仅仅运行setup.py而不删除以前安装的文件夹并不能完全覆盖扩展