every blog every motto: You can do more than you think.
https://blog.csdn.net/weixin_39190382?type=blog

0. 前言

onnxruntime-gpu无法使用

1. 正文

CUDA版本：12.1

nvcc -V

CUDNN的版本

cat /usr/include/cudnn_version.h |grep CUDNN_MAJOR -A 2

说明: 可能刚安装了8.9.2没有重启，暂时还每显示

根据这个链接https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html

原本安装的是1.17，但是onnxruntime-gpu版本无法使用，

本来想把CUDA12.1升级为12.2（还每来得急做）；CUDNN降级为8.9.2（下载了cudnn，复制了文件到对应的文件夹中，可能由于笔者没有重新启动，所以上面的版本查看还是之前的）

无意中看到后面参考文献中的文章，说不能使用pip install 安装onnxruntime和onnxruntime-gpu，故卸载这两个，然后

pip install onnxruntime-gpu --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/

安装完以后gpu可以用了。

参考

1. https://blog.csdn.net/weixin_44212848/article/details/136867538#:~:text=%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%EF%BC%9A%20%E6%A0%B9%E6%8D%AE%E6%8A%A5%E9%94%99%E6%8F%90%E4%BE%9B%E7%9A%84%E9%93%BE%E6%8E%A5%20https%3A%2F%2Fonnxruntime.ai%2Fdocs%2Fexecution-providers%2F%20CUDA%20-ExecutionProvider.html%20%E6%9F%A5%E6%89%BE%E5%AF%B9%E5%BA%94%E7%9A%84%20ONNX%20Runtime%EF%BC%8CCUDA,%E7%89%88%E6%9C%AC%EF%BC%8C%E6%88%91%E8%BF%99%E9%87%8C%E6%98%AF%20ONNX%20Runtime%201.17%EF%BC%8CCUDA%2012.2%20%E5%92%8C%20cuDNN%208.9.2