安装TensorRT
安装可以查看官方文档:Installation Guide :: NVIDIA Deep Learning TensorRT DocumentationThis NVIDIA TensorRT 8.5.1 Installation Guide provides the installation requirements, a list of what is included in the TensorRT package, and step-by-step instructions for installing TensorRT.https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html
查看Cuda 与Cudnn版本
在安装之前,一定要确认好自己所使用的CUDA、CUDNN和python的版本,因为这关系着tensorrt的版本。例如作者本人就因为版本问题重复安装了很多次,虚拟环境都搭建好了但是最后发现下载的tensorrt没有对应的python版本。
nvcc -V
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
测试时cudnn安装的是11.4,执行cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 无法查看到版本号,但并没有影响到下面的安装步骤
下载TensorRT
选择TensorRT 8.2 EA for Linux x86_64 and CUDA 11.0, CUDA 11.1, CUDA 11.2, 11.3 and 11.4 TAR Package就好了,不用管什么系统
有EA和GA版本,我选择EA 因为Early Access的意思
安装TensorRT
解压 tar xzvf TensorRT-8.2.0.6.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz
解压得到TensorRT-6.0.1.5的文件夹,将里边的lib绝对路径添加到环境变量中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxxxx/TensorRT-6.0.1.5/lib
# xxx为你自己的目录
# 如果手动添加到.bashrc文件中,需要执行source .bashrc命令,配好的环境才能生效
安装TensorRT
cd TensorRT-6.0.1.5/python
pip install tensorrt-6.0.1.5-cp37-none-linux_x86_64.whl
# python环境并没有限制,py35,py36,py37都可
安装UFF,支持tensorflow模型转化
cd TensorRT-6.0.1.5/uff
pip install uff-0.6.5-py2.py3-none-any.whl
安装graphsurgeon,支持自定义结构
cd TensorRT-6.0.1.5/graphsurgeon
pip install graphsurgeon-0.4.1-py2.py3-none-any.whl
检验
以上,我们就成功的将tensorRT安装完了,试着执行一下python,然后看能不能导入这些模块。
如果成功的import tensorrt
,那么就算安装成功咯。