1、介绍
TensorRT 可以加速神经网络的推理时间,常常在工业生产中使用
因为TensorRT需要使用到cuda和cudnn加速,所以需要安装这两个,安装的具体步骤参考前文:
YOLOV5 部署:cuda和cuDNN安装-CSDN博客
2、TensorRT 下载
TensorRT下载地址:NVIDIA TensorRT Download | NVIDIA Developer
这里我们选择TensorRT 8版本
点击同意,就会出现好多个版本,这里使用8.5版本的
这里要选择cuda对应的版本下载: