cuda_12.3.1_546.12_windows
TensorRT-8.6.1.6.Windows10.x86_64.cuda-12.0
cudnn-windows-x86_64-8.9.7.29_cuda12-archive

准备

1.安装cuda，成功之后文件夹如下图所示

2.下载cudnn，把cudnn对应的文件放在cuda里面

3.安装vs
4.安装对应cuda版本的tensorRT

https://developer.nvidia.com/tensorrt-download

5.opencv安装
编译好

打开vs，配置环境

用vs打开tensorRT中sample这个demo，双击sample_onnx_mnist.sln

打开项目选项，属性，添加include

添加lib

直接运行

遇到的问题：

解决：
debug就debug里面添加，release就在release里面添加

tensorRT的sample中，附加依赖项是这样的

kernel32.lib
user32.lib
gdi32.lib
winspool.lib
comdlg32.lib
advapi32.lib
shell32.lib
ole32.lib
oleaut32.lib
uuid.lib
odbc32.lib
odbccp32.lib
%(AdditionalDependencies)
nvinfer.lib
nvinfer_plugin.lib
nvonnxparser.lib
nvparsers.lib
cudnn.lib
cublas.lib
cudart.lib

2.需要开启很大的数组

3.量化
对onnx模型，进行量化

使用tensorRT
trtexec --onnx=yolov5s.onnx --saveEngine=model_int8.engine --int8 --fp16