一.环境配置

1.cuda/cudnn安装：

安装cuda之前首先安装vs，vs版本从低到高安装。

a) 安装cuda：首先查看显卡支持的最高CUDA的版本，以便下载对应的CUDA安装包；

cmd命令行：nvidia-smi,显示如下：最高版本为12.2，

在NVIDIA官方网站即可下载，地址为：https://developer.nvidia.com/cuda-toolkit-archive

无坑，双击exe选择安装目录即可，C盘有空间尽量C盘安装；安装完成使用nvcc -V确认安装成功

b) cudnn：cudnn版本选择对应支持的较高版本即可；下载地址：cuDNN Archive | NVIDIA Developer

c)多版本cuda：按照ab下载对应版本，安装cuda时只选择安装CUDA组件即可，之后在环境变变量path中将优先使用的cuda放置到最前面；

 

2.Pytorch，torchvision安装

使用conda创建虚拟环境，conda create -n py39 ，激活环境，activate py39

之后根据自己的环境进行安装，不要瞎搜索，根据官网的命令，地址：

https://pytorch.org/get-started/previous-versions/

选择符合自己环境的，比如1.10，按照如下命令即可。

3. TensorRT安装：

1）安装很简单，下载解压即可；下载地址：https://developer.nvidia.com/tensorrt/download

根据自己的环境进行选择，比如我选择TensorRT8.6 ，GA是稳定版本，

2）VS2019配置

此处对sampleMNIST示例进行测试，进入到D:\tensorrt_tar\TensorRT-xxxx\samples\sampleMNIST目录下，选择sample_mnist.sln文件—>右键点击打开方式—>选择Microsoft Visual Studio 2019打开文件

然后依次点击 项目—>属性—>VC++目录

将路径D:\tensorrt_tar\TensorRT-xxx\lib分别加入可执行文件目录及库目录里

将D:\tensorrt_tar\TensorRT-xxxx\include加入C/C++ —> 常规 —> 附加包含目录

将D:\tensorrt_tar\TensorRT-xxx\lib\*.lib加入链接器–>输入–>附加依赖项

有说将lib、include拷贝到cuda文件夹中，个人建议，直接配置即可；

3）进行测试

在VS2019中，将sample_mnist项目选中右键执行生成，直接运行出现以下内容表示成功运行；

二.基础知识

1.Onnx、onnxTime、wts和TensorRT

onnx和onnxTime的关系：训练模型时有不同框架，Pytroch，TensorFlow等，这样不同的框架就导致产生不同的模型结果包，在模型进行部署推理时就需要不同的依赖库，而且同一个框架不同版本之间的差异较大。为了解决这个混乱问题，LFAI联合Facebook，MicroSoft等公司指定了机器学习模型的标准，这个标准叫做Onnx，Open Neural Network Exchange,所有其他框架产生的模型包都可以转换成这个标准格式，转换成个标准格式后就可以统一使用onnx Runtime等工具进行部署，简言之，onnx用于转换格式，onnx runtime用于部署。