前言

杜老师推出的 tensorRT从零起步高性能部署 课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

本次课程学习精简 CUDA 教程-Runtime API 概述

课程大纲可看下面的思维导图

1. Runtime API概述

对于 Runtime API 你需要知道：

1. 对于 runtime API，与 driver 最大区别是懒加载
2. 即，第一个 runtime API 调用时，会进行 cuInit 初始化，避免驱动 api 的初始化窘境
3. 即，第一个需要 context 的 API 调用时，会进行 context 关联并创建 context 和设置当前 context，调用 cuDevicePrimaryCtxRetain 实现
4. 绝大部分 api 需要 context，例如查询当前显卡名称、参数、内存分配、释放等

Runtime API 所处位置如下图所示

图1-1 Runtime API位置

对于 Runtime API 你还需要知道：

1. CUDA Runtime 是封装了 CUDA Driver 的高级别更友好的 API
2. 使用 cuDevicePrimaryCtxRetain 为每个设备设置 context，不再手工管理 context，并且不提供直接管理 context 的 API（可 Driver API 管理，通常不需要）
3. 可以更友好的执行核函数，.cpp 可以与 .cu 文件无缝对接
4. 对应 cuda_runtime.h 和 libcudart.so
5. runtime api 随 cuda toolkit 发布
6. 主要知识点是核函数的使用、线程束布局、内存模型、流的使用
7. 主要实现归纳求和、仿射变换、矩阵乘法、模型后处理，就可以解决绝大部分问题

总结

本次课程是关于 Runtime API 的概述，它是 Driver API 更高级的封装，可自动管理 context 的创建，对于 Runtime API 我们需要知道核函数、线程束、内存模型以及流的使用。而案例方面需要掌握仿射变换、模型预处理、模型后处理部分。
内存模型以及流的使用。而案例方面需要掌握仿射变换、模型预处理、模型后处理部分。