目录
- 前言
- 1. hello-cuda
- 总结
前言
杜老师推出的 tensorRT从零起步高性能部署 课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
本次课程学习精简 CUDA 教程-第一个运行时程序，hello-cuda
课程大纲可看下面的思维导图
1. hello-cuda
我们来开始写第一个 runtime API 的程序
根据 Driver API 的错误代码处理，同样我们也提出了 runtime API 的错误处理
#define checkRuntime(op) __check_cuda_runtime((op), #op, __FILE__, __LINE__)
bool __check_cuda_runtime(cudaError_t code, const char* op, const char* file, int line){
if(code != cudaSuccess){
const char* err_name = cudaGetErrorName(code);
const char* err_message = cudaGetErrorString(code);
printf("runtime error %s:%d %s failed. \n code = %s, message = %s\n", file, line, op, err_name, err_message);
return false;
}
return true;
}
第一个完整的调用 runtime API 的程序示例代码如下：
// CUDA运行时头文件
#include <cuda_runtime.h>
// CUDA驱动头文件
#include <cuda.h>
#include <stdio.h>
#include <string.h>
#define checkRuntime(op) __check_cuda_runtime((op), #op, __FILE__, __LINE__)
bool __check_cuda_runtime(cudaError_t code, const char* op, const char* file, int line){
if(code != cudaSuccess){
const char* err_name = cudaGetErrorName(code);
const char* err_message = cudaGetErrorString(code);
printf("runtime error %s:%d %s failed. \n code = %s, message = %s\n", file, line, op, err_name, err_message);
return false;
}
return true;
}
int main(){
CUcontext context = nullptr;
cuCtxGetCurrent(&context);
printf("Current context = %p，当前无context\n", context);
// cuda runtime是以cuda为基准开发的运行时库
// cuda runtime所使用的CUcontext是基于cuDevicePrimaryCtxRetain函数获取的
// 即，cuDevicePrimaryCtxRetain会为每个设备关联一个context，通过cuDevicePrimaryCtxRetain函数可以获取到
// 而context初始化的时机是懒加载模式，即当你调用一个runtime api时，会触发创建动作
// 也因此，避免了cu驱动级别的init和destroy操作。使得api的调用更加容易
int device_count = 0;
checkRuntime(cudaGetDeviceCount(&device_count));
printf("device_count = %d\n", device_count);
// 取而代之，是使用setdevice来控制当前上下文，当你要使用不同设备时
// 使用不同的device id
// 注意，context是线程内作用的，其他线程不相关的, 一个线程一个context stack
int device_id = 0;
printf("set current device to : %d，这个API依赖CUcontext，触发创建并设置\n", device_id);
checkRuntime(cudaSetDevice(device_id));
// 注意，是由于set device函数是“第一个执行的需要context的函数”，所以他会执行cuDevicePrimaryCtxRetain
// 并设置当前context，这一切都是默认执行的。注意：cudaGetDeviceCount是一个不需要context的函数
// 你可以认为绝大部分runtime api都是需要context的，所以第一个执行的cuda runtime函数，会创建context并设置上下文
cuCtxGetCurrent(&context);
printf("SetDevice after, Current context = %p，获取当前context\n", context);
int current_device = 0;
checkRuntime(cudaGetDevice(¤t_device));
printf("current_device = %d\n", current_device);
return 0;
}
运行效果如下：
上述代码展示了使用 CUDA Runtime API 进行 device 和 context 的管理操作。通过调用相应的 API 函数，可以获取设备信息、设置当前设备和获取当前上下文等操作，而无需手动进行驱动初始化和销毁等操作。这样简化了代码，使得使用 CUDA Runtime API 更加方便和易于操作。
对于本节的知识点，你需要掌握：(form 杜老师)
- CUDA Runtime 是封装了 CUDA Driver 的高级别更友好的 API
- cudaruntime 需要引入 cudart 这个 so 文件
- 上下文管理：使用 cuDevicePrimaryCtxRetain 为每个设备设置 context，不再手工管理 context，并且不提供直接管理 context 的 API；任何依赖 CUcontext 的 API 被调用时，会触发 CUcontext 的创建和对设备的绑定；此后任何 API 调用时，会以设备 id 为基准，调取绑定好的 CUcontext；因此被称为懒加载模式，避免了手动维护 CUContext 的麻烦
- cuda 的状态返回值，都是 cudaError_t 类型，通过 check 宏捕获状态并处理是一种通用方式。官方案例采用宏，而非这里的函数加宏，函数加宏具有更加好的便利性
CUDA的在线文档地址：
https://developer.nvidia.com/cuda-toolkit-archive
总结
本次课程演示了 runtime API 的使用，当有需要 context 的 API 调用时，runtime API 会自动创建管理 context 无需我们手动操作管理，同时我们也在 runtime API 中添加了和 driver API 一样的错误处理，方便我们调试和排查问题。
text 的 API 调用时，runtime API 会自动创建管理 context 无需我们手动操作管理，同时我们也在 runtime API 中添加了和 driver API 一样的错误处理，方便我们调试和排查问题。
