根据项目需求,我们需要使用硬件解码的方式进行网络摄像头数据帧的解析,给到算法模块使用
1、通过ffmpeg命令实验,ffmpeg -i IPC_URL -f rtsp rtsp://*/live
该命令默认是使用cpu进行解码的,我们需要使用GPU进行解码。
2、ffmpeg硬件加速,这个需要安装相关的驱动,并且在编译ffmpeg的时候,增加cuda编译,这样通过
ffmpeg -hwaccel cuvid -i IPC_URL -f rtsp rtsp://*/live,就可以使用gpu进行解码了。
3、以上两种方法只是直接使用 ffmpeg进行转码了,但是无法我们无法破坏ffmpeg指令过程,获取到解码得到的帧数据
4、查看zlmediakit里面提供的接口,默认的推流、拉流都是不通过ffmpeg的,无法通过ffmpeg相关方法得到数据帧。
5、查看zlmediakit api接口,发现有个ffmpegSource接口,验证这个接口的作用。
发现这个就是在zlmediakit里面调用了ffmpeg命令,进行拉流转码的。也无法满足我们的需求
6、决定对mk_transcode.cpp模拟ffmpegSource进行封装。并提供http api接口。
发现player_opencv.c测试代码里面,有提取fame的方法。
//todo 此处转换为opencv对象
cv::Mat *mat = new cv::Mat();
mat->create(h, w, CV_8UC3);
mk_swscale_input_frame(ctx->swscale, frame, (uint8_t *) mat->data);
7、http api接口增加方法
因为http api是通过postman来发起的,需要修改postman里面的json collect 数据集,增加两个接口,一个是转码开始,一个是转码结束的接口。
这里需要注意的点,GET后面的api 参数一定要与webapi.cpp 里面api_regist注册的相同
8、http请求方法好了,需要提供对应的处理代码
需要在webapi.cpp installWebApi里面增加相关处理代码。
api_regist("/index/api/addTranscodeFFmpeg",[](API_ARGS_MAP_ASYNC)
这里需要增加自己封装的类FFmpegTranscode
通过在postman里面增加的ffmpeg转码接口,发起请求,处理的地方就会到webapi.cpp里面的api_regist("/index/api/addTranscodeFFmpeg" ,也就是HTTP Get/post方法
代码到这里,我觉得完成了。进行测试,发现http只有 方法请求,但是一直没有response。
9、查看ffmpegsource方法
//推流给自己成功
cb(SockException());里面有这个回调,加上一切ok。