[C++]使用纯opencv部署yolov11-pose姿态估计onnx模型

news2024/10/6 11:00:42

【算法介绍】

使用纯OpenCV部署YOLOv11-Pose姿态估计ONNX模型是一项具有挑战性的任务，因为YOLOv11通常是用PyTorch等深度学习框架实现的，而OpenCV本身并不直接支持加载和运行PyTorch模型。然而，可以通过一些间接的方法来实现这一目标，即将PyTorch模型转换为ONNX格式，然后使用OpenCV的DNN模块加载ONNX模型。

YOLOv11-Pose结合了YOLO（You Only Look Once）的高效物体检测算法和Pose Estimation（姿态估计）专注于识别人体关键点的能力，能在多种计算平台上实时处理人体姿态数据。其采用的核心原理是特殊神经网络结构YOLOv3-tiny，能快速计算出图像中所有人体关键点的位置，实现姿态估计。同时，该模型还采用了ONNX格式，这是一种开放的模型表示，使得模型能在不同的深度学习框架和工具之间轻松转换。

在使用OpenCV部署YOLOv11-Pose ONNX模型时，需要确保开发环境已经安装了OpenCV 4.x（带有DNN模块）和必要的C++编译器。具体步骤包括加载ONNX模型、预处理输入图像、将预处理后的图像输入到模型中获取检测结果、对检测结果进行后处理等。由于YOLOv11是一个复杂的模型，其输出可能包含多个层的信息，因此需要仔细解析模型输出，并根据YOLOv11的具体实现进行后处理。

总的来说，使用纯OpenCV部署YOLOv11-Pose ONNX模型需要深入理解相关领域的知识，包括YOLOv11的模型架构、OpenCV的DNN模块以及ONNX格式等。

【效果展示】

【实现代码】

#include <iostream>
#include<opencv2/opencv.hpp>

#include<math.h>
#include "yolov11_pose.h"
#include<time.h>
#define  VIDEO_OPENCV //if define, use opencv for video.

using namespace std;
using namespace cv;
using namespace dnn;

template<typename _Tp>
int yolov11(_Tp& task, cv::Mat& img, std::string& model_path)
{


	cv::dnn::Net net;
	if (task.ReadModel(net, model_path, false)) {
		std::cout << "read net ok!" << std::endl;
	}
	else {
		return -1;
	}
	//生成随机颜色
	std::vector<cv::Scalar> color;
	srand(time(0));
	for (int i = 0; i < 80; i++) {
		int b = rand() % 256;
		int g = rand() % 256;
		int r = rand() % 256;
		color.push_back(cv::Scalar(b, g, r));
	}
	std::vector<OutputParams> result;

	bool isPose = false;
	if (typeid(task) == typeid(Yolov8Pose)) {
		isPose = true;
	}
	PoseParams poseParams;
	if (task.Detect(img, net, result)) {

		if (isPose)
			DrawPredPose(img, result, poseParams);
		else
		DrawPred(img, result, task._className, color);
		
	}
	else {
		std::cout << "Detect Failed!" << std::endl;
	}
	system("pause");
	return 0;
}


template<typename _Tp>
int video_demo(_Tp& task, std::string& model_path)
{
	std::vector<cv::Scalar> color;
	srand(time(0));
	for (int i = 0; i < 80; i++) {
		int b = rand() % 256;
		int g = rand() % 256;
		int r = rand() % 256;
		color.push_back(cv::Scalar(b, g, r));
	}
	std::vector<OutputParams> result;
	cv::VideoCapture cap("video.avi");
	if (!cap.isOpened())
	{
		std::cout << "open capture failured!" << std::endl;
		return -1;
	}
	cv::Mat frame;
	bool isPose = false;
	PoseParams poseParams;
#ifdef VIDEO_OPENCV
	cv::dnn::Net net;
	if (typeid(task) == typeid(Yolov11Pose)) {
		isPose = true;
	}
	if (task.ReadModel(net, model_path, true)) {
		std::cout << "read net ok!" << std::endl;
	}
	else {
		std::cout << "read net failured!" << std::endl;
		return -1;
	}

#else
	if (typeid(task) == typeid(Yolov8PoseOnnx)) {
		isPose = true;
	}
	if (task.ReadModel(model_path, true)) {
		std::cout << "read net ok!" << std::endl;
	}
	else {
		std::cout << "read net failured!" << std::endl;
		return -1;
	}

#endif

	while (true)
	{

		cap.read(frame);
		if (frame.empty())
		{
			std::cout << "read to end" << std::endl;
			break;
		}
		result.clear();
#ifdef VIDEO_OPENCV

		if (task.Detect(frame, net, result)) {

			if (isPose)
				DrawPredPose(frame, result, poseParams,true);
			else
				DrawPred(frame, result, task._className, color,true);
	
		}
#else
		if (task.OnnxDetect(frame, result)) {
			if (isPose)
				DrawPredPose(frame, result, poseParams, true);
			else
				DrawPred(frame, result, task._className, color, true);
		}
#endif
		int k = waitKey(10);
		if (k == 27) { //esc 
			break;
		}

	}
	cap.release();

	system("pause");

	return 0;
}



int main() {

	string detect_model_path = "./yolo11n-pose.onnx";
	Yolov11Pose detector;
	video_demo(detector, detect_model_path);
}

【视频演示】

C++使用纯opencv部署yolov11-pose姿态估计onnx模型_哔哩哔哩_bilibili【测试环境】vs2019 cmake==3.24.3 opencv==4.8.0【运行步骤】下载模型：https://github.com/ultralytics/assets/releases/download/v8.3.0/yolo11n-pose.pt转换模型：yolo export model=yolo11n-pose.pt format=onnx dynamic=False opset=, 视频播放量 0、弹幕量 0、点赞数 0、投硬币枚数 0、收藏人数 0、转发人数 0, 视频作者未来自主研究中心, 作者简介未来自主研究中心，相关视频：用C#部署yolov8的tensorrt模型进行目标检测winform最快检测速度，使用易语言调用opencv进行视频和摄像头每一帧处理，C#使用纯OpenCvSharp部署yolov8-pose姿态识别，C# winform部署yolov11目标检测的onnx模型，基于opencv封装易语言读写视频操作模块支持视频读取和写出，使用C++部署yolov8的onnx和bytetrack实现目标追踪，C++使用yolov11的onnx模型结合opencv和bytetrack实现目标追踪，yolov5-7.0部署在ros机器人操作系统视频演示，使用C#部署openvino-yolov5s模型，使用C#调用libotrch-yolov5模型实现全网最快winform目标检测https://www.bilibili.com/video/BV1491XY2EWk/
【源码下载】