《opencv实用探索·十八》Camshift进行目标追踪流程

CamShift（Continuously Adaptive Mean Shift）是一种用于目标跟踪的方法，它是均值漂移（Mean Shift）的扩展，支持对目标的旋转跟踪，能够对目标的大小和形状进行自适应调整。

cv::CamShift和cv::meanShift区别：
cv::meanShift：这是一种用于均值漂移目标跟踪的算法。它基于颜色直方图的均值漂移，寻找输入图像中与模板颜色直方图最相似的区域。在这个算法中，窗口的位置根据均值漂移进行调整，直到找到目标对象。cv::meanShift 返回找到的目标的矩形区域。但它的不足之处在于检测窗口的大小是固定的，而目标是不断变化的比如由近到远，各种旋转，固定的窗口是不合适的。

cv::CamShift：这是 cv::meanShift 的扩展，用于在图像中寻找旋转目标的位置。cv::CamShift 在 cv::meanShift 的基础上引入了旋转矩形，使得它能够更好地适应旋转目标的情况。实际上，cv::CamShift 返回的是一个旋转矩形（cv::RotatedRect），而不仅仅是矩形。同时，能够对目标的大小和形状进行自适应调整，适用于目标尺寸和形状变化较大的情况下。

下面左图是meanShift，右图是CamShift追踪效果对比，可以看到随着目标有近到远变小，meanShfit追踪窗口始终固定不变，而CamShift能实时变化。
在这里插入图片描述

meanShift原理：
在这里插入图片描述
图中一堆点集，任意位置有个圆形窗口（黑色圆），可以看到窗口的圆心（点1位置）和窗口的质心（点2位置）并不重合，那么这个窗口的圆心便会向质心的方向移动，当圆心1与质心2大致重合时圆的位置大概在红色圆的位置，此时在被红色圆覆盖的点集中3的位置为点集最密集的地方，此时红色圆的质心又被更新到3的位置，那么圆便会继续从2的位置向3的位置移动。
不断执行上面的过程直到圆心最终和质心大致重合。每次迭代移动的矢量即meanShift。

meanShift算法的基本思路：
先设置一个感兴趣窗口（通常为矩形），计算窗口内像素的颜色直方图作为目标对象，根据目标对象的颜色分布，通过不断迭代计算窗口的平均漂移来更新窗口的位置和大小，从而实现目标的实时跟踪。
camShift算法原理是在meanShift基础上加入了自适应调整目标窗口大小和旋转方向实现目标的实时跟踪。

利用opencv的camShift算法来追踪目标：

RotatedRect CamShift( InputArray probImage, CV_IN_OUT Rect& window,
                                   TermCriteria criteria );

probImage：表示概率图像，通常是反向投影的结果。反向投影是基于目标的颜色直方图，用于估计在图像中的可能位置。
window：输入时表示追踪的初始窗口，输出时表示找到的新窗口。这是一个矩形，也就是目标区域的初始位置。
criteria：指定迭代的停止条件，通常是一个 cv::TermCriteria 类型的对象。它定义了迭代的最大次数、最小精度，或两者的组合。
cv::CamShift 函数返回一个 cv::RotatedRect 对象，它表示找到的目标的位置、方向和大小。

camShift追踪流程：
（1）首先在图像上选定一个目标区域（通常为矩形）
（2）计算选定区域的直方图分布，一般是HSV色彩空间的直方图。
（3）对下一帧图像B同样计算直方图分布。
（4）计算图像B当中与选定区域直方图分布最为相似的区域，即比较图像B的直方图和目标对象的直方图，生成一个反向投影图像。这个反向投影图像的每个像素值表示图像B该位置的像素值与目标对象直方图的相似程度。（反向投影图像可以将图像中与给定模式（目标对象）具有相似颜色分布的区域显著地突出显示）
（5）使用camshift算法将选定区域沿着最为相似的部分进行移动，直到找到最相似的区域，便完成了在图像b中的目标追踪。
（6）重复3到5的过程，就完成整个视频目标追踪。

下面是代码示例：

#include <opencv2/opencv.hpp>
#include <iostream>
using namespace cv;
using namespace std;
//-----------------------------------【全局变量声明】-----------------------------------------
//		描述：声明全局变量
//-------------------------------------------------------------------------------------------------
Mat image;
bool selectObject = false;
Point origin;
Rect selection;
int vmin = 10, vmax = 255, smin = 30;
bool isSelectRoi = false;
bool targetTrackingEnable = false;
Mat roi_hist;
int channels[] = { 0 };
int histSize = 180;  //bin分为180份
float range[] = { 0, 180 };
const float* histRange = { range };
TermCriteria term_crit_; 

//--------------------------------【onMouse( )回调函数】------------------------------------
//		描述：鼠标操作回调
//-------------------------------------------------------------------------------------------------
static void onMouse(int event, int x, int y, int, void*)
{
	if (selectObject)
	{
		selection.x = MIN(x, origin.x);
		selection.y = MIN(y, origin.y);
		selection.width = std::abs(x - origin.x);
		selection.height = std::abs(y - origin.y);

		selection &= Rect(0, 0, image.cols, image.rows);
	}

	switch (event)
	{
	case EVENT_LBUTTONDOWN:
		origin = Point(x, y);
		selection = Rect(x, y, 0, 0);
		selectObject = true;
		targetTrackingEnable = false;
		break;

	case EVENT_LBUTTONUP:
		selectObject = false;
		if (selection.width > 0 && selection.height > 0)
			isSelectRoi = true;
		break;
	}
}

int main(int argc, const char** argv)
{

	VideoCapture cap;
	Rect trackWindow;
	int hsize = 16;
	float hranges[] = { 0,180 };
	const float* phranges = hranges;

	cap.open(0);

	if (!cap.isOpened())
	{
		cout << "不能初始化摄像头\n";
	}

	namedWindow("Histogram", 0);
	namedWindow("CamShift Demo", 0);
	setMouseCallback("CamShift Demo", onMouse, 0);
	//设置滚动条可以在二值化图像时实时改变阈值
	createTrackbar("Vmin", "CamShift Demo", &vmin, 256, 0);
	createTrackbar("Vmax", "CamShift Demo", &vmax, 256, 0);
	createTrackbar("Smin", "CamShift Demo", &smin, 256, 0);

	Mat frame;

	for (;;)
	{
		cap >> frame;
		if (frame.empty())
			break;
		frame.copyTo(image);

		if (isSelectRoi)
		{
			//获取第一帧图像并指定ROI区域
			Mat roi_hsv;
			Mat roi = image(selection); //截取鼠标绘制的roi
			cvtColor(roi, roi_hsv, COLOR_BGR2HSV);  //把roi图像转为hsv色彩图像

			//去除低亮度值，二值化图像，低亮度置0，高亮度置1
			Mat mask;
			int _vmin = vmin, _vmax = vmax;
			inRange(roi_hsv, Scalar(0, smin, MIN(_vmin, _vmax)),
				Scalar(180, 255, MAX(_vmin, _vmax)), mask);

			//计算直方图
			/*
			在HSV颜色空间中，H（色相）的取值范围是[0, 360)，而在OpenCV中，H通道的取值范围被映射到[0, 180)。这是因为OpenCV中对H通道的取值范围进行了缩放，将360度映射到了180度。

			所以，在使用 calcHist 函数计算直方图时，range[] 参数用于指定每个通道的取值范围。对于HSV颜色空间中的H通道，这里使用的是[0, 180)。这确保了直方图的统计考虑了整个H通道的取值范围。

			如果你的颜色空间是RGB，而不是HSV，那么在计算直方图时，range[] 参数应该是[0, 256)。这样就能覆盖RGB图像中每个通道的所有可能取值。
			*/
			calcHist(&roi_hsv, 1, channels, mask, roi_hist, 1, &histSize, &histRange);
			// 归一化
			normalize(roi_hist, roi_hist, 0, 255, NORM_MINMAX);

			// 4. 目标追踪
			// 4.1 设置窗口搜索终止条件：最大迭代次数，窗口中心漂移最小值
			TermCriteria term_crit(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);
			term_crit_ = term_crit;

			waitKey(30);
			isSelectRoi = false;
			targetTrackingEnable = true;
		}
		else if (targetTrackingEnable)
		{
			// 4.2 计算直方图的反向投影
			Mat hsv;
			cvtColor(image, hsv, COLOR_BGR2HSV);  //把输入图像转为hsv色彩图像
			Mat backProject;
			cv::calcBackProject(&hsv, 1, channels, roi_hist, backProject, &histRange);

			// 4.3	进行meanshift追踪
			RotatedRect track_box = cv::CamShift(backProject, selection, term_crit_);

			// 4.4 将追踪的位置绘制在视频上，并进行显示
			ellipse(image, track_box, Scalar(0, 0, 255), 2);
			imshow("CamShift Demo", image);

			if (waitKey(30) == 'q')
				break;

		}

		if (selectObject && selection.width > 0 && selection.height > 0)
		{
			Mat roi(image, selection);
			bitwise_not(roi, roi);
		}

		imshow("CamShift Demo", image);
		if (waitKey(30) == 'q')
			break;
	}

	// 5. 资源释放
	cap.release();
	destroyAllWindows();

	return 0;
}

效果展示：
在这里插入图片描述

Camshift的优点：简单，计算量较少，因为Camshift的本质就局部检测，在局部里检测“密度”最大的位置。
Camshift的缺点：Camshift的优点有时候也正是其缺点，因为其简单，所以对于复杂背景或者纹理丰富的物体跟踪效果较差。因为Camshift是对直方图反投影所形成的二值图像进行处理的，如果背景较为复杂或者物体的纹理较为丰富，那么此二值图像的噪声就很多（具体原因可参考直方图反投影的原理），这将直接干扰Camshift对物体位置的判断。
所以对Camshift的总结为：Camshift适用于物体表面颜色较为单一，且和背景颜色差距较大