day20 - 绘制物体的运动轨迹

在我们平常做目标检测或者目标追踪时，经常要画出目标的轨迹图。绘制轨迹图的一种方法就是利用光流估计来进行绘制。

本期我们主要来介绍视频中光流估计的使用和效果，利用光流估计来绘制运动轨迹。

完成本期内容，你可以：

掌握视频的读取与显示
掌握光流估计的流程和原理
掌握使用光流估计绘制运功轨迹的代码实现

若要运行案例代码，你需要有：

操作系统：Ubuntu 16.04
工具软件：PyCharm 2020.1.5， Anaconda3 2020.07
硬件环境：无特殊要求
核心库：python 3.6.13， opencv-python 3.4.2.16

点击下载源码

视频的读取与显示

(1) OpenCV中的函数 cv2.VideoCapture() 可以用来完成摄像头的初始化工作。其语法格式如下：

dst = cv2.VideoCapture(index)

说明：

index：摄像头ID号
默认值：-1，表示随机选取一个摄像头。
如果有多个摄像头，使用数字0表示第一个摄像头、使用数字1表示第2个摄像头，以此类推。
如果只有一个摄像头，既可以使用数字0作为ID，也可以使用数字-1作为ID。
在某些平台上，使用参数-1，会使OpenCV弹出一个选择窗口，让用户手动选择希望使用的摄像头。
该函数同样适用于处理视频文件。

(2) OpenCV中的函数 cv2.isOpened() 可以用来判断当前的摄像头是否初始化成功。其语法格式如下：

retval = cv2.VideoCapture.isOpened()

说明：

判断当前的摄像头是否初始化成功，并根据摄像头初始化成功与否，返回不同的逻辑值retval：
如果成功，该函数返回逻辑值真（True）；
如果不成功，该函数返回逻辑值假（False）。
当函数返回值为逻辑值假时，说明摄像头初始化失败。这时，可以使用函数cv2.VideoCapture.open()打开摄像头。

(3) OpenCV中的函数 cv2.VideoCapture.read()可以用来进行帧捕捉。其语法格式如下：

retval, image=cv2.VideoCapture.read()

说明：

image：是帧捕获的返回值，如果没有帧被捕获，则该值为空。
retval：用来表示捕获结果是否成功的逻辑值。如果成功返回逻辑值真（True）；不成功返回逻辑值假（False）。

(4) OpenCV中的函数 cv2.VideoCapture.release()可以用来进行释放摄像头。其语法格式如下：

None=cv2.VideoCapture.release()

说明：

在不需要摄像头时，需要关闭摄像头。
例如，当前有cv2.VideoCapture类的对象cap，则将其释放的语句为：cap.release()

保存视频文件

**（1）**OpenCV中的函数 cv2.VideoWriter() 可以用来创建类对象。其语法格式如下：

<VideoWriter object> = cv2.VideoWriter( filename, fourcc, fps, frameSize)

参数说明：

filename：保存视频的路径
fourcc：用4个字符表示的视频编码格式
fps：帧速率
frameSize：每一帧的大小

**（2）**OpenCV中的函数 cv2.VideoWriter.write()可以用来进行帧捕捉。其语法格式如下：

None=cv2.VideoWriter.write(image)

说明：

image：要写入的视频帧
通常情况下，要求彩色图像的格式为BGR模式。

**（3）**OpenCV中的函数 cv2.VideoCapture.release()可以用来进行释放摄像头。其语法格式如下：

None=cv2.VideoCapture.release()

说明：

在不需要VideoWriter类对象时，需要释放该对象。
例如，当前有VideoWriter类的对象out，则将其释放的语句为：out.release()

光流估计

稀疏特征集光流

Opencv中使用cv2.calcOpticalFlowPyrLK()函数计算一个稀疏特征集的光流其语法格式如下：

nextPts,status,err = cv2.calcOpticalFlowPyrLK(prevImg,nextImg,prevPts,nextPts，[, status[, err[, winSize[, maxLevel[, criteria[, flags[, minEigThreshold]]]]]]])

参数说明：

prevImg：上一帧图片;
nextImg：当前帧图片;
prevPts：上一帧找到的特征点向量;
nextPts：与返回值中的nextPtrs相同;
status：与返回的status相同;
err：与返回的err相同;
winSize：在计算局部连续运动的窗口尺寸（在图像金字塔中）,default=Size(21, 21);
maxLevel：图像金字塔层数，0表示不使用金字塔, default=3;
criteria：寻找光流迭代终止的条件;
flags：有两个宏，表示两种计算方法，分别是OPTFLOW_USE_INITIAL_FLOW表示使用估计值作为寻找到的初始光流，OPTFLOW_LK_GET_MIN_EIGENVALS表示使用最小特征值作为误差测量,default=0;
minEigThreshold：该算法计算光流方程的2×2规范化矩阵的最小特征值，除以窗口中的像素数; 如果此值小于minEigThreshold，则会过滤掉相应的功能并且不会处理该光流，因此它允许删除坏点并获得性能提升, default=1e-4.
nextPtrs：输出一个二维点的向量，这个向量可以是用来作为光流算法的输入特征点，也是光流算法在当前帧找到特征点的新位置（浮点数）;
status：标志，在当前帧当中发现的特征点标志status==1，否则为0;
err：向量中的每个特征对应的错误率.

稠密光流法

Opencv的函数cv2.calcOpticalFlowFarneback寻找稠密光流。其语法格式如下：

flow=cv.calcOpticalFlowFarneback(prev,next, flow,pyr_scale, levels, winsize,iterations, poly_n, poly_sigma, flags)

参数说明：

prev：前一帧图片
next：下一帧图片，格式与prev相同
flow：与返回值相同，得到一个CV_32FC2格式的光流图
pyr_scale：构建图像金字塔尺度
levels：图像金字塔层数
winsize：窗口尺寸，值越大探测高速运动的物体越容易，但是越模糊，同时对噪声的容错性越强
iterations：对每层金字塔的迭代次数
poly_n：每个像素中找到多项式展开的邻域像素的大小。n越大越光滑，也越稳定
poly_sigma：高斯标准差，用来平滑倒数，n越大，sigma应该适当增加
flags：光流的方式，有OPTFLOW_USE_INITIAL_FLOW 和OPTFLOW_FARNEBACK_GAUSSIAN 两种
flow：一个两通道的光流向量，实际上是每个点的像素的位移值

光流估计的流程

光流估计的流程通常包含以下步骤：

定义角点检测参数
定义光流估计参数
定义轨迹颜色
灰度处理
角点检测
创建掩膜
进入循环
- 读取每一帧图像并转换为灰度图
- 光流估计
- 匹配后上升维度
- 绘制轨迹
- 显示
- 更新

具体步骤

使用高通滤波提取图像边缘。

步骤一：创建项目工具

创建项目名为绘制物体的运动轨迹，项目根目录下新建code文件夹储存代码，新建dataset文件夹储存数据，项目结构如下：

绘制物体的运动轨迹                        # 项目名称
├── code                               # 储存代码文件
├── dataset                            # 储存数据文件

注：如项目结构已存在，无需再创建。

步骤二：读取视频

导入所需模块：OpenCV、NumPy ;
读取dataset文件夹下的dog.mp4 视频；

代码实现

import numpy as np
import cv2 as cv
# 读取视频
cap = cv.VideoCapture('../dataset/dog.mp4')

步骤三：定义角点参数

代码实现

# 设置ShiTomasi 角点检测的参数
feature_params = dict( maxCorners = 100,
                       qualityLevel = 0.3,
                       minDistance = 7,
                       blockSize = 7 )

步骤四：定义光流估计的参数

代码实现

# 设置lucas kanade 光流的参数
lk_params = dict( winSize  = (15,15),
                  maxLevel = 2,
                  criteria = (cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 0.03))
# 创建一些随机颜色
color = np.random.randint(0,255,(100,3))

步骤五：角点检测、创建掩码图像

读取第一帧并转换为灰度图像
检测图像中的角点
创建掩码图像

代码实现

# 读取第一帧
ret, old_frame = cap.read()
old_gray = cv.cvtColor(old_frame, cv.COLOR_BGR2GRAY)
# 跟踪检测图像中的角点
p0 = cv.goodFeaturesToTrack(old_gray, mask = None, **feature_params)

# 为绘图目的创建掩码图像
mask = np.zeros_like(old_frame)

步骤六：光流估计并绘制

读取每一帧图像并转为灰度图
光流估计
匹配后上升维度
绘制轨迹
显示轨迹
更新上一帧和之前的点

代码实现

while(1):
    ret,frame = cap.read()
    if frame is None:
        break
    frame_gray = cv.cvtColor(frame, cv.COLOR_BGR2GRAY)

    # 需要传入前一帧和当前图像以及前一帧检测到的角点
    p1, st, err = cv.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

    # 选择好的点，st=1表示找到特征点
    if p1 is not None:
        good_new = p1[st==1]
        good_old = p0[st==1]

    # 绘制轨迹
    for i,(new,old) in enumerate(zip(good_new, good_old)):
        a,b = new.ravel() #变成一维
        c,d = old.ravel()
        mask = cv.line(mask, (int(a),int(b)),(int(c),int(d)), color[i].tolist(), 2)
        frame = cv.circle(frame,(int(a),int(b)),5,color[i].tolist(),-1)
    img = cv.add(frame,mask)

    cv.imshow('frame',img)
    k = cv.waitKey(30) & 0xff
    if k == 27:
        break

    # 现在更新上一帧和之前的点
    old_gray = frame_gray.copy()
    p0 = good_new.reshape(-1,1,2)
cv.destroyAllWindows()
cap.release()