OpenCV 之实现基于Lucas-Kanade算法的光流追踪

news2024/11/27 8:46:32

引言

在计算机视觉中，光流是指物体、场景或摄像机之间的相对运动造成的像素变化。光流估计是计算机视觉中的一个基础课题，广泛应用于许多领域，比如自动驾驶汽车、机器人导航、手势识别等。OpenCV是一个开源的计算机视觉库，提供了许多功能强大的算法，其中包括光流算法。本文将介绍如何使用Python结合OpenCV来实现基于Lucas-Kanade算法的光流追踪，并展示如何在视频中追踪特征点的运动轨迹。

实现步骤

准备工作

首先，确保已经安装了numpy和opencv-python库。如果尚未安装，可以使用pip命令进行安装：

pip install numpy opencv-python

代码解析

下面是一个使用Lucas-Kanade算法追踪视频中特征点并绘制轨迹的例子。我们将逐步解释代码的每一部分。

import numpy as np
import cv2

# 打开视频文件
cap = cv2.VideoCapture(r'picture_video\test.avi')

# 随机生成颜色，用于绘制轨迹
color = np.random.randint(0, 255, (100, 3))

# 读取视频的第一帧
ret, old_frame = cap.read()

# 将第一帧转换为灰度图像
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)

# 定义特征点检测参数
feature_params = dict(maxCorners=100,  # 最大角点数量
                      qualityLevel=0.3,  # 角点质量的阈值
                      minDistance=7)     # 最小距离，用于分散角点

# 检测初始帧的特征点
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)

# 创建一个与当前帧大小相同的全零掩模，用于绘制轨迹
mask = np.zeros_like(old_frame)

# 定义Lucas-Kanade光流参数
lk_params = dict(winSize=(15, 15),  # 窗口大小
                 maxLevel=2)         # 金字塔层数

# 主循环，处理视频的每一帧
while True:
    # 读取下一帧
    ret, frame = cap.read()
    
    # 检查是否成功读取到帧
    if not ret:
        break
    
    # 将当前帧转换为灰度图像
    frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # 计算光流向量
    p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)
    
    # 选择好的点（状态为1的点）
    good_new = p1[st == 1]
    good_old = p0[st == 1]
    
    # 绘制轨迹
    for i, (new, old) in enumerate(zip(good_new, good_old)):
        a, b = new.ravel()  # 获得新点的坐标
        c, d = old.ravel()  # 获得旧点的坐标
        a, b, c, d = int(a), int(b), int(c), int(d)  # 转换为整数
        
        # 在掩模上绘制线段，连接新点和旧点
        mask = cv2.line(mask, (a, b), (c, d), color[i].tolist(), 2)
        
        # 显示掩模
        cv2.imshow('mask', mask)
    
    # 将掩模添加到当前帧上，生成最终图像
    img = cv2.add(frame, mask)
    
    # 显示结果图像
    cv2.imshow('frame', img)
    
    # 等待150ms，检测是否按下了Esc键(键码为27)
    k = cv2.waitKey(150) & 0xff
    if k == 27:  # 按下Esc键，退出循环
        break
    
    # 更新旧灰度图和旧特征点
    old_gray = frame_gray.copy()
    p0 = good_new.reshape(-1, 1, 2)  # 重新整理特征点为适合下次计算的形状

# 释放资源
cv2.destroyAllWindows()
cap.release()