计算机视觉中的3D变换：让虚拟与现实无缝对接

news2024/11/26 3:36:01

嘿，小伙伴们！今天咱们聊聊计算机视觉中的3D变换，这是连接虚拟世界与现实世界的桥梁！无论你是想为游戏开发增添真实感，还是希望在增强现实中实现精准定位，这篇教程都会让你受益匪浅。准备好了吗？一起来探索3D变换的魅力吧！✨

📊 什么是3D变换？

在计算机视觉中，3D变换是指对三维空间中的物体进行位置、姿态和大小等属性的变化。常见的3D变换包括平移（Translation）、旋转（Rotation）、缩放（Scaling）以及投影（Projection）。这些变换不仅能够帮助我们在虚拟环境中更好地模拟现实，还能应用于AR/VR、机器人视觉等领域。

🧪 实战案例：用Python实现3D变换

假设我们正在开发一个AR应用，需要在现实世界的图像中添加一个3D模型。为了实现这一点，我们需要对3D模型进行变换，使其与相机的视角相匹配。让我们通过Python来实现这一过程。

🛠️ 准备工作

首先，确保你已经安装了必要的库：

pip install numpy opencv-python

1. 加载3D模型

我们将使用一个简单的立方体作为3D模型，并加载所需的库。

import cv2
import numpy as np

# 定义3D立方体的顶点坐标
cube_vertices = np.array([
    [-1, -1, 1],
    [1, -1, 1],
    [1, 1, 1],
    [-1, 1, 1],
    [-1, -1, -1],
    [1, -1, -1],
    [1, 1, -1],
    [-1, 1, -1]
], dtype=np.float32)

2. 定义变换矩阵

我们需要定义一个变换矩阵，用于描述3D模型的位置、旋转和缩放。

def get_transformation_matrix(translation=(0, 0, 0), rotation=(0, 0, 0), scaling=(1, 1, 1)):
    # 平移矩阵
    T = np.array([
        [1, 0, 0, translation[0]],
        [0, 1, 0, translation[1]],
        [0, 0, 1, translation[2]],
        [0, 0, 0, 1]
    ])

    # 旋转矩阵
    R = np.array([
        [np.cos(rotation[0]), -np.sin(rotation[0]), 0, 0],
        [np.sin(rotation[0]), np.cos(rotation[0]), 0, 0],
        [0, 0, 1, 0],
        [0, 0, 0, 1]
    ])

    # 缩放矩阵
    S = np.array([
        [scaling[0], 0, 0, 0],
        [0, scaling[1], 0, 0],
        [0, 0, scaling[2], 0],
        [0, 0, 0, 1]
    ])

    return T @ R @ S

3. 应用变换

接下来，我们应用变换矩阵来更新3D模型的位置。

def apply_transformation(vertices, transformation_matrix):
    # 将顶点坐标转换为齐次坐标
    vertices_homogeneous = np.hstack((vertices, np.ones((vertices.shape[0], 1))))
    
    # 应用变换
    transformed_vertices = transformation_matrix @ vertices_homogeneous.T
    
    # 归一化齐次坐标
    transformed_vertices /= transformed_vertices[-1]
    
    return transformed_vertices.T[:, :3].astype(float)

4. 绘制变换后的3D模型

最后，我们需要将变换后的3D模型绘制到图像上。

def draw_cube_on_image(image, vertices, camera_matrix, distortion_coeffs=None):
    # 投影矩阵
    projected_points = cv2.projectPoints(vertices, np.zeros(3), np.zeros(3), camera_matrix.astype(float), distortion_coeffs)[0]
    
    # 绘制连线
    edges = [(0, 1), (1, 2), (2, 3), (3, 0),
             (4, 5), (5, 6), (6, 7), (7, 4),
             (0, 4), (1, 5), (2, 6), (3, 7)]
    
    for edge in edges:
        pt1 = tuple(projected_points[edge[0]].ravel().astype(int))
        pt2 = tuple(projected_points[edge[1]].ravel().astype(int))
        cv2.line(image, pt1, pt2, (255, 0, 0), 2)

    return image

5. 完整代码

结合上述步骤，完整代码如下：

# 假设相机内参
camera_matrix = np.array([
    [1000, 0, 320],
    [0, 1000, 240],
    [0, 0, 1]
])

image = np.zeros((480, 640, 3), np.uint8) + 255

transformation_matrix = get_transformation_matrix(
    translation=(0, 0, -5),
    rotation=(np.pi/4, 0, 0),
    scaling=(1, 1, 1)
)

transformed_vertices = apply_transformation(cube_vertices, transformation_matrix)

result = draw_cube_on_image(image, transformed_vertices, camera_matrix)

cv2.imshow("Cube in AR", result)
cv2.waitKey(0)
cv2.destroyAllWindows()