简单模型

假设两个摄像机平行放置于同一高度、光轴平行、成像平面重合、焦距相同、左右图像每一行y坐标方向、大小相同，如下图所示：
在这里插入图片描述
由左右成像平面上的点、目标物点、焦距、摄像机中心基线距离的几何关系可以得到： $\begin{cases}\frac{x_l}{X}=\frac{f}{Z}\\ \frac{x_r}{(X-D)}=\frac{f}{Z}\\ \frac{y_l}{Y}=\frac{y_r}{Y}=\frac{f}{Z}\end{cases}$ 设置视差 $d=x_l-x_r$ ，则可求解出 $P$ 坐标： $\begin{bmatrix}X\\ Y\\ Z\end{bmatrix}=\begin{bmatrix}Dx_l/d\\ Dy_l/d\\ Df/d\end{bmatrix}$ 因此，只需获取基线距离 $D$ 、目标点左右成像坐标 $p_l$ 、 $p_r$ 、视差 $d$ ，即可得到物体在左摄像机坐标系下的3D位置坐标。这种方法运算量少，适用于对精度要求不高的场景。

一般模型

实际摄像机由于制造工艺等原因，导致摄像机成像平面不在同一平面，且两摄像机光轴存在一定角度。因此必须建立双目立体视觉的一般模型来对实际系统进行分析。
在这里插入图片描述
设左摄像机坐标系 $O_l - X_l Y_l Z_l$ 固定在世界坐标系，图像坐标系为 $o_l-x_ly_l$ ，焦距为 $f_l$ 。右摄像机坐标系 $O_r - X_r Y_r Z_r$ ，对应图像坐标系 $o_r-x_ry_r$ ，焦距为 $f_r$ ，其光轴与左摄像机成角 $\theta$ 。
左右摄像机投影变换模型分别（图像坐标系为物理单位尺度）： $s_l\begin{bmatrix}x_l\\ y_l\\ 1\end{bmatrix}=\begin{bmatrix}f_l&0&0\\ 0&f_l&0\\ 0&0&1\end{bmatrix}\begin{bmatrix}X_l\\ Y_l\\ Z_l\end{bmatrix}$ $s_r\begin{bmatrix}x_r\\ y_r\\ 1\end{bmatrix}=\begin{bmatrix}f_r&0&0\\ 0&f_r&0\\ 0&0&1\end{bmatrix}\begin{bmatrix}X_r\\ Y_r\\ Z_r\end{bmatrix}$ 其中， $\frac{s_l}{Z_l}=\frac{s_r}{Z_r}=1$
设左摄像机坐标系相对右摄像机坐标系的变换矩阵为： $R=\begin{bmatrix}r_1&r_2&r_3\\ r_4&r_5&r_6\\ r_7&r_8&r_9\end{bmatrix},T=\begin{bmatrix}t_x\\ t_y\\ t_z\end{bmatrix}$ 因此，右坐标系下的坐标通过左坐标系下坐标以及变换矩阵表示为： $\begin{bmatrix}X_r\\ Y_r\\ Z_r\end{bmatrix}=\begin{bmatrix}R&T\end{bmatrix}\begin{bmatrix}X_l\\ Y_l\\ Z_l\\ 1\end{bmatrix}$ 联立上式，可以计算出目标点在左坐标系（世界坐标系）下的坐标： $\begin{bmatrix}X\\Y\\Z\end{bmatrix}=\begin{bmatrix}X_l\\Y_l\\Z_l\end{bmatrix}=\begin{bmatrix}\frac{Z_lx_l}{f_l}\\ \frac{Z_ly_l}{f_l}\\ \frac{f_l(f_rt_y-y_rt_z)}{y_r\left(r_7x_l+r_8y_l+f_lr_9\right)-f_r\left(r_4x_l+r_5y_l+f_lr_6\right)}\end{bmatrix}$ 通过以上推导可知，已知左右摄像机焦距 $f_l$ 、 $f_r$ 、目标点在左右相机的坐标 $p_l$ 、 $p_r$ 、变换矩阵 $R$ 、 $T$ 就可以获取目标点的三维坐标。