04 相机与图像

4.1 相机模型

4.1.1 针孔相机模型

针孔模型描述了一束光线通过针孔后，在针孔背面投影成像的关系（类似小孔成像原理）。

根据相似三角关系

$$\frac{Z}{f}=-\frac{X}{X^{\prime }}=-\frac{Y}{Y^{\prime }}\text{\hspace{1em}(3-1)}$$

其中，负号表示成的像是倒立的。

但实际相机得到的图像并不是倒像，我们等价地将成像平面对称地放到相机前方，这样就可以把负号去掉，

$$\frac{Z}{f}=\frac{X}{X^{\prime }}=\frac{Y}{Y^{\prime }}\text{\hspace{1em}(3-2)}$$

整理得

$$\{\begin{array}{l}{X}^{\prime }=f\frac{X}{Z}\\ \\ Y^{\prime }=f\frac{Y}{Z}\end{array}\text{\hspace{1em}(3-3)}$$

像素坐标与成像平面之间，相差了一个缩放和一个原点的平移。假设像素坐标在 $u$ 轴上缩放了 $\alpha$ 倍， 在 $v$ 轴上缩放了 $\beta$ 倍，同时，原点平移了 $[c_x,c_y{]}^T$。那么，$P^{\prime }$ 在成像平面坐标系和像素坐标系之间的关系为：

$$\{\begin{array}{l}u=\alpha X^{\prime }+c_x\\ v=\beta Y^{\prime }+c_y\end{array}\text{\hspace{1em}(3-4)}$$

代入式（3-3），得

$$\{\begin{array}{l}u=\alpha f\frac{X}{Z}+c_x\\ \\ v=\beta f\frac{Y}{Z}+c_y\end{array}\text{\hspace{1em}(3-5)}$$
记 $\alpha f=f_x,$， $\beta f=f_y$ 得

$$\{\begin{array}{l}u=f_x\frac{X}{Z}+c_x\\ \\ v=f_y\frac{Y}{Z}+c_y\end{array}\text{\hspace{1em}(3-6)}$$

写成矩阵形式

$$\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]=\frac{1}{Z}\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]\stackrel{\text{ def }}{=}\frac{1}{Z}\mathbf{K}\mathbf{P}\text{\hspace{1em}(3-7)}$$

将 $Z$ 移到左边

$$Z\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]\stackrel{\text{ def }}{=}\mathbf{K}\mathbf{P}\text{\hspace{1em}(3-8)}$$

中间的矩阵称为相机内参数，一般在相机出厂后便已确定。

由于相机在运动，点 $P$ 的相机坐标应由他的世界坐标（$P_w$）根据相机当前位姿变换得到

$$Z{\mathbf{P}}_{uv}=Z\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]=\mathbf{K}\mathbf{P}=\mathbf{K}\left(\mathbf{R}{\mathbf{P}}_{\mathrm{w}}+\mathbf{t}\right)=\mathbf{K}\mathbf{T}{\mathbf{P}}_{\mathrm{w}}\text{\hspace{1em}(3-9)}$$
其中，$\mathbf{R}$、$\mathbf{t}$ 为外参。

上式描述了从世界坐标系到相机坐标系再到像素坐标系的过程。

将世界坐标转换到相机坐标后，再除掉最后一维的数值，这相当于把最后一维作归一化处理，得到它在归一化平面上的投影：

$$\left(\mathbf{R}{\mathbf{P}}_{\mathrm{w}}+\mathbf{t}\right)=\underset{\text{相机坐标 }}{\underbrace{[X,Y,Z{]}^{\mathrm{T}}}}\to \underset{\text{归一化坐标 }}{\underbrace{[X/Z,Y/Z,1{]}^{\mathrm{T}}}}$$

可知，点的深度信息在投影过程中丢失了（变成二维），所以单目视觉无法得到像素点深度值。

4.1.2 畸变模型

（1）由透镜形状引起的畸变称为径向畸变，一般有桶形畸变和枕形畸变两类。

对于径向畸变，离中心距离越远，畸变越严重；穿过图像中心和光轴有交点的直线形状不变。

（2）在相机组装过程中，透镜和成像平面无法完全平行，会产生切向畸变。

（3）下面用数学模型进行描述：假设归一化平面上存在一点$P$，坐标为 $[x,y{]}^T$，极坐标为 $[r,\theta {]}^T$，那么，正常归一化平面坐标和畸变后的坐标之间的关系为

$$\{\begin{array}{l}{x}_{distorted}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\\ \\ y_{distorted}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\end{array}\text{\hspace{1em}(3-10)}$$

类似的，切向畸变数学模型为

$$\{\begin{array}{l}\begin{array}{rl}& x_{\text{distorted }}=x+2p_{1}xy+p_2\left(r^2+2x^2\right)\\ & y_{\text{distorted }}=y+p_1\left(r^2+2y^2\right)+2p_{2}xy\end{array}\end{array}\text{\hspace{1em}(3-11)}$$

（4）去畸变的过程：

• 将三维空间上的点投影到归一化平面，得到坐标 $[x,y{]}^T$；

• 计算径向畸变和切向畸变

$$\{\begin{array}{l}{x}_{distorted}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_{1}xy+p_2\left(r^2+2x^2\right)\\ \\ y_{distorted}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_1\left(r^2+2y^2\right)+2p_{2}xy\end{array}\text{\hspace{1em}(3-12)}$$

• 通过内参矩阵将相机坐标投影到像素平面。
  

（5）单目相机的成像过程

• 世界坐标系下一点 $P_w$；

• 经旋转平移得到相机坐标 ${\tilde{P}}_{\mathrm{c}}=\mathbf{R}{\mathbf{P}}_{\mathbf{w}}+\mathbf{t}$；

• 将坐标的三个分量分别除以 $Z$，得到归一化坐标 $P_c=[X/Z,Y/Z,1{]}^T$；

• 计算发生畸变后的坐标；

• 经过内参矩阵，得到像素坐标 ${\mathbf{P}}_{uv}=\mathbf{K}{\mathbf{P}}_{\mathbf{c}}$。

4.1.3 双目相机模型

其中，$O_L$ 和 $O_R$为左右相机光圈中心，两者之间的距离称为基线；$f$ 为焦距；$u_R$ 为负数，需加负号。

根据几何关系，有

$$\frac{z-f}{z}=\frac{b-(u_L-u_R)}{b}=\frac{b-u_L+u_R}{b}\text{\hspace{1em}(3-13)}$$

定义 $d=u_L-u_R$，称为视差， 整理上式得，

$$z=\frac{fb}{d}\text{\hspace{1em}(3-14)}$$

可见，视差越大，距离越近。基线 $b$ 越大，可测量的距离就越大；反之，小型双目器件只能测量很近的距离。

4.1.4 RGB-D 相机模型

RGB-D 相机可以主动测量每个像素的深度，按原理可分为两类：

• 通过红外结构光原理测量像素距离。

• 通过飞行时间原理测量像素距离。

RGB-D 相机容易受到日光或其他传感器的干扰，因此不能在室外使用。

4.2 图像