相机模型-内参、外参

更多内容，请关注：
github：https://github.com/gotonote/Autopilot-Notes.git）

针孔相机模型，包含四个坐标系：物理成像坐标系、像素坐标系、相机坐标系、世界坐标系。

相机参数包含：内参、外参、畸变参数

一、 内参（Intrinsics）

物理成像坐标系： $O^{\prime }-x^{\prime }-y^{\prime }$

像素坐标系： $O-u-v$

相机坐标系： $O-x-y$

世界坐标系： $O-X-Y-Z$

在世界坐标系下的点 $P[X,Y,Z{]}^T$ ，通过相机坐标系下的光心 $O$ 投影到物理成像平面上的 $P^{\prime }[X^{\prime },Y^{\prime },Z^{\prime }{]}^T$ ，对应到像素坐标系下的 $[u,v{]}^T$ 。

由相似三角形可以得到：

$$\frac{Z}{f}=-\frac{X}{X^{\prime }}=-\frac{Y}{Y^{\prime }}$$

带负号是因为小孔成像成的是倒像。为了简化模型，可以把物理成像平面看作为放到了相机的前方，这样可以直观的认为成立的正像（虚像），如下图2：

可以得到：

$$\begin{array}{r}\frac{Z}{f}=\frac{X}{X^{\prime }}=\frac{Y}{Y^{\prime }}\end{array}$$

$$\begin{array}{r}{X}^{\prime }=f\frac{X}{Z}\end{array}$$

$$\begin{array}{r}{Y}^{\prime }=f\frac{Y}{Z}\end{array}$$

从物理成像坐标系到像素坐标系之前，相差了一个缩放和平移。缩放是因为两个坐标系之前的表示的单位长度不一致，平移是因为两个坐标系的原点不一致。

假设，像素坐标在 $u$ 方向上缩放了 $\alpha$ 倍，在 $v$ 方向上缩放了 $\beta$ 倍，同时，原点平移了 $[c_x,c_y{]}^T$ 。那么点 $P^{\prime }[X^{\prime },Y^{\prime },Z^{\prime }{]}^T$ 与像素坐标系下 $[u,v{]}^T$ 的关系为：

$$\{\begin{array}{l}u=\alpha X^{\prime }+c_x\\ v=\beta Y^{\prime }+c_y\end{array}$$

$$f_x=\alpha f$$

$$f_y=\beta f$$

$$\{\begin{array}{l}u=f_x\frac{X}{Z}+c_x\\ v=f_y\frac{Y}{Z}+c_y\end{array}$$

其中，变量的单位是 $f\to mm;\alpha ,\beta \to 像素/mm;f_x,f_y\to 像素$。将坐标进行归一化，写成矩阵形式，并对左侧像素坐标进行齐次化，方便后面的运算：

$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{Z}\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\mathbf{P}\stackrel{△}{=}\frac{1}{Z}\mathbf{KP}$$

$$Z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\mathbf{P}\stackrel{△}{=}\mathbf{KP}$$

把中间的量组成的矩阵称为相机的内参矩阵（Camera Intrinsics） $\mathbf{K}$ 。

（一） 内参矩阵参数获取

图像大小 $[w,h]$ ，单位 $pixel$ ；相机焦距 $f$ ，单位 $mm$ ；视场角 $FOV-\alpha$ ，单位弧度；像素单元长度 $\mathrm{d}x,\mathrm{d}y$ ，单位 $mm/pixel$ ；内参 $f_x,f_x $，单位 $pixel$ ：

$${\mathbf{f}}_{\mathbf{x}}=\frac{\mathbf{f}}{\mathrm{d}\mathbf{x}}$$

$${\mathbf{f}}_{\mathbf{y}}=\frac{\mathbf{f}}{\mathrm{d}\mathbf{y}}$$

$${\mathbf{c}}_{\mathbf{x}}=\frac{\mathbf{w}}{2}(假设相机主点在图像中央)$$

$${\mathbf{c}}_{\mathbf{y}}=\frac{\mathbf{h}}{2}(假设相机主点在图像中央)$$

​ ${\mathbf{f}}_{\mathbf{x}}$就相当于用 $x$ 方向的像素数去量化物理焦距 $f$ ；

​ ${\mathbf{f}}_{\mathbf{y}}$就相当于用 $y$ 方向的像素数去量化物理焦距 $f$ ；

1. 已知相机的硬件参数求内参

相机的内参出厂后就是固定不变的，如果知晓相机的出厂参数，可以计算相机的内参。

如成像传感器是 $m\times n(\mu m)$ ，图像尺寸是 $w\times h(pixel)$ ，那么图像像素单元就是

$$\mathrm{d}x=\frac{m}{w}(\mu m/pixel)$$

$$\mathrm{d}y=\frac{n}{h}(\mu m/pixel)$$

$$\begin{gathered} c_x=\frac{w}{2} \\ {c}_y=\frac{h}{2} \end{gathered}$$

如果 $\mathrm{d}x=\mathrm{d}y$ ，则图像像素单元是一个正方形，此时 ${\mathbf{f}}_{\mathbf{x}}={\mathbf{f}}_{\mathbf{y}}$ ；

如果 $\mathrm{d}x\ne \mathrm{d}y$ ，则图像像素单元是一个矩形，此时 ${\mathbf{f}}_{\mathbf{x}}\ne {\mathbf{f}}_{\mathbf{y}}$ 。

如成像传感器是 $2000\times 1000(\mu m)$ ，图像尺寸是 $1000\times 500(pixel)$ ，那么图像像素单元就是 $\mathrm{d}x=\mathrm{d}y=2(\mu m/pixel)$ ， $c_x=500,c_y=250(pixel)$ 。

2. 求视场角 FOV

这里只是求水平方向上的 FOV，垂直方向上的 FOV 求法和水平是一致的。

（参考图3）其中，成像传感器是 $m\times n(\mu m)$ ，图像尺寸是 $w\times h(pixel)$ ，像素单元 $x$ 轴方向长度 $\mathrm{d}x=\frac{m}{w}(\mu m/pixel)$ ，可以看到：

$$\begin{array}{r}\tan (\frac{\alpha }{2}\cdot \frac{\pi }{180})=\frac{m/2}{f}\end{array}$$

$$\begin{array}{r}FOV=\alpha =2\arctan (\frac{m/2}{f})\cdot \frac{180}{\pi }\end{array}$$

$$m=w\cdot \mathrm{d}x$$

$$FOV=\alpha =2\arctan (\frac{w\cdot \mathrm{d}x/2}{f})\cdot \frac{180}{\pi }$$

$$f_x=\frac{f}{\mathrm{d}x}$$

$$\begin{array}{r}FOV=\alpha =2\arctan (\frac{w}{2f_x})\cdot \frac{180}{\pi }\end{array}$$

如果已知相机传感器尺寸，通过公式 (5) 可以计算出相机的视场角 $FOV$ ；

如果已知相机内参，通过公式 (6) 可以计算出相机的视场角 $FOV$ 。

3. 通过 FOV 计算内参

由公式 (6)，可得：

$$\frac{w}{2f_x}=\tan (\frac{FOV}{2}\cdot \frac{\pi }{180})$$

$$f_x=\frac{w}{2\tan (\frac{FOV}{2}\cdot \frac{\pi }{180})}$$

$$f_y=\frac{h}{2\tan (\frac{FOV}{2}\cdot \frac{\pi }{180})}$$

如果 $\mathrm{d}x=\mathrm{d}y$ ，则图像像素单元是一个正方形，此时 ${\mathbf{f}}_{\mathbf{x}}={\mathbf{f}}_{\mathbf{y}}$ ； ${\mathbf{c}}_{\mathbf{x}}=\frac{\mathbf{w}}{2}$ ； ${\mathbf{c}}_{\mathbf{y}}=\frac{\mathbf{h}}{2}$ 。

二、 外参 (Extrinsics)

相机外参的逆矩阵被称为camera-to-world (c2w)矩阵，其作用是把相机坐标系的点变换到世界坐标系。因为NeRF主要使用c2w，这里详细介绍一下c2w的含义。c2w矩阵是一个4x4的矩阵，左上角3x3是旋转矩阵R，右上角的3x1向量是平移向量T。有时写的时候可以忽略最后一行 [0,0,0,1] 。c2w矩阵的值直接描述了相机坐标系的朝向和原点：

$$
\left[
\begin{matrix}
R & T \
0 & 1 \
\end{matrix}
\right]

\left[
\begin{matrix}
r_{11} & r_{12} & r_{13} & t_1 \
r_{21} & r_{22} & r_{23} & t_2 \
r_{31} & r_{32} & r_{33} & t_3 \
0 & 0 & 0 & 1 \
\end{matrix}
\right]
$$

$$
\left[
\begin{matrix}
R & T \
\end{matrix}
\right]

\left[
\begin{matrix}
r_{11} & r_{12} & r_{13} & t_1 \
r_{21} & r_{22} & r_{23} & t_2 \
r_{31} & r_{32} & r_{33} & t_3 \
\end{matrix}
\right]
$$

具体的，旋转矩阵的第一列到第三列分别表示了相机坐标系的 X, Y, Z 轴在世界坐标系下对应的方向；平移向量表示的是相机原点在世界坐标系的对应位置。

相机内参描述的是在相机坐标系下的点到像素坐标系下的对应关系，上文内提到的 $\mathbf{P}$ 也是在相机坐标系下的点。相机在三维空间中运动，记点 $\mathbf{P}$ 在世界坐标系下的点为 ${\mathbf{P}}_w$ ，在相机坐标系下的坐标为 ${\mathbf{P}}_c$ 。

相机在世界坐标系下的位姿，由相机的旋转矩阵 $\mathbf{R}$ 和平移向量 $\mathbf{t}$ 来描述。此时有( 以下用${\mathbf{T}}_{3\times 4}$ 代表 $[RT]$ )：

$$Z\cdot {\mathbf{P}}_{\mathbf{uv}}{|}_{3\times 1}$$

$$=Z\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$$

$$=\mathbf{K}(\mathbf{R}{\mathbf{P}}_{\mathbf{w}}+\mathbf{t})$$

$$\begin{array}{r}={\mathbf{K}}_{3\times 3}\cdot {\mathbf{T}}_{3\times 4}\cdot {\mathbf{P}}_{\mathbf{w}}{}_{4\times 1}\end{array}$$

两侧都是齐次坐标，同时因为齐次坐标乘上非零常数后表达同样的含义，所以可以简单地把Z去掉：

$${\mathbf{P}}_{\mathbf{uv}}=\mathbf{KT}{\mathbf{P}}_{\mathbf{w}}$$

但这样等号意义就变了，成为在齐次坐标下相等的概念，相差了一个非零常数。为了避免麻烦，我们还是从传统意义下来定义书写等号。

式 (7) 表明，我们可以把一个世界坐标点先转换到相机坐标系，再除掉它最后一维的数值（该点距离相机成像平面的深度），这就相当于把最后一维进行了 归一化处理 ，得到点 $P$ 在相机 归一化平面 上的投影：

$$\begin{gathered} (\mathbf{R}{\mathbf{P}}_{\mathbf{w}}+\mathbf{t})=[X,Y,Z{]}^T\to [X/Z,Y/Z,1{]}^T \\ (相机坐标\to 归一化坐标) \end{gathered}$$

归一化坐标 可以看成相机前方 $Z=1$ 处的平面上的一个点，这个 $Z=1$ 平面也称为 归一化平面 。归一化坐标左称内参 $\mathbf{K}$ 就得到了像素坐标，因此可以把像素坐标 $[u,v{]}^T$ 看成对归一化平面上的点进行量化测量的结果。

同时可以看到，如果对相机坐标同时乘上任意非零常数，归一化坐标都是一样的，也就是 点的深度信息在投影的过程中丢失了 ，所以在单目视觉中没法得到像素点的深度值。

通过最终的转换关系来看，一个三维中的坐标点，的确可以在图像中找到一个对应的像素点，但是反过来，通过图像中的一个点找到它在三维中对应的点就很成了一个问题，因为我们并不知道等式左边的 $z_c$（深度值）的值。