5.相机与图像

 相机将三维世界中的坐标点（单位米）映射到二维图像平面（单位为像素）的过程中能够用一个几何模型进行描述。

单目相机(Mono)的成像过程：

1、世界坐标系下有个固定的点P，世界坐标为

2、由于相机在运动，它的运动由或变换矩阵描述。P的相机坐标为

3、这时的的分量为X，Y，Z，把他们投影到归一化平面Z=1上，得到P的归一化坐标：

4、有畸变时，根据畸变参数计算发生畸变后的坐标。

5、P的归一化坐标经过内参后，对应到它的像素坐标：

双目相机模型：

双目相机原理：通过同步采集左右相机的图像，计算图像间视差，以便估计每一个像素的深度。

基线：两个光圈中心的距离。

根据视差可以估计一个像素与相机之间的距离。视差与距离成反比：视差越大，距离越近。

视差本身很难计算。而且只有在图像纹理变化丰富的地方才能计算视差。由于计算量的原因，双目深度估计仍需要使用GPU或者FPGA来实时计算。

RGB-D相机模型：

它能够主动测量每个像素的深度。目前的RGB-D相机按原理可分为两大类：

1、通过红外结构光（Structured Light）原理测量像素距离。

2、通过飞行时间（Time-of-Flight, ToF）原理测量像素距离。 

RGB-D相机能够实时地测量每个像素的距离。但是使用范围受限。使用红外光进行深度测量的RGB-D相机，任意受到日光或者其他传感器发射的红外光干扰，因此不能在室外使用。在没有调制的情况下，同时使用多个RGB-D相机时也会相互干扰。对于投射材质的物体，因为接收不到反射光，所以无法测量这些点的位置。成本和功耗也较高。

 图像

在数学中，图像可以用一个矩阵来描述，计算机中它们占据 一段连续的磁盘或内存空间，可以用二维数组表示。