SLAM十四讲【四】相机与图像

SLAM十四讲【一】基本概念
SLAM十四讲【二】三维空间刚体运动
SLAM十四讲【三】李群与李代数
SLAM十四讲【四】相机与图像
SLAM十四讲【五】线性优化
SLAM十四讲【六】视觉里程计
SLAM十四讲【七】回环检测
SLAM十四讲【八】建图

文章目录

SLAM十四讲【四】相机与图像
一、相机模型
- 1.1 针孔相机模型
- 1.2 畸变模型
- 1.3 双目相机模型
- 1.4 RGB-D相机模
二、图像

一、相机模型

相机将三维世界中的坐标点（单位为米）映射到二维图像平面（单位为像素）的过程能够用一个几何模型进行描述。这个模型有很多种，其中最简单的称为针孔模型。针孔模型是很常用而且有效的模型，它描述了一束光线通过针孔之后，在针孔背面投影成像的关系。在本书中我们用一个简单的针孔相机模型对这种映射关系进行建模。同时，由于相机镜头上的透镜的存在，使得光线投影到成像平面的过程中会产生畸变。因此，我们使用针孔和畸变两个模型来描述整个投影
过程。

1.1 针孔相机模型

小孔模型能够把三维世界中的蜡烛投影到一个二维成像平面。
在这里插入图片描述
现在对这个简单的针孔模型进行几何建模。设O-x-y-z为相机坐标系，习惯上我们让z轴指向相机前方，轴向右，y轴向下（此图我们应该站在左侧看右侧）。O为摄像机的光心，也是针孔模型中的针孔。现实世界的空间点P,经过小孔O投影之后，落在物理成像平面 O’-x’-y’上，成像点为P。设P的坐标为 [X,Y,Z]^T ,P为 [X’,Y’,Z’] T,并且设物理成像平面到小孔的距离为f(焦距)。那么，根据三角形相似关系，有
在这里插入图片描述
实际相机得到的图像不是倒立的，会由软件处理，比如opencv或手机系统的相机处理后的图像都是正像，而iphone手机拿到的就是需要翻转的像。

那么整理可得：
在这里插入图片描述
为了描述传感器将感受到的光线转换成图像像素的过程，我们设在物理成像平面上固定着一个像素平面o-u-v。我们在像素平面得到了P的像素坐标： [u,v]^T
像素坐标系通常的定义方式是：原点d位于图像的左上角，u轴向右与轴平行，v轴向下与y轴平行。像素坐标系与成像平面之间，相差了一个缩放和一个原点的平移。我们设像素坐标在u轴上缩放了α倍，在v轴上缩放了B倍。同时，原点平移了 [c_x,c_y]^T 。那么，P的坐标与像素坐标 [u,v]^T 的关系为
在这里插入图片描述
代入并把af合并成f，把bf合并成fy，得

其中，f的单位为米，a,B的单位为像素/米，所以fx,fy和Cx,Cy的单位为像素。把该式写成矩阵形式会更加简洁，不过左侧需要用到齐次坐标，右侧则是非齐次坐标：
在这里插入图片描述
将Z移到左侧

中间的矩阵就是相机的内参数矩阵K，这个内参在出厂后基本不变，一般需要自己标定。
因为相机在运动，所以还存在一个相机位姿变换，由旋转矩阵R和平移向量t来描述：

相机的位姿R,t就是相机的外参数，外参是会随着相机运动发生变化，也是SLAM中待估计的目标，代表
着机器人的轨迹。
上式表明，我们可以把一个世界坐标点先转换到相机坐标系，再除掉它最后一维的数值（即该点距离相机成像平面的深度），这相当于把最后一维进行归一化处理，得到点P在相机归一化平面上的投影：
在这里插入图片描述
归一化坐标可看成相机前方2=1处的平面上的一个点，这个2=1平面也称为归一化平面。归一化坐标再左乘内参就得到了像素坐标，所以我们可以把像素坐标[u,v]^T 看成对归一化平面上的点进行量化测量的结果。从这个模型中也可以看出，如果对相机坐标同时乘以任意非零常数，归一化坐标都是一样的，这说明点的深度在投影过程中被丢失了，所以单目视觉中没法得到像素点的深度值。

1.2 畸变模型

为了获得好的成像效果，我们在相机的前方加了透镜。透镜的加人会对成像过程中光线的传播产生新的影响：一是透镜自身的形状对光线传播的影响；二是在机械组装过程中，透镜和成像平面不可能完全平行，这也会使光线穿过透镜投影到成像面时的位置发生变化。
由透镜形状引起的畸变(Distortion,也叫失真)称为径向畸变。在针孔模型中，一条直线投影到像素平面上还是一条直线。可是，在实际拍摄的照片中，摄像机的透镜往往使得真实环境中的一条直线在图片中变成了曲线。越靠近图像的边缘，这种现象越明显。由于实际加工制作的透镜往往是中心对称的，这使得不规则的畸变通常径向对称。它们主要分为两大类：桶形畸变和枕形畸变。桶形畸变图像放大率随着与光轴之间的距离增加而减小，而枕形畸变则恰好相反。在这两种畸变中，穿过图像中心和光轴有交点的直线还能保持形状不变。
在这里插入图片描述

除了透镜的形状会引入径向畸变，由于在相机的组装过程中不能使透镜和成像面严格平行，所以也会引入切向畸变。
在这里插入图片描述
考虑归一化平面上的任意一点p,它的坐标为 [x,y]^T ,也可写成极坐标的形式 [r,θ]^T ,其中r表示点p与坐标系原点之间的距离，表示与水平轴的夹角。径向畸变可以看成坐标点沿着长度方向发生了变化，也就是其距离原点的长度发生了变化。切向畸变可以看成坐标点沿着切线方向发生了变化，也就是水平夹角发生了变化。通常假设这些畸变呈多项式关系，即
在这里插入图片描述
其中， [xdistorted,ydistored∫ 是畸变后点的归一化坐标。
对于切向畸变，可以使用另外两个参数p1,p2进行纠正：

联立两式，能够通过5个畸变系数找到这个点在像素平面上的正确位置：
1.将三维空间点投影到归一化图像平面。设它的归一化坐标为 [x,y]^T
2.对归一化平面上的点计算径向畸变和切向畸变。
在这里插入图片描述
3.将畸变后的点通过内参数矩阵投影到像素平面，得到该点在图像上的正确位置。

k1,k2,p1,p2,k3就组成了相机的畸变系数。通常对摄像头获取的图像去畸变后再进行图像处理。

1.3 双目相机模型

双目视觉模型如下：
在这里插入图片描述
其中，OL,OR为左右光圈中心，方框为成像平面，f为焦距。UL和UR为成像平面的坐标。请注意，按照图中坐标定义，U应该是负数，所以图中标出的距离为-UR.
双目相机一般由左眼相机和右眼相机两个水平放置的相机组成。两个相机的光圈中心都位于轴上。两者之间的距离称为双目相机的基线（记作b）,是双目相机的重要参数。
现在，考虑一个空间点P,它在左眼相机和右眼相机各成一像，记作PL, PR。由于相机基线的存在，这两个成像位置是不同的。理想情况下，由于左右相机只在轴上有位移，所以P的像也只在x轴（对应图像的u轴）上有差异。记它的左侧坐标为UL，右侧坐标为UR，几何关系上如图所示。根据 △PPLPR 和 △POLOR 的相似关系，有
在这里插入图片描述

其中d定义为左右图的横坐标之差，称为视差。根据视差，我们可以估计一个像素与相机之间的距离。视差与距离成反比：视差越大，距离越近。同时，由于视差最小为一个像素，于是双目的深度存在一个理论上的最大值，由fb确定。我们看到，基线越长，双目能测到的最大距离就越远；反之，小型双目器件则只能测量很近的距离。相似地，我们人眼在看非常远的物体时（如很远的飞机)，通常不能准确判断它的距离。

1.4 RGB-D相机模

RGB-D相机能够主动测量每个像素的深度，根据原理可分为两大类：通过红外结构光(StructuredLight)原原理测量像素距离和通过飞行时间(Time-of-Flight,ToF)原理测量像素距离。
在这里插入图片描述
在红外结构光原理中，相机根据返回的结构光图案，计算物体与自身之间的距离。而在ToF原理中，相机向目标发射脉冲光，然后根据发送到返回之间的光束飞行时间，确定物体与自身的距离。
在测量深度之后，RGB-D相机通常按照生产时的各相机摆放位置，自己完成深度与彩色图像素之间的配对，输出一一对应的彩色图和深度图。我们可以在同一个图像位置，读取到色彩信息和距离信息，计算像素的3D相机坐标，生成点云(PointCloud)。既可以在图像层面对RGB-D数据进行处理，也可在点云层面处理。
RGB-D相机能够实时地测量每个像素点的距离。但是，由于使用这种发射-接收的测量方式，其使用范围比较受限。用红外光进行深度值测量的RGB-D相机，容易受到日光或其他传感器发射的红外光干扰，因此不能在室外使用。在没有调制的情况下，同时使用多个RGB-D相机时也会相互干扰。对于透射材质的物体，因为接收不到反射光，所以无法测量这些点的位置。此外，RGB-D相机在成本、功耗方面，都有一些劣势。