双目立体视觉原理

设一个为参考平面，一个为目标平面。增加了一个摄像头后，P与Q在目标面T上有分别的成像点

双目立体视觉：从两个不同的位置观察同一物体，用三角测量原理计算摄像机到该物体的距离的 方法

原理：三角测量

计算：

相机焦距 f 

左右相机基线 b

视差 d ：需要知道左相机的每个像素点(xl, yl)和右相机中对应点(xr, yr)的对应关系

双目相机标定

立体相机标定用于确定立体相机对中相机的内参以及相对位置

得到两个相机的内外参数、单应矩阵

极线与视差计算

极线：

极线约束：在一个图像平面上，所有的外极线都交于外极点

        外极平面：通过两个摄像机中心和场景特征点的平面

        外极线：外极平面与图像平面的交线

        外极点：两台摄像机中心的连线与图像平面的交点

相机C1，C2如果不是在同一直线上：对两张图片用单应矩阵变换

互相平行

图像匹配

对应点应该是在极线附近，搜索范围适当放宽

判断对应点时的问题：

（1）失真与噪声

（2）镜面反射

（3）透视失真

（4）透视缩放

图像“灰度”匹配：通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系

图像“特征”匹配：通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配

“双目立体视觉”测距步骤

Step 1-确定摄像机的相对几何位置和有关参数，即摄像机的标定（Calibration）

Step 2-寻找在两幅图像中都便于区分的特征，或用于匹配的 基元

Step 3-把左、右两幅图像中的有关特征进行匹配，即解决特征匹配的方法问题

Step 4-根据视差计算成像物体相对摄像机的距离

“双目立体视觉”应用特点

对相机硬件要求低，成本低

对环境光照非常敏感

不适用于单调缺乏纹理的场景

计算复杂度高，需要逐像素计算匹配

相机基线限制了测量范围：基线越大，测量范围越远