https://blog.csdn.net/wangliang888888/article/details/103695002

一、摄像头的基本知识

1.1 摄像头结构

摄像头模组(Camera Compact Module，CCM)。有自动对焦功能的摄像头和没有自动对焦的摄像头结构图。它们的差别一般就是音圈马达（是的！自动对焦功能的摄像头模组上有一个微型的马达！）。

摄像头模组主要由以下几个部分组成：

镜头(Lens)：将光线汇聚到图像传感器上。
音圈马达(VCM)：完成摄像头的自动对焦。
红外滤光片(IR-cut Filter)：滤除人眼的非可见光。
图像传感器(Sensor)：将光信号转换成电信号。
柔性印制电路板(FPCB)：将摄像头模组与主处理器连接起来，并进行数据传输。

音圈马达(Voice Coil Motor)也叫音圈电机，它的原理与扬声器类似，在一个永久磁场内放置一个线圈，线圈通电后会产生磁场（安培定则），从而与外围的永久磁铁产生引力或斥力，导致线圈受力移动。如果把镜头安置在线圈上，则可以通过改变电流大小线圈带动镜头前后运动，从而控制镜头的位置，完成对焦的功能。

VCM通常搭配VCM Driver IC(VCM驱动芯片)、AF(Auto Focus，自动对焦)算法一起使用。首先，Sensor采集的图像输入到ISP中，由ISP中的AF算法计算当前图像的焦点步数，并通过I2C传输给Driver IC，Driver IC据此计算出移动线圈到该位置所需要的电流大小，从而精确的控制镜头的行为，达到自动对焦的效果。当然，该方法也可以实现光学防抖(Optical Image Stabilizer，OIS)的效果，其原理是相同的。

参考：Sensor简介(一)：摄像头模组CCM的结构和原理简述

1.2 摄像头模组的种类

CCM分为4种：FF、MF、AF和ZOOM。

FF	Fix Focus	定焦摄像头，是国内目前用的最多摄像头，用于30万和130万的手机产品。
MF	Micro Focus	两档变焦摄像头，主要用于近景拍照，如带有名片识别以及条形码识别的手机上，用于130万和200万的手机产品。
AF	Auto Focus	自动变焦摄像头，主要用于高像素手机，同时具有MF的功能，用于200万和300万的手机产品。
Zoom	Auto Zoom	自动数码变焦（在机位不动的条件下，景别可以从大到小、或从小到大连续变化）摄像头，主要用于相机手机，类似于相机影像的品质，用于300万以上的手机产品。

1.3 摄像头的工作原理

拍摄物体通过镜头（lens）,将生成的光学图像投射到感光传感器（sensor）上，把光信号转换成电信号，电信号再经过模数转换把电信号转换成数字信号，数字信号经过DSP加工处理，转换成标准的RGB、YUV等格式图像信号存储在设备上最终通过显示器可以看到图像了

二、Sensor的基本知识

2.1 Sensor的工作原理

Lens的作用是滤去不可见光，让可见光进入，并投射到Sensor上。Sensor的工作原理：光照–〉电荷–〉弱电流–〉RGB数字信号波形–〉YUV数字信号信号

2.2 Sensor的分类

元件类型不同分为：CCD 和CMOS。

• CCD（Charge CoupLED Device，），一般是用于摄影摄像方面的高端技术元件。CCD的优点是灵敏度高，噪音小，信噪比大。但是生产工艺复杂、成本高、功耗高。
• CMOS（Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件）应用于较低影像品质的产品中。CMOS的优点是集成度高、功耗低(不到CCD的1/3)、成本低。但是噪音比较大、灵敏度较低。对于CMOS来说，具有便于大规模生产，且速度快、成本较低，将是数字相机关键器件的发展方向。CMOS感光器以已经有逐渐取代CCD感光器的趋势，并有希望在不久的将来成为主流的感光器。

2.3 Sensor的封装形式

Sensor的封装形式有两种：CSP和DICE。在模组厂商加工制造中，CSP所对应的制程是SMT，DICE所对应的制程是COB。

2.4 常见的Sensor厂商

Omnivision	豪威科技	OV2640,OV5640
Siliconfile	赛丽康
Samsung	三星
SONY	索尼
Aptina	普廷

2.5 Sensor的基本框图

三、ISP的基本知识

3.1 ISP的定义

ISP (Image Signal Processor)，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节。

3.2 ISP的工作原理

从 Sensor 端过来的图像是 Bayer 图像，经过黑电平补偿、镜头矫正、坏像素矫正、颜色插值、Bayer 噪声去除、白平衡、色彩矫正、Gamma 矫正、色彩空间转换（ RGB 转换为 YUV ）、在 YUV 色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制等，然后输出 YUV（ 或者 RGB ）格式的数据，再通过 I/O 接口传输到 CPU 中处理。（以 OV495 为例）

摄像头ISP系统原理（上）
摄像头ISP系统原理（中）
摄像头ISP系统原理（下）

ISP 的控制结构如图1-1 所示，lens 将光信号投射到sensor 的感光区域后，sensor 经过光电转换，将Bayer 格式的原始图像送给ISP，ISP 经过算法处理，输出RGB 空间域的图像给后端的视频采集单元。在这个过程中，ISP 通过运行在其上的firmware 对ISP逻辑，lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，firmware 的运转靠视频采集单元的中断驱动。PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。

ISP概述、工作原理及架构

四、ISP图像处理算法

4.1 AE（Automatic Exposure）自动曝光

自动曝光是指根据光线的强弱自动调整曝光量，防止曝光过度或者不足，在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别，从而捕获的视频或图像既不太暗也不太亮。

4.2 HDR（High-Dynamic Range Imaging）高动态范围成像

Sensor的动态范围就是Sensor在一幅图像里能够同时体现高光和阴影部分内容的能力。在自然界的真实情况，有些场景的动态范围要大于100 dB，人眼的动态范围可以达到100dB。高动态范围成像的目的就是要正确地表示真实世界中的亮度范围。适合场景：比较适合在具有背光的高对比度场景下使用如：日落、室内窗户，这样能使明处的景物不致过曝，而使得暗处的景物不致欠曝。

4.3 AWB（Automatic White Balance）自动白平衡

白平衡就是针对不同光线条件下，通过找到图像中的白块，然后调整 R/G/B 的比例抵消偏色，把白色物体还原成白色物体，使其更接近人眼的视觉习惯。

4.4 CCM（Color Correction）颜色校正

颜色校正主要为了校正在滤光板处各颜色块之间的颜色渗透带来的颜色误差。一般颜色校正的过程是首先利用该图像传感器拍摄到的图像与标准图像相比较，以此来计算得到一个校正矩阵。该矩阵就是该图像传感器的颜色校正矩阵。在该图像传感器应用的过程中，及可以利用该矩阵对该图像传感器所拍摄的所有图像来进行校正，以获得最接近于物体真实颜色的图像。

4.5 DNS（Denoise）去噪

使用 CMOS Sensor 获取图像，光照程度和传感器问题是生成图像中大量噪声的主要因素。同时，当信号经过 ADC 时，又会引入其他一些噪声。这些噪声会使图像整体变得模糊，而且丢失很多细节，所以需要对图像进行去噪处理空间去噪传统的方法有均值滤波、高斯滤波。

4.6 BLC（Black Level Correction）黑电平校正

Black Level 是用来定义图像数据为 0 时对应的信号电平。由于暗电流的影响，传感器出来的实际原始数据并不是我们需要的黑平衡。为减少暗电流对图像信号的影响，采用的方法是从已获得的图像信号中减去参考暗电流信号。一般情况下,在传感器中，实际像素要比有效像素多,像素区头几行作为不感光区，用于自动黑电平校正,其平均值作为校正值，然后在下面区域的像素都减去此矫正值，那么就可以将黑电平矫正过来了。

4.7 LSC（Lens Shade Correction）镜头阴影校正

由于相机在成像距离较远时，随着视场角慢慢增大，能够通过照相机镜头的斜光束将慢慢减少，从而使得获得的图像中间比较亮，边缘比较暗，这个现象就是光学系统中的渐晕。由于渐晕现象带来的图像亮度不均会影响后续处理的准确性。因此从图像传感器输出的数字信号必须先经过镜头矫正功能块来消除渐晕给图像带来的影响。