图像工程

0. 介绍

各种与图像有关的技术的总成，根据其特点分为 3 个既有联系又有区别的层次：

1. 图像处理
2. 图像分析
3. 图像理解

这三者有机结合为图像工程。
不用纠结。
研究内容涉及多个领域，综合性强的交叉学科。

0.1 数字图像处理

通过计算机对图像进行去除噪声，增强，复原，分割，特征提取，分类识别等处理方法和技术。

0.2 数字图像分析

图像处理的高级阶段，通过边缘检测，区域分割，特征提取等手段将原来以像素描述的图像变成比较简洁地对目标的描述。

0.3 数字图像理解

进一步研究图像中各个目标地性质及其相互间的联系。
与 AI 密切相关，随着 CV 和 AI 的发展，对 CV 研究的延伸和扩展。

1. 概述

1.1 图像的概念

图像是客观对象的一种相似性，生动性的描述或者写真，是人类社会活动中最常用的信息载体。

如照片，绘画，地图，X光片，脑电图等。

1.2 图像的特点

直观形象，易懂，信息量大

1.3 数字图像的概念

以数字格式存放的图像。

数字图像是由模拟图像数字化得到的，以像素为基本元素，可以用数字计算机或者数字电路存储和处理的图像。

数字图像是真实场景的近似结果。

1.3.1 模拟图像

图象是连续的，用函数 $f(x,y)$ 表示的图像。

1.3.2 数字图像

1.3.3 像素

计算机中，图象被分割成像素，各个像素的灰度值用整数表示。

1.4 数字图像的分类

按灰度分类：二值（黑 0 / 白 1），灰度（纯黑 0 ~ 纯白 255）

按色彩分类：单色，彩色

按运动分类：静态，动态
按时空分布分类：二维，三维

1.5 数字图像的应用领域

1. 传统领域
   视频通讯（可视电话等）， 文字档案（文字识别等），生物医学，遥感测绘，工业生产，军事公安，交通管理等
2. 最新领域
   指纹识别，人脸识别，互联网，视频，多媒体，VR，电商等

1.6 图像工程

图像处理（图像-图像）
图像分析（图像-数据）
图像理解（图像-解释）

1.7 数字图像技术研究内容

1.7.1 图像获取

模拟图像通过离散化变成数字图像。

1.7.2 数据增强

数据增强主要是为了减少网络的过拟合现象，通过对训练图像进行变换可以得到泛化能力更强的网络，更好的适应应用场景。

1.7.3 图像去噪

现实中的数字图像在数字化和传输过程中受到成像设备和外界环境的影响。图像去噪就是减少数字图像中噪声的过程。
（中值滤波等技术）

1.7.4 图像增强

1.7.5 图像分割★

1.7.6 图像复原

1.7.7 图像配准

1.7.8 图像匹配

1.7.9 图像融合

1.7.10 图像压缩

1.7.11 图像分类

1.7.12 目标检测

1.7.13 图像识别

1.7.14 图像修复

1.7.15 图像风格迁移

1.7.16 图像超分辨率重建

1.7.17 图像检索

1.8 数字图像技术未来发展趋势

向着网络媒体，海量，告诉，高分辨率，立体化，多媒体化，智能化和标准化方向发展。

图形，图像相结合，朝着三维成像和多维成像方向发展。

新理论和新算法。

2. 数字图像基础

2.1 图像的采样和量化

2.1.1 图像采集系统

2.1.2 图像数字化

2.1.3 采样和量化

2.1.4 采样处理

2.1.5 量化处理

2.2 颜色模型

颜色模型指的是某个三维颜色空间中的一个可见光子集，它包含某个色彩域的所有色彩。一般而言，任何一个色彩域都只是可见光的子集，任何一个颜色模型都无法包含所有的可见光。常见的颜色模型有RGB CIECMY/CMYK、(HSK NTSC、YcbCr、HSV 等）。

2.2.1 灰度模型

灰度级数越多，图像层次越丰富，数据量越大。
灰度级数越少，图像层次越不丰富，出现假轮廓现象，数据量越小。

2.2.2 彩色模型

2.3 图像格式

位图（光栅图、像素图）：通过许多像素点表示一幅图像。

• 色彩丰富，颜色自然逼真；
• 文件大，放大出现锯齿
  
  矢量图：使用线段和形状来描述图像，通过数学公式计算获得。
• 文件小，放大仍然清晰
• 色彩不丰富，不够逼真，不易在不同软件之间交换文件
  

2.3.1常见文件格式

2.3.1.1 BMP

2.3.1.2 GIF

2.3.1.3 JPEG

2.3.1.4 PNG

2.4 图像处理 Matlab 编程基础

3. 图像的基本运算

3.1 图像运算

3.1.1 代数运算

3.1.2 逻辑运算

逻辑运算主要是针对一幅或两幅二值图像进行逻辑与、或、非等。

3.1.3 几何运算

图像元素的色彩不变，只改变色彩位置。
可以用来扩展数据集。

3.1.4 插值运算

3.2 代数运算

输入图像：$A(x,y),B(x,y)$
输出图像：$C(x,y)$

像素位置不变，对应像素的灰度进行计算

3.2.1 加

主要作用：

• 消除图像 “叠加性” 随机噪声
• 生成图像叠加效果，合成图像

Matlab 实现：
imadd(I1, I2)

3.2.2 减

负数最终设置为 0 即可。


主要作用：

• 运动目标检测和跟踪
• 图像背景消除和目标识别
• 混合图像的分离
• 图像分割

Matlab 实现：
imsubtract(I1, I2)

3.2.3 乘

超过 255 的值设置为 255 即可。


主要作用：

Matlab 实现：
immultiply(I1, I2)

3.2.4 除

除数为 0 ，结果设置为 0 即可。

主要作用：

Matlab 实现：
imdivide(I1, I2)

3.3 逻辑运算

3.3.1 AND

3.3.2 OR

3.3.3 NOT 补运算

3.4 几何运算

3.4.1 平移变换

3.4.2 缩放变换

3.4.3 旋转变换

3.4.4 齐次坐标技术

用 $n+1$ 维向量表示一个 $n$ 维向量，而且在 $n+1$ 维空间中讨论 $n$ 维向量的变换。

3.5 插值运算

4. 频域处理基础

4.1 时域与频域处理

4.1.1 时域（时间域）

4.1.2 频域（频率域）

4.2 傅里叶变换

4.3 离散余弦变换

5. 空域点处理方法

5.1 点运算

5.1.1 线性点运算

5.1.2 非线性点运算

5.1.3 点运算的应用

5.2 直方图处理

5.3 伪彩色处理

5.3.1 强度分层法

5.3.2 灰度级到彩色变换法

6. 图像增强

6.1 空域的平滑技术

图像的空域平滑是直接在空间域上对图像进行平滑处理，常用的方法有：均值滤波法和中值滤波法

6.1.1 图像噪声

6.1.2 邻域操作

对像素相邻区域的操作，而不是对单一像素进行的操作，邻域常用矩形区域，也可以是任何尺度和形状。

常见的邻域操作：

1. 最小化操作：将邻域内像素的最小灰度值作为中心像素的灰度。
2. 最大化操作：将邻域内像素的最大灰度值作为中心像素的灰度。
3. 中值化操作：将邻域内所有像素的中间值作为中心像素的灰度。

6.1.3 空域平滑

6.1.4 均值滤波法

取邻域内像素的平均值作为当前像素的像素值，可以分为邻域均值滤波器和加权均值滤波器。
常用的 4-邻域和 8-邻域：

6.1.5 中值滤波法

将当前像素点的灰度值取为邻域窗口内的所有像素点灰度值的中值，属于非线性平滑方法。

6.1.6 图像边缘的处理方法

一般采用以下措施：

6.2 空域的锐化技术

图像锐化的目的是加强图像轮廓，使图像看起来更清晰。

6.2.1 空间差分

空间差分用于衡量函数的变化率。

6.2.2 微分滤波器

6.2.3 常用的图像梯度锐化方法

6.2.4 常用的边缘增强算子

6.3 频域的平滑技术

6.3.1 数字图像的频域处理基础

低频代表平滑区，高频代表边缘以及细节

6.3.2 频域滤波器

高通就是锐化

6.3.3 低通滤波器与图像的平滑处理

6.4 频域的锐化技术

6.5 常用图像增强算法

6.5.1 基于小波变换的图像增强算法

6.5.2 基于直方图均衡化的图像增强算法

6.5.3 基于 Retinex 算法的图像增强算法

7. 图像复原

7.1 图像复原基础

7.2 图像退化模型

7.2.1 退化算子 H(f(x, y)) 性质

7.3 退化估计函数

7.3.1 图像观察估计法

7.3.2 模型估计法

7.4 逆滤波复原

7.5 维纳滤波复原

8. 图像分割

8.1 图像分割基础

图像分割是指将一幅图像分解为若干互不交叠的、有意义的、具有相同性质的区域。

8.2 边缘检测

8.3 阈值分割法

8.4 区域分割法

9. 图像数学形态学

9.1 数学形态学概述

9.2 集合论基础知识

9.3 结构元素

9.4 形态学基本运算

开运算

9.5 形态学处理图像