计算：傅里叶变换，双线性插值，直方图均衡化，灰度共生矩阵，霍夫曼编码，区域增长/合并，中值滤波
简答：窗口/模板处理，BMP文件存储格式，滤波器和平滑算子的特点，图像增强/复原，伪彩色/假彩色处理，纹理特征，图像退化
图像处理基础
基础概念
什么是图像？模拟/数字图像处理区别？
图像是对客观对象的一种相似性的、生动性的描述或写真。
区别：
- 数学描述方法：模拟图像主要用连续数学方法，数字图像主要用离散数学方法。
- 图像分辨率表示：数字图像分辨率是指反映整个图像画面垂直和水平方向像素数乘积。模拟图像分辨率是指反映整个画面最多的扫描线数。
- 图像处理：数字图像是通过对模拟图像采样，量化等处理获得的，模拟图像处理的方式很少，往往只能进行简单的放大、缩小等，而数字图像的处理方式可以非常精确、灵活。数字图像处理再现性好，模拟图像的保存性较差，时间长了会有所变化，而数字图像不会因为保存、传输或复制而产生图像质量上的变化。但数字图像处理速度较慢，存储容量大。
- 图像传输：模拟图像以实物为载体，传输相对困难，而数字图像以数字信息为载体，传输相对较快。
数字图像处理应用
生物医学: 利用电磁波谱成像分析系统诊断病情，如显微镜图像分析，DNA成像分析。
遥感: 农、林等资源的调查，农作物长势监测，自然灾害监测、预报，地势、地貌测绘以及地质构造解译、找矿，环境污染检测等等。
工业生产: 无损探伤，石油勘探，生产过程自动化(识别零件，装配质量检查)，工业机器人研制等。
军事: 航空及卫星侦察照片的测绘、判读，雷达、声纳图像处理，导弹制导，军事仿真等。
通信: 图像传真，数字电视、网络可视聊天、可视电话网页动画等。
公安: 指纹识别，印签、伪钞识别，安检，手迹、印记鉴别分析等。
气象预报: 获取气象云图进行测绘、判读等。
主流医学图像处理软件
3D Slicer：是用于医学图像信息学，图像处理和三维可视化的开源软件平台。 通过国家卫生研究院和全球开发人员社区的支持，二十多年来，Slicer为医生，研究人员和公众提供了免费，强大的跨平台加工工具。 在多种医疗应用中，包括孤独症，多发性硬化，系统性红斑狼疮，前列腺癌，精神分裂症，矫形生物力学， COPD，心血管疾病和神经外科应用。
OpenCV：是一个基于Apache2.0许可（开源）发行的跨平台计算机视觉和机器学习软件库，可以运行在 Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。
ITK-SNAP：一款可应用于分割3D医学图像的软件。来自于宾夕法尼亚大学图像计算与科学实验室(PICSL)和犹他大学成像研究所(SCI)长达十年的合作成果，其愿景是创建一个专用于特定功能、分割的工具，并且易于使用和学习。特点是免费、开源、多平台。
窗口处理/模块处理
窗口处理：对图像中选定矩形区域内的像素进行处理。
模块（模板）处理：准备一个和输入图像IP相同大小的二维数组，参照二维数组对输入图像处理。
区别：窗口处理选定区域为矩形，模块处理选定区域由二维数组（模板平面）确定，为任意形状。模块处理必须设置一个模板平面，而窗口处理不需要。
联系：都是对图像中特定的部分进行处理。
图像数字结构
图像数字结构指图像像素灰度值的存储方式，常用方式是将图像各像素灰度值用一维或二维数组相应的各元素加以储存。其它存储方式还有：组合方式（一个字节存放多个像素灰度值，节省内存但计算量大）；比特面方式（将所有像素灰度相同的比特位用一个二维数组表示，形成比特面，能充分利用内存空间，便于进行比特面之间的运算，但灰度图像处理耗时多）；分层结构（先处理低分辨率图像，后处理高分辨率图像，可提高效率）；树结构；多重图像数据存储（逐波段/逐行/逐像素存储）。
BMP格式
组成：
- 14字节的文件头
- 40字节的信息头
- 4*n的颜色定义（每个颜色长度占4个字节）
- 位图数据
其中文件信息头包括文件的类型、大小和存储位置，位图信息包括信息头和彩色表（调色盘），位图数据记录位图的每一个像素值（分为压缩格式和非压缩格式）。
DICOM标准
DICOM(DigitalImaging andCommunications inMedicine)是指医疗数字影像传输协定，是NEMA（美国国家电器制造商协会）和MITA（影像技术联盟）负责管理和出版的用于医学影像处理、储存、打印、传输的一组通用的标准协定。它是一个开放的系统。
DICOM是以TCP/IP为基础的应用协定，可以在局域网（LAN）或广域网（WAN）内工作。两个能接受DICOM格式的医疗仪器间，可通过DICOM格式的文件，来接收与交换影像及病人资料。
DICOM 文件的所有信息均采用了数据元素（data element）的存储方式，每个数据元素均由标签（tag）、值的含义（value representation，以VR 表示，是可选项），值域长（value length）和值域（value field）组成。
广泛应用于放射医疗，影像组学，心血管成像以及放射诊疗诊断设备(X射线，CT，核磁共振，超声等)以脑影像的数据为例，3D-Slicer就可以查看dicom数据，并且根据dicom的数据结构读取患者及影像的信息，在此基础上可以做进一步处理
如下图，Patient Tag包括了比如患者姓名，ID，出生日期，性别，体重等信息；Study Tag包含了检查的序列号，检查ID，检查日期和时间，检查类型，检查部位和检查的描述等信息；Series Tag包含了序列号，检查模态，检查描述和说明，图像位置，层厚，层与层之间的距离，身体部位等信息；
数据元素存储方式:每一张图像中都携带着大量的信息，这些信息具体可以分为以下四类：1.Patient 2.Study 3.Series 4.Instance(实例） Patient Tag包括了比如患者姓名，ID，出生日期，性别，体重等信息；Study Tag包含了检查的序列号，检查ID，检查日期和时间，检查类型，检查部位和检查的描述等信息；Series Tag包含了序列号，检查模态，检查描述和说明，图像位置，层厚，层与层之间的距离，身体部位等信息
图像直方图
直方图的性质：
- 灰度直方图只能反映图像的灰度分布情况，而不能反映图像像素的位置，即丢失像素的位置信息。
- 一幅图像对应唯一的灰度直方图，反之不成立（不同的图像可以对应相同的直方图）。
- 一个图像分成多个区域，多个区域的直方图之和即为原图像的直方图。
MATLAB绘制图像直方图
f=imread('南河.jpg');%读入图片
imhist(f) %图像 直方图
axis([0 255 0 30000])%设置x、y轴坐标范围
直方图均衡化
已知有一幅大小为64×64的图像，灰度级数为8，各灰度级分布列于表中。试对其进行直方图均衡化，给出均衡化后对应的灰度级，并画出均衡前后的直方图。
图像变换
图像变换的目的在于：
- 简化图像处理问题
- 有利于图像特征提取
- 有助于从概念上增强对图像信息的理解
图像变换通常是一种二维正交变换（且必须可逆），在变换域中图像能量集中分布在低频成分上，边缘和线状信息反映在高频成分上。
图像降质：
包括成像过程（光学失真，相对运动，大气湍流），传输过程（噪声，信道误码）和显示过程（设备非线性，设备引入噪声）
图像平滑
图像空间域平滑
局部平滑法 -- 图像模糊
超限像素平滑法 -- 去椒盐噪声效果好
灰度最相近的k邻点平均法 -- 保留细节，图像边缘模糊
最大均匀性平滑 -- 避免消除噪声引起的边缘模糊
有选择保边缘平滑法 -- 既能消除噪声，又不破坏区域边界的细节
空间低通滤波 -- 不管选择什么样的掩膜，需要保证全部权系数之和为单位值
中值滤波
有选择保边缘平滑法
有选择保边缘平滑法对图像上任意像素的5*5区域采用9个掩膜，包括一个3*3的正方形，4个五边形和4个六边形，计算各个掩膜的均值和方差，对方差进行排序，最小方差对应的掩膜区域的灰度就是像素的输出值。
图像锐化
图像锐化通过微分运算求信号变化率，加强高频成分从而使图像的边缘和轮廓更清晰。
空间域和频率域图像锐化的几种方法
空间域：
- 梯度锐化法 -- 可以用梯度算子，Roberts，Prewitt和Sobel算子计算梯度，增强边缘。
- Laplacian增强算子 -- 在边缘点低灰度侧形成“下冲”，在高灰度侧形成“上冲”，具有突出边缘的特点。
- 高通滤波法 -- 在空间域用高通滤波算子和图像卷积来增强边缘。
频率域：
- 高通滤波器设计 -- 包括理想高通滤波器，巴特沃斯高通滤波器，指数高通滤波器，梯形高通滤波器
- 同态滤波增强 -- 在频域中同时将图像亮度范围进行压缩和对比度增强的方法
图像增强
图像增强技术
点运算
灰度级矫正，灰度变换（其中对数变换低灰度区扩展，高灰度区压缩；指数变换相反），直方图修整法（包括直方图均衡化和直方图规定化）
频域增强
（按振铃效应减弱的顺序）理想滤波器，梯形滤波器，指数滤波器，Butterworth滤波器
理想低通滤波器截止频率越低，滤除噪声越彻底，高频分量损失越严重，图像就越模糊。
伪彩色增强
将不同灰度级按一定函数映射到不同色彩
- 密度分割法：灰度级分区间后转不同色彩
- 空域灰度级-彩色变换合成法：灰度分段经不同函数映射RGB值
- 频域伪彩色增强：变换到频域，三个不同滤波器分离出三个独立分量，逆变换
假彩色增强
对象是多光谱图像，使感兴趣区域处于奇异彩色中，提高目标分辨率
图像滤波
中值滤波
对下列红框区域做3*3中值滤波处理
傅里叶变换
在频率域研究图像的目的在于：
- 可以利用频率成分和图像外表之间的对应关系，一些增强任务在空间域表述困难，但在频率域较为简单。
- 滤波在频率域更为直观，可以解释空间域滤波的某些性质。
一维信号傅里叶变换
对一维信号f(x)=[1 0 1 1] 进行傅里叶变换
二维离散傅里叶变换
存储DFT结果的二维数组中，四个角对应低频成分，中央部分对应高频成分。
信号的主要能量集中在低频区域。
二维离散傅里叶变换具有分离性（可以由两次连续的一维傅里叶变换实现），周期性和共轭对称性（在对图像进行频谱分析处理时只需关注一个周期，同时利用图像的傅里叶变换及其共轭直接计算幅度谱），平移性（空域中的图像发生移动，在频域中只发生相移，不影响它傅里叶变换的幅值）和旋转性。
对图像进行旋转变换和傅里叶变换的顺序是可以交换的，即先旋转再傅里叶和先傅里叶变换再旋转得到的结果相同。
卷积定理：两个空域信号的卷积等价于其频域信号的乘积。卷积定理使得信号的空间域处理可以转换到频率域进行处理实现。
图像复原
概念
图像退化和图像复原
图像退化指在形成、传输和记录过程中，由于成像系统或传输介质不良造成图像质量下降。图像复原是指根据图像退化的先验知识建立退化模型，采用各种逆退化方法处理，改善图像。
线性位移不变系统的输出等于系统的输入和系统脉冲响应（点扩散函数）的卷积。
何谓图像复原？图像复原与增强有何区别？
图像复原是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，得到质量改善的图像。
区别如下：
1、图像增强不考虑图像是如何退化的，而是试图采用各种技术来增强图像的视觉效果。因此，图像增强可以不顾增强后的图像是否失真，只要看得舒服就行。
2、而图像复原就完全不同，需知道图像退化的机制和过程等先验知识，据此找出一种相应的逆处理方法，从而得到复原的图像。
逆滤波复原
试述逆滤波复原的基本原理。它的主要难点是什么？如何克服？
几何校正
图像的几何校正一般包括哪两步？像素灰度内插有哪三种方法？各有何特点？
几何校正一般包括：(1) 图像空间坐标的变换 （直接/间接）(2) 确定校正空间各像素的灰度值（灰度内插）
像素灰度内插：
1、最近邻元法 ：该方法最简单，但校正后的图像有明显的锯齿状，即存在灰度不连续性
2、双线性内插法：双线性内插法的计算比最近邻元法复杂些，计算量更大。但没有灰度不连续的缺点，结果令人满意。它具有低通滤波性质，使高频分量受损，图像轮廓有一定模糊
3、三次内插法 ：该方法计算量最大，但内插效果好，精度最高
最近邻元法： (1.2,1.6)最邻近(1,2)，所以f(1.2,1.6)=f(1,2)=5 双线性插值法： f(1+0.2,1+0.6)=(1-0.2)(1-0.6)*f(1,1)+(1-0.2)*0.6*f(1,1+1)+0.2*(1-0.6)*f(1+1,1)+0.2*0.6*f(1+1,1+1)=3.44
若采用线性变换对一幅图像进行几何校正，通常有哪些几何变换方法？最起码要多少个控制点？
图像平移、图像旋转、图像缩放、图像镜像
3个控制点
三维物体形状表示法
图像重建模型
透射模型/发射模型/反射模型
试比较三维物体形状的两种基本表示法。
Voxel法是将断面内的各像素看成三维空间的小的立方体。这种方法能够表现任意复杂形状的物体，但通常因为体素较大，所以在重建目标表面上可以看出人为的凹凸不平的现象
分块的平面近似法是把物体的表面作为小平面组合来表现，用相邻两断面的物体轮廓线按照一定方法拼接。用三角形面积作为评价函数来描述表面
Voxel法是面向体积型的三维物体的表示法，分块的平面近似法则是面向表面型的表示法。用前者求物体表面很难，而用后者的任意平面做出断面也很困难，因此要根据目的的不同采用合适的方法。
图像压缩
图像数据压缩的目的是什么？
（PPT）节省传输空间，减少传输时间，降低传输成本。
- 可以节省空间,以最小的数据量表达最多的信息量。
- 可以减少对带宽的占用。
客观保真度准则
最常用的客观保真度准则包括哪两种？各有什么特点？
客观保真度主要包含均方误差和峰值信噪比
均方误差(MSE)：该参数反映了恢复图像与原始图像的差异程度，MSE越小，表示重构图像与原始图像越接近，图像重构的效果越好，定义为：
峰值信噪比(PSNR)：计算图像的最大功率与重建图像中的噪声功率之间的比率，PSNR数值越大，表明图像的噪声水平越低，恢复质量越好，定义如下：
其中为图像的像素值，为原图像为恢复图像。
客观保真度还有其他准则，如结构化相似度、边缘传输信息等，这里不作要求。
霍夫曼编码
图像分割
概念
什么是区域？什么是图像分割？
区域指的是图像中相互连通、属性一致的像素集合
图像分割就是指把图像分成互不重叠的区域并提取出感兴趣目标的技术。
Hough变换
什么是Hough变换?Hough变换检测直线时，为什么不采用y=kx+b的表达形式？试述Hough变换检测直线的原理。
直角坐标系中的一条直线对应极坐标系中的一点，这种线到点的变换就是Hough变换。
若采用y=kx+b的表达式，则k的取值范围是无穷，无法用矩阵表示
Hough变换检测直线原理:直角坐标系中任意一点对应的直线系，变换到极坐标系是一条正弦曲线，若这些正弦曲线有共同交点，则说明这些点共线，由此可以检测两点是否共线
简单区域增长法和区域合并法
简单区域扩张法（Region Growing Method）是一种数字图像处理中的区域分割技术，用于将具有相似特征（例如灰度值、颜色、纹理等）的像素聚合为一个连续的区域。这种方法的主要思路是从一个种子（起始）像素开始，不断地将与该像素相连且满足特定条件的邻近像素添加到同一区域，直到无法扩展为止。
以下是简单区域扩张法的操作步骤和示例：
- 选择一个种子像素：首先，从图像中选择一个种子像素作为扩张的起始点。种子像素可以根据领域知识或人为指定。
- 设置相似性度量：定义一个相似性度量，如灰度值差异、颜色差异或纹理特征差异等，用于衡量像素之间的相似性。设置一个阈值，当相似性度量低于该阈值时，认为两个像素相似。
- 扩张区域：从种子像素出发，检查其邻近像素（例如4邻域或8邻域），将满足相似性条件的像素添加到当前区域。对于新添加的像素，继续检查其邻近像素并添加到区域，直到无法扩展为止。
- 重复上述步骤：如果图像中还存在未分配到任何区域的像素，从这些像素中选择一个新的种子像素，然后重复步骤2和3。这个过程持续进行，直到图像中的所有像素都被分配到某个区域。
示例：假设我们有一个8x8的灰度图像，灰度值如下（每个数字表示一个像素的灰度值）：
1 1 1 1 5 5 5 5 1 1 1 1 5 5 5 5 1 1 1 1 5 5 5 5 1 1 1 1 5 5 5 5 9 9 9 9 7 7 7 7 9 9 9 9 7 7 7 7 9 9 9 9 7 7 7 7 9 9 9 9 7 7 7 7
我们从左上角的像素（1, 1）开始，设置相似性度量为灰度值差异，阈值为2。接下来的步骤如下：
- 从种子像素（1, 1）开始，检查其邻近像素，并将满足相似性条件的像素（灰度值差异小于等于2）添加到当前区域。此时，区域1包含4个相邻的1值像素。
- 对于区域1中的新添加像素，继续检查其邻近像素，并将满足条件的像素添加到区域1。重复此过程，直到无法扩展为止。最后，我们得到一个包含16个1值像素的区域1。
- 选择一个新的种子像素（例如，5, 5），重复步骤1和2。最后，我们得到一个包含16个5值像素的区域2。
- 同样地，我们可以得到包含16个9值像素的区域3和包含16个7值像素的区域4。
- 由于所有像素都已分配到某个区域，算法结束。
最终，我们将图像分割为如下4个区域：
1 1 1 1 2 2 2 2 1 1 1 1 2 2 2 2 1 1 1 1 2 2 2 2 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 3 3 3 3 4 4 4 4 3 3 3 3 4 4 4 4 3 3 3 3 4 4 4 4
数字对应的区域分别为：
- 区域1：灰度值为1的像素
- 区域2：灰度值为5的像素
- 区域3：灰度值为9的像素
- 区域4：灰度值为7的像素
通过简单区域扩张法，我们成功地将具有相似灰度值的像素聚合为连续区域。需要注意的是，在实际应用中，这种方法可能会受到噪声和其它干扰因素的影响，导致区域分割效果不理想。因此，在实际问题中，我们可能需要根据具体场景调整相似性度量、邻域定义以及相似性阈值等参数，以获得更好的区域分割结果。同时，可以考虑使用更为复杂的区域合并策略，例如基于图割（Graph Cut）或分水岭（Watershed）算法等，以进一步提高区域分割的性能。
二值图像处理与形状分析
欧拉数
何谓二值图像的欧拉数？它于二值图像的连接成分欧拉数有何关系？数字0，4，8和字母B，i，r，d的欧拉数各为多少？
二值图像的欧拉数是指该图像中区域的连通性特征。
欧拉数 = 连通成分数 - 孔数 = 顶点数+面数-边数
二值图像的连接成分欧拉数是将每个连通成分的欧拉数相加得到的结果。
数字0的欧拉数为0，数字4的欧拉数为0，数字8的欧拉数为-1。字母B的欧拉数为-1，字母i的欧拉数为2，字母r的欧拉数为1，字母d的欧拉数为0。
像素连接性
根据连接数如何判断像素的连接性？计算图8.1.6中各中心像素的4-连接数。
对于一个像素，计算某邻域内与其连通的像素的数量来判断该像素的连接性。
图8.1.6中
4-连接数按顺序分别是0，0，1，2，2，2，1，0，0
这个东西是这样算的，首先，画一张图
。
4-连接数是什么呢，就是阴影部分为1空白部分为0，计算公式为:
8-连接数其实就是相对4-连接数来说，把0和1换一换就可以了。
膨胀和腐蚀
何谓膨胀和腐蚀？膨胀和腐蚀组合使用有哪些用途？
膨胀：使孔洞收缩，目标扩大，消除图像目标中的小颗粒噪声和填补凹陷
腐蚀：使目标收缩，孔洞扩大，去除图像小颗粒噪声和目标之间的粘连
膨胀和腐蚀组合：（1）开运算（先腐蚀后膨胀），光滑目标轮廓，消除小目标（如去除毛刺和孤立点）在纤细点处分离物体，同时并不明显 改变目标的面积，常用于去除小颗粒噪声以及断开目标物之间的粘连；（2）闭运算（先膨胀后腐蚀），在保持原目标的大小与形态的同时，填充凹陷，弥合孔洞和裂缝。常用来填充孔洞、凹陷和连接断开的目标。
形状特征提取
区域形状特征的提取包括区域内部（空间域和变换域）形状特征提取，区域外部（空间域和变换域）形状特征提取和利用图像层次型数据结构提取形状特征。
区域内部形状特征提取包括哪两类方法？区域外部形状特征提取包括哪两类方法？
内部:1、区域内部空间域分析 2、区域内部变换法；
外部:1、区域的边界、骨架空间域分析 2、区域外部变形法
图像特征提取
概念
什么是纹理特征？什么是纹理图像？什么是纹理区域？
习惯上把局部不规则而宏观有规律的特性称为纹理特性。
以纹理特性为主导的图像，常称为纹理图像。
以纹理特性为主导的区域，常称为纹理区域。
纹理分析方法？
统计分析法（共生矩阵法，长行程法），结构分析法（纹理基元），频谱分析法（傅里叶变换法，Gabor变换法，小波变换法），模型分析法。
灰度共生矩阵
灰度共生矩阵的计算
glcm =
0 2 3 2
2 0 0 1
3 0 0 1
2 1 1 0
e = 3.1972
统计模式识别
简述统计模式识别的原理
统计模式识别是研究每一个模式的各种测量数据的统计特性，按照统计决策理论来进行分类，其基本原理是：有相似性的样本在模式空间中互相接近，并形成“集团”，即“物以类聚”。
统计模式识别包括监督分类和非监督分类。
补充知识点
色彩模型 ：RGB（CRT，电视），CMY（印刷业），HSI（人眼模型）
图像识别 ：图像识别问题的数学本质属于模式空间到类别空间的映射问题，主流方法有统计模式识别（概率分类--有监督，聚类分析--无监督）、结构模式识别、模糊模式识别和人工神经网络方法。
模式识别系统的基本构成
模板匹配 ：当对象物的图案以图像的形式表现时，根据该图案与一幅图像各部分的相似度判断其是否存在，并求得对象物在图案中位置的操作叫做模板匹配。
