作者：张 祖 勋，姜 慧 伟，庞 世 燕，胡 翔 云
论文连接：多时相遥感影像的变化检测研究现状与展望 — 张祖勋
1、内容概述
本文主要从几何和语义两个角度对变化检测方法进行了分析和归纳总结，重点分析了几何信息的利用方式及深度神经网络的特征融合方式，随后总结了常用的变化检测公开样本数据集，最后对当前变化检测应用中遇到的核心问题及未来发展趋势进行了梳理与展望。
1.1 变换检测本质
变化检测问题本质上依然属于模式识别与分类问题 ，发现定位变化区域并分析相关变化属性 ， 其中变化属性主要包括土地利用类型变化（如耕地变为建设用地）和**维度变化（**如几何高度）。
1.2 遥感变化检测主要任务类型
- 是否发生变化；
- 变化类型（土地利用类型变化）；
- 变化分布和趋势。
三者之间逐层递进，检测任务和难度逐步增加。
1.3 遥感变化检测主要数据来源
-
卫星影像
-
航空影像
-
三维点云数据
1、几何信息的变化检测
几何信息（高度）的变化检测可用于更新地形和地物信息 。根据是否结合光谱信息 ，几何信息的变化检测可划分为基于单一几何信息的变化检测方法和融合几何与光谱信息融合的变化检测方法。
1.1 基于单一几何信息的变化检测方法
1.1.1 高度差
高度差通常应用于内插成规则格网的DEM/DSM数据。可细分为一下两种类型：
-
基于像素的高度差方法
-
基于窗口/对象的高度差方法
缺点：对配准和匹配错误较为敏感。
1.1.2 欧氏距离
高度差对配准和匹配错误较为敏感 ，曲面间欧氏距离可以一定程度上弥补此类缺陷。
**缺点：**通常需要密集的法线方向估计和对应点搜索，计算复杂，耗时长。
注意：在顶视三维数据处理中 ，高度差仍然是最方便有效的方法 ，适合于第一步尝试使用。
1.2 融合几何与光谱信息的变化检测方法
根据几何和光谱信息的不同结合方式 ，融合几何与光谱信息的变化检测主要包括：
- 后精化
后精化方法是指使用几何与光谱信息来精化由几何比较产生的初始变化结果，这是一种两步法 ，即几何比较产生变化候选并通过几何与光谱信息对上述几何比较得到的初始变化结果进行后精化。
优点：相对较为灵活有效，参数易于理解和调整 。
缺点：初始变化结果严重依赖于几何比较的结果，漏检测的情况在后续精化过程中无法找回。
- 直接特征融合
直接特征融合方法同时考虑了几何和光谱信息，通过特征融合方法实现最终的变化检测，特征 融合可以在特征级也可以在决策级。
优点：同时考虑了几何和光谱信息，且算法框架易于结合其他信息源来进行变化检测。
缺点：融合算法的参数设置要求严格，不正确的参数设置会对最终的变化检测结果造成错误。
- 分类后处理
这类方法首先对两个数据集进行分类或检测感兴趣的对象 ，然后比较这些结果标签实现变化检测。
优点：对于不同数据来源、不同获取条件（不同季节、 光照等）造成的干扰更加稳健。
缺点：这类方法的变化检测结果通常受分类精度影响较大，单期的分类错误有时会累积到最后的变化检测结果中。
2、语义信息的变化检测
当前针对遥感影像的变化检测研究从研究对象的角度可分为针对特定目标的二值变化检测（建筑物、道路及植被等）和一般变化检测（土地利用地表覆盖），二者区别在于前者针对特定目 标的研究，相当于预先引入了先验知识，只需要定位变化区域；而后者需要判定地物类型 ，即同时完成变化的定位和分类任务 ，较前者更为复杂，因此此类方法大多需要利用专家知识辅助语义信息的变化检测。
当前针对遥感影像的变化检测研究从特征模型角度可分为人工特征建模方法和基于深度特征学习方法两类 。前者利用专家知识规则对目标区域进行特征建模表达（大量的底层 、中层特征），随后通过阈值分析或者机器学习方法实现变化区域发现定位。后者依托于人工智能技术，利用深度神经网络学习目标的不同层次特征（高层特征）进行变化区域发现定位，相对前者更加简洁通用
变化检测分析单元从“像素—图块—对象—场景”过渡，像素间关系实现 “孤立局部—邻近—感受野 ”，信息利用层次实现“像素—特征—对象—高维”的发展过程。
2.1、非机器学习方法
2.1.1、像素级的变化检测
像素级的变化检测是最简单的变化检测方法，它以独立像素作为检测单元，通过逐像素的减法或除法等算术运算分析像元光谱差异提取变化信息，主要包括算术计算类方法（对两幅精确配准的图像对应点像素的灰度值做差值、比值或回归分析等，再进行阈值判断）、图像变换类方法（按照一定规则把图像转换到特征空间，对变换结果进行分析得到变化像素）和分类后比较法等。
局限性：该方法对高分辨率遥感影像中的高频信息敏感 ，且易受到影像几何校正和辐射校正误差的影响，适用性受到制约，因此主要适用于中低分辨率影像。
2.1.2、特征级的变化检测
在特征级方面 ，由于纹理 、边缘和空间结构等特征与地物的表现密切相关，并且这些特征较为稳定，不易受传感器类型的影响，因此，通过比较多时相影像的特征信息可以用于变化检测。它主要包括基于纹理特征基于边缘特征和基于形状结构的变化检测等。
局限性：特征级的变化主要依赖于特征选取和设计，在不同的应用场景和不同的影像数据中，很难获得统一的特征选择准则或指导，普适性是其最大的挑战。
2.1.3、场景级的变化检测
与人类识别机制相似 ，面向对象的变化检测通过分析对象的不同属性和空间分布来理解语义。 它可集成局部区域丰富的边缘、纹理 、形状和邻域目标的空间关系等相关特征。对象级的变化检测方法主要包括：直接比较对象、分类后比较对象、多时相分割等 。
局限性：作为面向对象方法的关键过程，图像分割技术能够将相邻像素聚合成对象以进行比较，因此分割方法的优劣会直接影响变化检测精度。
2.2、机器学习方法
2.2.1、场景级变化检测方法
遥感影像场景级变化检测方法的基本思想是比较多时相影像的特征差异，判断变化情况，是一种区域级分类任务。这里所谓的场景是指大尺度遥感图像中具有清晰语义属性信息表达（侧重于社会功能，如商业区、居民区、运动场等）的局部或者全局图像块。
由于场景中的目标，例如植被生长或个别建筑物的拆除／建造，不会直接影响土地利用类别，即它们在场景中的变化不会改变区域土地利用情况，因此相对像素级和对象级变化检测方法，场景级变化方法在土地利用变化分析应用中更有优势。
2.2.2、像素级变化检测方法
基于深度学习技术的遥感影像像素级变化检测方法**早期思想：**首先利用神经网络提取图像的深度特征，然后对提取到的特征进行像素级比较以获得差异图，最后通过阈值选择方法获得变化图。
随着全卷积神经网络的发展，尤其是在语义分割任务中逐像素分类性能的提升，不少学者将孪生神经网络用在逐像素分类中，逐个像素分类判断是否发生变化。 由于涉及多个输入影像，这类方法包括三种类型 ，即输入多个独立的分支、数据端组合和网络内部融合。 由于独立分支方法会丢失多时相特征相关性信息，因此大多数研究主要集中在后两种方法。像素级分类方法不仅局限于解决二值分类问题（是否变化问题），同时也便于进行多任务学习，完成多类型预测（如土地利用类型变化）。
2.2.3、对象级变化检测方法
遥感影像对象级变化检测方法以图像块或者超像素为基本输入单元，根据训练所处阶段的不同可以划分为两种方式：一种是通过图块或者超像素计算特征差异产生差异图作为伪标签进行学习，这种一般属于半监督或无监督学习方法 ；另一种则是采用孪生神经网络的方式对图块训练学习再进行分类。基于孪生神经网络计算特征相似度的方法可以分成3种方式：代价函数判断、网络内部融合和数据端组合。
2.3、变化检测数据集
