Information-Theoretic Segmentation by Inpainting Error Maximization总结笔记

news2025/2/22 19:33:41

一、《Inpainting Error Maximization》提出的提问和解决方法

《Inpainting Error Maximization》提出的提问：神经网络通常需要大量的手动标记的训练数据来达到最先进的性能。对于标记数据稀缺或昂贵的问题的适用性往往取决于从

相关领域迁移学习到的表示的能力。

《Inpainting Error Maximization》提出的解决方法：引入了修复图像误差最大化（IEM）作为一种无监督分割的方法。这是一种新的对抗性方法，通过将图像划分为最大限度独立的集合来进行无监督的分割。

更具体地说：实验分为两个阶段，IEM是第一个阶段的主要组件。

在第一阶段，贪婪二值优化算法为每个图像独立地产生一个分割掩模，将每个像素分配给一个分区，目标是最大化修复图像误差。

第二阶段，其中我们从第一阶段选择修复误差最高的分割掩模，并使用它们作为标签监督来训练分割网络。

二、IEM框架

图像修复误差最大化（IEM）框架。给定一个未标记的图像X，一个掩码生成器模块首先产生分割掩模（例如，前景M和背景 $\bar{M}$ ）。每个掩模通过在掩模和图像之间执行元素乘积从原始图像中选择像素子集，从而将图像划分为区域。图像修复模块试图重建给定分区中所有其他区域的每个区域，IEM损失被定义为修复图像误差的加权求和。

通过IEM进行分割过程：

二进制分割掩模M 分割后的图像

首先，前景和背景图像F∈ $R^{C\times H\times W}$ 和B∈ $R^{C\times H\times W}$ 分别独立于 $D_{F}$ 和 $D_{B}$ 分布绘制。然后，二进制分割掩模M(F，B) ∈ M = $\{0,1\}^{1\times H\times W}$ ，明确地生成F和B。最后，将前景和背景组成为图像X。 $\odot$ 为Hadamard运算，即对同等大小的两个矩阵相同位置上进行乘积。