本文统计了MVTec 3D-AD上的多个多模态异常检测算法,仅对比其I-AUROC指标。数据的来源为多模态工业异常检测Benchmark | Ziuch の Blog,这位博主经常分享很多工业异常检测的优秀博文,质量很高。
MVTec 3D-AD相关的异常检测算法包含3大类:仅使用RGB、仅使用PCD和多模态。各个类别利用不同的模态,也取得了不同的分数,本文从以下几个方面进行分析:
1. 取得单项最佳分数的次数:
基于RGB的算法仅取得了2项单项最佳分数;基于PCD的算法取得了4项最佳,基于多模态的算法取得了7项最佳。
2. 该类别的平均得分:
基于RGB的算法平均分数为0.8415,基于PCD的平均分数为0.8304,基于多模态的平均分数为0.9323。基于多模态的算法平均分数最高。
3. 一些模型有多种模态形式,对比同一模型不同模态性能:
以上模型均在多模态形式下取得了平均最佳成绩,且显著优于RGB或PCD模态。主要原因是在这些任务中,有一些异常在RGB空间比较明显而在PCD上不明显,另外一些任务反之。多模态的模型能够同时利用两种模态的信息,使其整体得分显著提升。
4. 模态类别
实际应用过程中,获取PCD数据的成本是要远高于RGB的,在某些场景中我们可能仅采集一部分产品的pcd数据,但能够对所有产品采集rgb数据。这时,上述模型中的CPMF和CFM尽管取得了最佳分数,但其只能应用于多模态场景中。与之相对,M3DM,EasyNet,AST,Shape-Guided能够用于单模态数据,这也是这些算法的一种优势。