文章目录
- 一、测试效果展示
- 二、相关链接
- 三、优点总结
- 四、SAA vs SAA+
- 4.1 SAA
- 4.2 SAA+
- 五、SAA+结构
- 5.1 专家领域知识（Domain Expert Knowledge）
- 5.2 目标图片上下文信息（Target Image Context）
- 六、How to use
最近在做缺陷检测，发现CVPR 2023的冠军方案，SAA+，该方案实现了 zero-shot零样本异常分割，也就是我不用训练，开箱即用，这也太爽了吧！
一、测试效果展示
哇哦！还不赖
二、相关链接
论文名称：《2nd Place Winning Solution for the CVPR2023 Visual Anomaly and Novelty
Detection Challenge: Multimodal Prompting for Data-centric Anomaly Detection》
模型相关介绍
github
paper
三、优点总结
- 零样本异常检测zero-shot anomaly segmentation，不用二次训练
- 融合自然语言和图像本身的特点
- 利用多模态先验知识进行异常定位
- 基于专家领域知识和目标图像上下文，实现基础模型对异常分割的非参数自适应
四、SAA vs SAA+
介绍SAA+模型前，先了解SAA+的前身SAA模型
4.1 SAA
- 输入
- 图片：四个蜡烛（GT：左下角的蜡烛灯芯过长）
- Naive prompt：朴素提示，“Anomaly“
- 处理流程
- Anomaly Region Generator：异常区域生成器，即Grounding DINO模型，找到图片中与prompt相关的目标，实现目标检测功能，输出坐标、score
- Anomaly Region Refiner：异常区域细化器，即SAM大模型，输入Generator生成的坐标框作为prompt，实现像素级别的图像分割功能
- 输出
- 输出为“Wick”，检测结果为四个灯芯异常，结果错误
4.2 SAA+
- 输入
- 图片：四个蜡烛（GT：左下角的蜡烛灯芯过长）
- Multi Modal Prompting：多模态提示，使用了专家领域知识和目标图片上下文信息
- 处理流程
- Anomaly Region Generator：异常区域生成器，即Grounding DINO模型，找到图片中与prompt相关的目标，实现目标检测功能
- Anomaly Region Refiner：异常区域细化器，即SAM大模型，输入Generator生成的坐标框作为prompt，进行分割，实现像素级别的图像分割功能
- 输出
- 输出为“Overlong Wick”，检测结果为左下角的蜡烛灯芯过长，结果正确
五、SAA+结构
图四上半部分是SAA+总识别流程。输入图片和语言提示pL，经过生成器和细化器，得到一系列的mask图像和分数，由属性提示PP，提取属性提示中面积阈值、IOU阈值等，对多个mask图过滤，得到符合阈值条件的mask和score。图片输入另一条分支提取图片显著图，使用预训练CNN网络提取图像特征，计算特征点与周围的差异性，得到显著图Sailency Map。融合两条分支的分数，masks&scores和Sailency Map得到校准分数Refined scores，该分数同时考虑了由prompt指导分割获取的分数和图片本身特征的分数。最后分数排序，取前K个候选，得到Anomaly Map。
整个异常分割的流程涉及到2个先验知识，分别是专家领域知识（Domain Expert Knowledge）和目标图片上下文信息（Target Image Context），分别对应图四黄色区域和蓝色区域。
下文详细介绍整个过程中涉及的prompt。
5.1 专家领域知识（Domain Expert Knowledge）
专家领域知识（Domain Expert Knowledge）包含两部分，异常语言提示和异常属性提示。
- Language Prompt pL :语言提示，它可以用异常词汇来描述，如“anomaly”、“defect”，也可以具体描述缺陷类别、颜色，如“black hole”、“white bubble”
- Property Prompt PP ：属性提示，描述异常的面积、IOU等，例如“The anomaly would not exceed 0.3 object area.”。
notice：模型只取0.3这个数值进行过滤，其他的prompt非数字信息（The anomaly would not exceed、 object area）不提取 ，也就是说在写Property Prompt的时候，对应数字的字符位置不能改变，例如修改成“The anomaly has 0.3 object area.”，0.3变成了第四字符位置，程序会报错。
pL和PP案例展示：
#作者的蜡烛案例
textual_prompts = ['color defect. hole. black defect. wick hole. spot. ', ‘candle’]
property_text_prompts = 'the image of candle have 4 similar candle, with a maximum of 1 anomaly. The anomaly would not exceed 0.3 object area. ’
#图一墙壁裂缝案例
textual_prompts = ['color defect. crack. black defect. curve. ', ‘wall’]
property_text_prompts = 'the image of wall have 1 similar wall, with a maximum of 1 anomaly. The anomaly would not exceed 0.3 object area. ’
#图二胶囊案例
textual_prompts = ['color defect. crack. black defect. curve. ', ‘wall’]
property_text_prompts = 'the image of wall have 1 similar wall, with a maximum of 1 anomaly. The anomaly would not exceed 0.3 object area. ’
5.2 目标图片上下文信息（Target Image Context）
目标图片上下文信息，包含显著性提示（Sailency Prompt，即ps）和置信度提示(Confidence Prompt，即pc)，这两个prompt不需要人为输入，而是直接从图片中提取到
- Sailency Prompt:显著提示，它是从图片中学习，模仿人类直觉，能识别出异常区域和周围区域的差异。使用预训练卷积神经网络提取特征，计算每个特征点与相邻N个特征点的余弦相似度距离，获取显著图，显著图的计算公式如图五。
- Anomaly Confidence as Prompt:由置信度排序取K个候选，计算Anomaly Map
六、How to use
安装方法可参考github，这里不具体写了，有问题可以评论区讨论
码文不易，记得点赞、收藏✌️
