可视化深度网络的强大工具：Grad-CAM介绍与使用步骤

《博主简介》

小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
👍感谢小伙伴们点赞、关注！

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称	项目名称
1.【人脸识别与管理系统开发】	2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】	4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】	6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】	8.【基于YOLOv8深度学习的行人跌倒检测系统】
9.【基于YOLOv8深度学习的PCB板缺陷检测系统】	10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统】
11.【基于YOLOv8深度学习的安全帽目标检测系统】	12.【基于YOLOv8深度学习的120种犬类检测与识别系统】
13.【基于YOLOv8深度学习的路面坑洞检测系统】	14.【基于YOLOv8深度学习的火焰烟雾检测系统】
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统】	16.【基于YOLOv8深度学习的舰船目标分类检测系统】
17.【基于YOLOv8深度学习的西红柿成熟度检测系统】	18.【基于YOLOv8深度学习的血细胞检测与计数系统】
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统】	20.【基于YOLOv8深度学习的水稻害虫检测与识别系统】
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统】	22.【基于YOLOv8深度学习的路面标志线检测与识别系统】
23.【基于YOLOv8深度学习的智能小麦害虫检测识别系统】	24.【基于YOLOv8深度学习的智能玉米害虫检测识别系统】
25.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统】	26.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统】
27.【基于YOLOv8深度学习的人脸面部表情识别系统】	28.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统】
29.【基于YOLOv8深度学习的智能肺炎诊断系统】	30.【基于YOLOv8深度学习的葡萄簇目标检测系统】
31.【基于YOLOv8深度学习的100种中草药智能识别系统】	32.【基于YOLOv8深度学习的102种花卉智能识别系统】
33.【基于YOLOv8深度学习的100种蝴蝶智能识别系统】	34.【基于YOLOv8深度学习的水稻叶片病害智能诊断系统】
35.【基于YOLOv8与ByteTrack的车辆行人多目标检测与追踪系统】	36.【基于YOLOv8深度学习的智能草莓病害检测与分割系统】
37.【基于YOLOv8深度学习的复杂场景下船舶目标检测系统】	38.【基于YOLOv8深度学习的农作物幼苗与杂草检测系统】
39.【基于YOLOv8深度学习的智能道路裂缝检测与分析系统】	40.【基于YOLOv8深度学习的葡萄病害智能诊断与防治系统】
41.【基于YOLOv8深度学习的遥感地理空间物体检测系统】	42.【基于YOLOv8深度学习的无人机视角地面物体检测系统】
43.【基于YOLOv8深度学习的木薯病害智能诊断与防治系统】	44.【基于YOLOv8深度学习的野外火焰烟雾检测系统】
45.【基于YOLOv8深度学习的脑肿瘤智能检测系统】	46.【基于YOLOv8深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于YOLOv8深度学习的橙子病害智能诊断与防治系统】	48.【车辆检测追踪与流量计数系统】
49.【行人检测追踪与双向流量计数系统】	50.【基于YOLOv8深度学习的反光衣检测与预警系统】
51.【危险区域人员闯入检测与报警系统】	52.【高密度人脸智能检测与统计系统】
53.【CT扫描图像肾结石智能检测系统】	54.【水果智能检测系统】
55.【水果质量好坏智能检测系统】	56.【蔬菜目标检测与识别系统】
57.【非机动车驾驶员头盔检测系统】	58.【太阳能电池板检测与分析系统】
59.【工业螺栓螺母检测】	60.【金属焊缝缺陷检测系统】
61.【链条缺陷检测与识别系统】	62.【交通信号灯检测识别】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

引言

在这里插入图片描述

在深度学习领域，了解神经网络的决策过程至关重要，尤其是在医疗诊断和自动驾驶等关键应用方面。

Grad-CAM（梯度加权类激活映射）是一种流行的技术，用于可视化对模型预测贡献最大的图像区域。本文将探讨什么是 Grad-CAM，Grad-CAM 在 PyTorch 中的工作原理，以及它的意义和实际应用。

Grad-CAM定义

Grad-CAM 是一种可视化技术，可为卷积神经网络 (CNN) 的决策提供视觉解释。它生成粗略的定位图，突出显示输入图像中用于预测特定类别的重要区域。

此外，Grad-CAM 不需要对模型进行架构更改。因为它适用于各种 CNN 架构，因此具有广泛的适用性。

Grad-CAM 重要性

了解模型做出某些预测的原因可以显著提高透明度和信任度。Grad-CAM 有助于：

模型可解释性

突出显示对预测有重要意义的输入区域使得模型的决策过程更易于解释。

调试模型

调查模型对输入进行错误分类的原因可以提供如何改进模型的见解。

信任与透明度

在医疗保健等关键应用中，能够解释模型决策对于赢得用户信任至关重要。

PyTorch 使用Grad-CAM步骤

PyTorch 中 Grad-CAM 的实现涉及几个步骤，每个步骤对于创建准确而有意义的视觉解释都至关重要。

步骤 1：预处理输入图像

第一步是预处理输入图像，使其适合神经网络模型。这包括调整图像大小、对其进行规范化以及将其转换为张量格式。

图像预处理保证图像满足模型的输入要求，提高GradCAM可视化的准确性。

from torchvision import transforms 
import cv2 

# 定义预处理转换
preprocess = transforms.Compose([ 
    transforms.Resize((224, 224)), 
    transforms.ToTensor(), 
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) 
]) 

# 加载并预处理图像
img = cv2.imread('path_to_image.jpg') 
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) 
img_tensor = preprocess(img).unsqueeze(0)

第 2 步：执行前向传递

对模型进行前向传递以获得预测。此步骤将预处理后的图像通过网络传递以获取每个类别的 logit 或输出分数。

# 执行前向传递
model.eval() # 将模型设置为评估模式
output = model(img_tensor) 
pred_class = output.argmax(dim=1).item()

步骤 3：确定目标层

Grad-CAM 需要访问卷积层的激活以及目标类对这些激活的梯度。

通常，使用最后一个卷积层，因为它可以捕获最详细的空间信息。我们注册钩子以在前向和后向传递期间捕获这些激活和梯度。

# 识别目标层
target_layer = model.layer4[-1] 

# 用于存储激活和梯度的列表
activations = [] 
gradients = [] 

# 用于捕获激活和梯度的钩子
def  forward_hook ( module , input, output ): 
    activations.append(output) 

def  behind_hook ( module , grad_input, grad_output ): 
    gradations.append(grad_output[ 0 ]) 

target_layer.register_forward_hook(forward_hook) 
target_layer.register_full_backward_hook(backward_hook)

4. 后向传递

执行前向传递后，进行后向传递以计算目标类到目标层激活的梯度。此步骤有助于了解图像的哪些部分对于模型预测很重要。

# 将梯度归零
model.zero_grad() 

# 向后传递以计算梯度
output[:, pred_class].backward()

5. 计算热图

使用捕获的梯度和激活，计算Grad-CAM 热图。热图通过用平均梯度加权激活并应用 ReLU 激活来消除负值来计算。热图突出显示图像中对预测很重要的区域。

import numpy as np 

# 计算权重 
weights = torch.mean(gradients[ 0 ], dim=[ 2 , 3 ]) 

# 计算 Grad-CAM 热图
heatmap = torch. sum (weights *activations[ 0 ], dim= 1 ).squeeze() 
heatmap = np.maximum(heatmap.cpu().detach().numpy(), 0 ) 
heatmap /= np.max ( heatmap)

6. 可视化热图

最后一步是将计算出的热图叠加在原始图像上。这种可视化有助于了解图像的哪些区域对模型的决策贡献最大。

import cv2 

# 调整热图大小以匹配原始图像大小
heatmap = cv2.resize(heatmap, (img.shape[1], img.shape[0])) 

# 将热图转换为 RGB 格式并应用颜色图
heatmap = cv2.applyColorMap(np.uint8(255 * heatmap), cv2.COLORMAP_JET) 

# 将热图叠加在原始图像上
superimposed_img = cv2.addWeighted(img, 0.6, heatmap, 0.4, 0) 

# 显示结果
cv2.imshow('Grad-CAM', superimposed_img) 
cv2.waitKey(0) 
cv2.destroyAllWindows()