模型的可视化分析对于理解模型的行为有很好的辅助作用，能够让人们更容易理解神经网络的决策过程。

       Grad-CAM（Gradient-weighted Class Activation Mapping）是一种用于解释卷积神经网络（CNN）决策过程的方法，特别是在图像分类任务中。这种方法通过计算特定类别得分相对于网络最后一层卷积特征图的梯度，来确定哪些部分的图像对分类结果最为重要。具体来说，Grad-CAM利用梯度信息来定位图像中的关键区域，从而生成可视化图，帮助理解模型是如何做出分类决策的。

Grad-CAM的工作原理

1. 梯度计算：Grad-CAM首先计算目标类别的得分yc关于最后一层卷积特征图Ak的梯度。这一过程涉及到对模型输出的反向传播，以获取梯度信息。

2. 全局平均池化：接着，对计算出的梯度进行全局平均池化，以得到每个特征图通道的重要性权重ack。这些权重反映了特征图在预测目标类中的重要性。

3. 特征图加权：通过将特征图与计算出的权重进行加权组合，并应用ReLU函数去除负值，生成粗略的Grad-CAM热图。这一步骤生成的热图显示了图像中哪些区域对分类结果最为关键。

4. 双线性插值：最后，使用双线性插值算法将生成的热图匹配到原始图像的分辨率上，以便更直观地展示模型关注的区域。

优点和应用

• 高效性：Grad-CAM不需要修改网络架构，因此可以应用于各种CNN架构，包括图像字幕和视觉问答等任务。

• 可视化效果：Grad-CAM生成的热图能够直观地展示模型关注的图像区域，帮助研究人员理解模型的决策过程。

  

• 广泛适用性：由于其简单性和高效性，Grad-CAM被广泛应用于多种计算机视觉任务中，如图像分类、语义分割等。

限制和改进

尽管Grad-CAM在解释CNN模型方面表现出色，但它也存在一些局限性。例如，Grad-CAM生成的类激活图可能包含噪声，并且只能生成粗粒度级别的类激活图。为了克服这些问题，研究者提出了多种改进方法，如引入噪声梯度来减少输出类激活图中的噪声，以及结合空间加权和通道加权来生成更精准的类激活图。

Grad-CAM通过利用梯度信息来定位图像中的关键区域，为理解卷积神经网络的决策过程提供了一种有效的可视化工具。这种方法不仅提高了模型的可解释性，还为后续的研究和应用提供了重要的参考。

Grad-CAM与其他可视化方法（如Saliency Maps和DeepLIFT）的比较研究有哪些？

Grad-CAM与其他可视化方法（如Saliency Maps和DeepLIFT）的比较研究主要集中在以下几个方面：

1. 方法原理和应用领域：

   • Grad-CAM：通过计算目标类别的梯度加权类激活映射图来可视化模型关注的区域。这种方法主要用于图像分类任务，并且可以应用于多种深度学习模型，如卷积神经网络（CNN）。
   • Saliency Maps：通过计算输入图像中每个像素对输出结果的贡献度来生成注意力图。这种方法适用于多种任务，包括图像分类、目标检测等。
   • DeepLIFT：通过反向传播贡献分数到输入来分解深度神经网络的预测。这种方法也广泛应用于图像分类和其他深度学习任务。

2. 可视化效果和准确性：

   • Grad-CAM：生成的注意力图通常能够清晰地标识出模型关注的区域，这对于理解模型的决策过程非常有帮助。例如，在探地雷达图像中，Grad-CAM能够有效地定位地下目标。
   • Saliency Maps：虽然Saliency Maps能够提供模型关注的区域，但其可视化效果可能不如Grad-CAM那么直观。例如，在COVID-19 X光片中，Grad-CAM生成的注意力图比Saliency Maps更清晰。
   • DeepLIFT：DeepLIFT生成的注意力图通常比Grad-CAM和Saliency Maps更加详细，能够展示更多细节信息。然而，这种方法可能需要更多的计算资源。

3. 适用性和泛化能力：

   • Grad-CAM：适用于多种类型的图像分类任务，并且可以通过改进版本（如Grad-CAM++）提高在多模态模型中的应用效果。
   • Saliency Maps：适用于多种任务，但其效果可能因任务类型而异。例如，在遥感图像分类中，Saliency Maps的效果可能不如在其他任务中。
   • DeepLIFT：适用于多种任务，但其计算复杂度较高，可能不适合实时应用。

4. 实验结果和评估：

   • Grad-CAM：在多个实验中表现出较高的准确度和敏感度。例如，在宫腔镜子宫内膜病变诊断模型中，EfficientNet-B0模型联合Grad-CAM算法能够识别出图像中的异常区域，且约95%的标记区域为病灶区域。
   • Saliency Maps：在某些任务中，如COVID-19 X光片分类，Saliency Maps的效果可能不如Grad-CAM。
   • DeepLIFT：在多个任务中表现出较高的详细程度和准确性，但计算资源需求较高。

总结来说，Grad-CAM、Saliency Maps和DeepLIFT各有优缺点。Grad-CAM在可视化效果和适用性方面表现较好，而DeepLIFT在细节展示和准确性方面具有优势。

如何改进Grad-CAM以减少生成的类激活图中的噪声？

为了改进Grad-CAM以减少生成的类激活图中的噪声，可以采取以下几种方法：

1. 使用平滑技术：Grad-CAM和Grad-CAM++已经通过SmoothGrad和Score-CAM等方法进行了改进，这些方法通过在梯度上添加噪声来减少可视化结果中的噪声和不确定性。例如，SmoothGrad通过在多个样本上计算梯度的平均值来平滑结果，从而减少噪声。

2. 增强模型鲁棒性：通过数据增强、正则化、集成学习、对抗训练等方法增强模型的鲁棒性，间接提升Grad-CAM的鲁棒性。例如，AutoAugment通过增强模型对不同样本的适应性，提高了模型面对扰动时的鲁棒性；Mixup通过在两个不同样本之间进行线性插值创建新训练样本，改善了神经网络模型的泛化能力和鲁棒性。

3. 优化特征提取过程：使用Dropkey算法优化特征提取过程，通过池化和压缩特定层的输出特征作为注意力函数的参数，生成更准确的注意力图。这种方法在低对比度图像和小物体特征定位等任务中表现出色，能有效抵抗大规模噪声干扰。

4. 引入正则化项：在训练过程中引入噪声激活距离正则化项，要求网络在输入样本的邻域内保持相似决策。这种方法可以改善卷积神经网络在视觉相似图像上的高级激活一致性，并在识别性能上做出一定权衡。

5. 多层特征融合：通过融合网络模型浅层到深层的卷积特征图，生成具有高细粒度的类激活映射图。例如，SL-CAM算法首先利用梯度和卷积特征图逐层生成类激活映射图，其次将每一层的类激活映射图作为位置掩码融入到输入样本，得到当前类别置信度的变化率，最后基于置信度的变化率对每一层的类激活映射图进行加权获得一个融合所有层特征的类激活映射图。

6. 自注意力调制：设计自注意力调制模块，利用指数函数对融合之后的自注意力图进行调制，迫使前景和背景距离扩大，从而获取更加完整准确的前景目标区域。这种方法可以在PASCAL VOC2012和COCO2014两个数据集上取得很好的分割效果。

Grad-CAM在不同类型的CNN架构（如ResNet、Inception等）上的应用效果如何？

Grad-CAM（Gradient-weighted Class Activation Mapping）是一种用于可视化深度学习模型中特定层激活的工具，可以帮助理解模型是如何从输入数据中提取特征的。在不同类型的CNN架构上，Grad-CAM的应用效果如下：

1. ResNet：

   • ResNet模型通过跳跃连接加快了梯度信息的流动，减少了梯度过滤问题，从而提高了模型的训练效率和性能。在医学图像分类任务中，ResNet-50模型能够捕捉到更多的细节信息，显示出更精细的结构细节。
   • 在地震事件分类中，ResNet18模型对于震相特征的关注不够敏锐，这表明其在某些情况下可能无法充分利用地震波形的特征。

2. Inception：

   • Inception模型以其多级池化和全连接层而闻名，能够提供广泛的覆盖范围。在医学图像分类任务中，Inception V3模型在新冠肺炎CT图像识别中表现出色，分类准确率和召回率均最高，并且计算时间最短。
   • 在地震事件分类中，Inception10模型在做出决策时对震相特征的关注不够敏锐，但其可视化图能够直观地看出模型在做出分类决策时对于不同波形特征的依赖权重。

3. VGG：

   • VGG模型以其多层卷积和池化操作而著称，能够提取丰富的特征。在医学图像分类任务中，VGG-19模型在处理细胞图像时能够提供广泛的覆盖范围。
   • 在地震事件分类中，Vgg16模型在做出决策时更依赖于地震波形的震相特征，对于震前和震后的波段关注较小。

4. MobileNet：

   • MobileNet-V3-Small是一种轻量级的模型设计，旨在保持性能的同时减少计算成本。在医学图像分类任务中，MobileNet-V3-Small模型在处理细胞图像时能够有效地识别和突出显示细胞区域。

5. 其他模型：

   • 其他如DenseNet、Xception等模型也在不同的任务中表现出色。例如，在新冠肺炎CT图像识别中，DenseNet121和Xception模型也具有较高的分类准确率和召回率。

总结来说，Grad-CAM在不同类型的CNN架构上都能有效地提供模型的可视化解释，帮助理解模型的决策过程。

Grad-CAM在非图像数据（如文本或音频）上的应用和限制是什么？

Grad-CAM在非图像数据（如文本或音频）上的应用和限制主要体现在其设计初衷和实现机制上。Grad-CAM是一种用于可视化分类网络的方法，通过反向传播梯度来突出显示图像中对特定类别得分有贡献的重要区域。这种方法最初是为图像分类任务设计的，因此在处理非图像数据时存在一些限制。

应用

1. 音频事件分类：

   • 在音频事件分类中，Grad-CAM被用于帧级别的声音事件分类。通过计算Grad-CAM类激活图反向传播权重，并利用类激活图的概率分布推理帧级声音事件分类。这种方法可以有效提升声音事件分类算法的宏观分类能力，尽管在某些指标上可能有所下降。

2. ECG信号分类：

   • 在ECG信号分类中，Grad-CAM也被用于可视化CNN架构的焦点。然而，这种方法在分辨率和对象定位方面存在局限性，特别是在定位多个异常心跳时。为了克服这些限制，可以开发更高分辨率和准确度的可视化技术，如Grad-CAM++，以更精确地定位多个异常ECG模式。

限制

1. 仅适用于分类网络：

   • Grad-CAM和CAM方法主要设计用于分类型网络，不适用于嵌入型网络。这意味着在处理非图像数据时，如果数据不是以分类任务的形式出现，Grad-CAM可能无法直接应用。

2. 依赖预训练模型：

   • Grad-CAM依赖于预训练的CNN模型，如ImageNet上的模型。虽然这种方法可以从已建立的模型中受益，但这也意味着需要依赖这些预训练模型的性能和泛化能力。

3. 分辨率和对象定位问题：

   • 在非图像数据（如音频或文本）上，Grad-CAM的分辨率和对象定位能力可能不足。例如，在ECG信号分类中，Grad-CAM可能无法正确定位多个异常心跳。

结论

Grad-CAM在非图像数据上的应用具有一定的潜力，特别是在音频事件分类和ECG信号分类等领域。然而，其设计初衷和实现机制使其在处理非图像数据时存在一些限制，如仅适用于分类网络、依赖预训练模型以及分辨率和对象定位问题。

最新的Grad-CAM改进方法有哪些，它们是如何解决原始方法的局限性的？

最新的Grad-CAM改进方法主要包括Gradual Grad-CAM、Excitation Backprop和Gradual Excitation Backprop，以及基于Grad-CAM的对抗攻击算法改进。这些方法通过不同的技术手段解决了原始Grad-CAM方法的一些局限性。

1. Gradual Grad-CAM和Excitation Backprop及其改进版本Gradual Excitation Backprop：这些方法通过引入渐进式外推技术来增强深度神经网络的显著性可视化。Grad-CAM方法在不同误差率下的性能比较中表现最佳，但其他三种方法在某些特定的误差区间内可能会有更好的性能。这表明Grad-CAM虽然整体性能优异，但在特定条件下仍有改进空间。

2. 基于Grad-CAM与KL损失的SSD目标检测算法：这种方法通过使用Grad-CAM技术对检测过程中的细节进行可视化处理，并采用Kullback-Leibler（KL）边框回归损失策略，提高了中小目标检测的准确性和稳定性。这种方法解决了原始Grad-CAM在目标检测中对中小目标漏检的问题，通过改进损失函数和利用NMS算法优化预测框的输出，提高了检测算法的整体性能。

3. 基于Grad-CAM引导的对抗攻击算法研究：这种方法通过引入动量手段、数据增强方法和注意力机制，提出了基于迁移的对抗攻击算法研究框架。特别是GCG-DAAM方法，它通过模型对于图片的加权梯度类激活映射图（Grad-CAM）来获取到模型在图片上的主要判决区域，并基于此特征区域进行攻击，进一步提高了对抗样本的迁移性和隐蔽性。此外，引入自监督特征的GCG-DAAM通过设计改进后的Grad-CAM获取模块和边缘损失函数，提高了对抗样本的迁移性和攻击成功率。

相关事件

事件名称	事件时间	事件概述
深度卷积神经网络在图像分类领域的进展	2020-12-01	技术进步近年来，深度卷积神经网络在目标检测和图像分类等领域的显著进展，以及类激活映射方法（CAM）的应用。
ECAM方法在图像分类中的应用	2020-12-01	技术创新基于CAM思想提出的逐元素类激活映射方法（ECAM）在ImageNet数据集上的应用，提高了目标类别的定位准确度，并在对抗样本中表现良好。
细粒度图像分类研究综述	2017-02-17	研究综述综述了细粒度图像分类的研究现状、算法发展和未来研究方向。
基于深度学习的图像分类方法研究	2020-06-01	技术创新针对图像分类中的三大问题（准确率低、计算复杂度大、安全性隐患），提出了多种解决方案。
“目标对齐”图像预处理算法的提出	不明确	技术创新为解决细粒度图像分类数据库中类内差异大而类间差异小的问题，提出了“目标对齐”算法。
端到端的基于语义对齐的细粒度图像分类网络ASP-CNN的提出	不明确	技术创新通过姿态对齐算法和错误结果检测算法，实现了特征点周边区域的语义对齐，提高了分类准确率。
轻量级细粒度图像分类网络的提出	不明确	技术创新通过参数降维和深度压缩技术，实现了网络参数总量和存储方式上的双重压缩，大幅降低了时间复杂度和空间复杂度。
“双流结构”的防御算法用于对抗样本检测的提出	不明确	技术创新针对对抗样本威胁，提出了一种双流结构的防御算法，精准检测了图像分类任务中的对抗样本。

---

参考文献

1. PDF

Ramprasaath R. Selvaraju, Abhishek Das et al. “Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization.” International Journal of Computer Vision(2016).. Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra; Georgia Institute of Technology, Facebook AI Research.

2. PDF

Xiangwei Shi, Seyran Khademi et al. “Deep Visual City Recognition Visualization.” ArXiv(2019).. Xiangwei Shi, Seyran Khademi, Jan van Gemert, PRB, Computer Vision lab, Delft University of Technology.

3. PDF

Md Parvez Islam, K. Hatou et al. “ThelR547v1—An Asymmetric Dilated Convolutional Neural Network for Real-time Semantic Segmentation of Horticultural Crops.” Sensors (Basel, Switzerland)(2022).

4. 

李冰锋,冀得魁,杨艺.基于改进MMAL的细粒度图像分类研究 附视频[J].电子测量技术,2024.

5. PDF

Boyue Song, S. Yoshida. “Explainability of three-dimensional convolutional neural networks for functional magnetic resonance imaging of Alzheimer’s disease classification based on gradient-weighted class activation mapping.” PLOS ONE(2024).

6. PDF

Md. Tarek Aziz, S. Mahmud et al. “A Novel Hybrid Approach for Classifying Osteosarcoma Using Deep Feature Extraction and Multilayer Perceptron.” Diagnostics(2023).

7. PDF

C. Schorr, P. Goodarzi et al. “Neuroscope: An Explainable AI Toolbox for Semantic Segmentation and Image Classification of Convolutional Neural Nets.” Applied Sciences(2021).

8. PDF

Chia-Wei Jan, Yu-Jhih Chiu et al. “Optical Based Gradient-Weighted Class Activation Mapping and Transfer Learning Integrated Pneumonia Prediction Model.” Comput. Syst. Sci. Eng.(2023).

9. 

叶钦.基于Grad-CAM的模型解释方法研究[D].哈尔滨工程大学,2023.

10. 

李志.基于梯度定位的深度卷积神经网络图像分类可解释性研究[D].哈尔滨工业大学,2020.

11. 

中国科学技术大学信息科学技术学院.面向CNN的类激活映射算法研究[J].信息技术与网络安全,2022.

12. PDF

Joshua Wilde, S. Serjeant et al. “Detecting gravitational lenses using machine learning: exploring interpretability and sensitivity to rare lensing configurations.” (2022).. Joshua Wilde, Stephen Serjeant, Jane M. Bromley, Hugh Dickinson, Léon V. E. Koopmans, R. Benton Metcalf.

13. 

梁先明,倪帆,陈文洁等.基于时频Grad-CAM的调制识别网络可解释研究[J].西南交通大学学报,2022.

14. PDF

Orhan Sivaz, Murat Aykut. “Combining EfficientNet with ML-Decoder classification head for multi-label retinal disease classification.” Neural Computing and Applications(2024).

15. 

易超人,邓燕妮.多通道卷积神经网络图像识别方法[J].河南科技大学学报(自然科学版),2017.

16. 

吕恩辉.基于卷积神经网络的图像分类研究[D].中国矿业大学,2019.

17. 

南京大学计算机科学与技术系南京大学软件新技术国家重点实验室.基于深度卷积特征的细粒度图像分类研究综述[J].自动化学报,2017.

18. 

王志明.无参考图像质量评价综述[J].自动化学报,2015.

19. 

冯子勇.基于深度学习的图像特征学习和分类方法的研究及应用[D].华南理工大学,2016.

20. 

一种无梯度依赖的深度卷积网络视觉解释方法.

21. 

高震宇.基于深度卷积神经网络的图像分类方法研究及应用[D].中国科学技术大学,2018.

22. 

张烨.基于风格迁移的图像分类技术研究[D].哈尔滨工业大学,2019.

23. 

白林亭,海钰琳.基于梯度分析的卷积神经网络可视化方法[J].信息技术与信息化,2021.

24. 

朱威,屈景怡,吴仁彪.结合批归一化的直通卷积神经网络图像分类算法[J].计算机辅助设计与图形学学报,2017.

25. 

安丽娜.基于深度卷积神经网络的图像分类识别方法[J].信息通信,2019.

26. 

哈尔滨工程大学.基于类激活映射的卷积神经网络解释技术[D].哈尔滨工程大学,2023.

27. 

葛昊.基于深度学习的图像分类方法研究[D].电子科技大学,2020.

28. 

孟庆祥,吴玄.基于深度卷积神经网络的高分辨率遥感影像场景分类[J].测绘通报,2019.

29. PDF

Ioannis Kakogeorgiou, K. Karantzalos. “Evaluating Explainable Artificial Intelligence Methods for Multi-label Deep Learning Classification Tasks in Remote Sensing.” ArXiv(2021).. Ioannis Kakogeorgiou, Konstantinos Karantzalos, National Technical University of Athens, Athena Research Center.

30. PDF

Y. Oh, Sangjoon Park et al. “Deep Learning COVID-19 Features on CXR Using Limited Training Data Sets.” IEEE Transactions on Medical Imaging(2020).. Yujin Oh, Sangjoon Park.

31. PDF

Yitao Peng, Lianghua He et al. “Hierarchical Dynamic Masks for Visual Explanation of Neural Networks.” IEEE Transactions on Multimedia(2023).. Yitao Peng, Longzhen Yang, Yihang Liu, Lianghua He, College of Electronic and Information Engineering Tongji University.

32. PDF

Tanmay Garg, Deepika Vemuri et al. “Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks.” ArXiv(2024).. Tanmay Garg, Deepika Vemuri, Vineeth N. Balasubramanian, Indian Institute of Technology, Hyderabad, India.

33. PDF

N. Rodis, Christos Sardianos et al. “Multimodal Explainable Artificial Intelligence: A Comprehensive Review of Methodological Advances and Future Research Directions.” ArXiv(2023).. Nikolaos Rodis, Christos Sardianos, Panagiotis Radoglou-Grammatikis, Panagiotis Sarigiannidis, Iraklis Varlamis, Georgios Th. Papadopoulos.

34. 

刘浩敏,章国锋,鲍虎军.基于单目视觉的同时定位与地图构建方法综述[J].计算机辅助设计与图形学学报,2016.

35. 

权美香,朴松昊,李国.视觉SLAM综述[J].智能系统学报,2017.

36. 

范澜珊,刘云鹏,赵涛等.基于改进梯度加权类激活映射图的GIS绝缘缺陷诊断可解释性提升 附视频[J].华北电力大学学报(自然科学版),2024.

37. 

曹明亮,尹蜜,王庆彬等.基于深度学习算法联合Grad-CAM的宫腔镜子宫内膜病变诊断模型研究[J].实用妇产科杂志,2024.

38. 

赵迪,叶盛波,周斌.基于Grad-CAM的探地雷达公路地下目标检测算法[J].电子测量技术,2020.

39. PDF

Feng Liu, Zhe Kong et al. “Fingerprint Presentation Attack Detection by Channel-Wise Feature Denoising.” IEEE Transactions on Information Forensics and Security(2021).. Feng Liu, Zhe Kong, Haozhe Liu, Wentian Zhang, Linlin Shen.

40. PDF

Yiwei Liu, Luping Tang et al. “Optimized Dropkey-Based Grad-CAM: Toward Accurate Image Feature Localization.” Sensors (Basel, Switzerland)(2023).. Yiwei Liu, Lup.

41. PDF

S. McKnight, S. Pierce et al. “GANs and alternative methods of synthetic noise generation for domain adaption of defect classification of Non-destructive ultrasonic testing.” ArXiv(2023).. Shaun McKnight, S. Gareth Pierce, Ehsan Mohseni, Christopher MacKinnon, Charles MacLeod, Tom O’Hare, Charalampos Loukas.

42. PDF

Xingyu Wang, Rui Ma et al. “INNT: Restricting Activation Distance to Enhance Consistency of Visual Interpretation in Neighborhood Noise Training.” Electronics(2023).

43. PDF

Anh Pham Thi Minh. “Overview of Class Activation Maps for Visualization Explainability.” ArXiv(2023).. Pham Thi Minh Anh, Queen Mary University of London.

44. 

杨继增.面向CNN的类激活映射图可视化及对抗样本生成算法研究[D].中国科学技术大学,2022.

45. 

石德硕.基于激活调制的弱监督语义分割方法研究[D].南京信息工程大学,2023.

46. 

深圳大学.深度神经网络的可解释性算法研究[D].深圳大学,2022.

47. 

谢文彬.基于轻量级标注的弱监督图像语义分割算法研究[D].清华大学,2021.

48. PDF

Krishna Mukunda, Tianyi Ye et al. “Deep Learning Detection of Subtle Torsional Eye Movements: Preliminary Results.” bioRxiv(2024).. Krishna Mukunda.

49. PDF

Oğuzhan Katar, Ilhan Firat Kilincer. “Automatic Classification of White Blood Cells Using Pre-Trained Deep Models.” Sakarya University Journal of Computer and Information Sciences(2022).. Oguzhan Katar, Ilhan Fi.

50. PDF

Milkisa Yebasse, Birhanu Shimelis et al. “Coffee Disease Visualization and Classification.” Plants(2021).. Milkisa Yebasse, Birhanu Shimelis, Henok Wa.

51. 

路晓辰,杨立明,杨兴悦等.深度学习方法在地震事件分类中的应用及可解释性研究[J].地震工程学报,2023.

52. 

四川大学.基于CNN的医学图像模式分类关键技术与应用研究[D].四川大学,2021.

53. 

中央财经大学.基于深度学习的新冠肺炎CT图像识别[D].中央财经大学,2022.

54. 

乔子凌.基于并行网络的音频事件分类技术研究[D].北方工业大学,2023.

55. PDF

Mudit Bachhawat. “Generalizing GradCAM for Embedding Networks.” ArXiv(2024).. Mudit Bachhawat.

56. PDF

Min-Seo Song, Seung-Bo Lee. “Comparative study of time-frequency transformation methods for ECG signal classification.” Frontiers in Signal Processing(2024).. Rakesh Chandra Joshi.

57. PDF

Tomasz Szandała. “Enhancing Deep Neural Network Saliency Visualizations With Gradual Extrapolation.” IEEE Access(2021).. Tomasz Szandała, Wroclaw University of Science and Technology, Poland.

58. 

侯庆山,邢进生.基于Grad-CAM与KL损失的SSD目标检测算法[J].电子学报,2020.

59. 

高陈翔.基于Grad-CAM引导的对抗攻击算法研究[D].武汉理工大学,2022.