目标检测——X光安检数据集

1. OPIXray数据集（2020）

2. HIXray数据集（2021）

3. SIXray数据集（2019）

4. CLCXray数据集（2022）

5. PIDray数据集（2021）

6. GDXray数据集（2015）

7. 科大讯飞挑战赛数据集（2020）

1. OPIXray数据集（2020）

论文题目：《Occluded Prohibited Items Detection: an X-ray Security Inspection Benchmark and De-occlusion Attention Module 》

论文链接：https://arxiv.org/pdf/2004.08656

Github链接：https://github.com/OPIXray-author/OPIXray

数据集介绍：在安全检查中，经常需要处理行李或手提箱中的物体，这些物体在X光图像中严重重叠，导致违禁品检测的性能不令人满意。在文献中，很少有研究和数据集触及这一重要主题。在本项工作中，我们贡献了首个针对安全检查的高质量目标检测数据集，称为遮挡违禁品X光（OPIXray）图像基准。OPIXray专注于广泛出现的违禁品“刀具”，由国际机场的专业检查员手动标注。测试集进一步被划分为三个遮挡级别，以更好地理解探测器的性能。此外，为了解决X光图像检测中的遮挡问题，我们提出了一种去遮挡注意力模块（De-occlusion Attention Module, DOAM），这是一个即插即用模块，可以轻松插入并提升大多数流行探测器的性能。尽管X光成像中存在严重的遮挡，物体的形状外观可以得到很好的保留，同时不同材质在视觉上呈现出不同的颜色和纹理。受这些观察结果的启发，我们的DOAM同时利用违禁品的不同外观信息来生成注意力图，这有助于为通用探测器细化特征图。我们在OPIXray数据集上全面评估了我们的模块，并证明了我们的模块可以一致地提高SSD、FCOS等最先进检测方法的性能，并显著优于几种广泛使用的注意力机制。特别是在遮挡程度更高的场景中，DOAM的优势更加显著，这表明它在现实世界检查中的潜在应用。该数据集于2020年提出，总共包含5个类别，共8885张图片，具体分布如下：

测试集分布如下：

实验结果：

创新点：该作者提出了一种去遮挡注意力模块（De-occlusion Attention Module, DOAM），通过两个子模块——边缘引导（Edge Guidance, EG）和材料意识（Material Awareness, MA）——同时重点强调被遮挡物体的边缘信息和材质信息。本模块进一步利用这两种信息生成一个注意力分布图，作为输入样本的高质量掩码，以产生高质量的特征图，为通用检测器提供可识别的特征信息。

2. HIXray数据集（2021）

论文题目：《Towards Real-world X-ray Security Inspection: A High-Quality Benchmark And Lateral Inhibition Module For Prohibited Items Detection》

论文链接：Towards Real-world X-ray Security Inspection: A High-Quality Benchmark And Lateral Inhibition Module For Prohibited Items Detection

Github链接： https:// github.com/HiXray-author/HiXray

数据集介绍：X光图像中的违禁品检测在保护公共安全方面经常扮演重要角色，通常处理的是色彩单调、光泽不足的物体，导致性能不佳。到目前为止，由于缺乏专门的高质量数据集，很少有研究触及这一主题。在这项工作中，我们首先提出了一个高质量的X光（HiXray）安全检查图像数据集，它包含了8个类别的102,928个常见违禁品。这是迄今为止违禁品检测领域最大的高质量数据集，收集自现实世界机场安全检查并由专业安全检查员标注。此外，为了准确检测违禁品，我们进一步提出了侧抑制模块（Lateral Inhibition Module, LIM），灵感来自于人类通过忽略无关信息并专注于可识别的特征来识别这些物品，特别是当物体相互重叠时。具体来说，LIM是一个精心设计的灵活附加模块，通过双向传播（Bidirectional Propagation, BP）模块最大限度地抑制嘈杂信息，并通过边界激活（Boundary Activation, BA）模块从四个方向激活最可识别的、具有特征的边界。我们在HiXray和OPIXray上广泛评估了我们的方法，结果表明它超越了最先进的检测方法。数据集分布如下：

创新点：LIM模块，在神经生物学中，侧抑制机制阻止了兴奋神经元的行动电位向同一层次中相邻神经元的侧向传播。我们通过设计一种双向传播架构来模仿这一机制，以适应性地过滤由违禁品邻近区域产生的噪声信息。此外，侧抑制在刺激中创造对比，从而允许增加感觉感知，因此我们通过从每层内部的四个方向加强边界信息并将其聚合成一个整体形状来激活边界信息。因此，受到同一层次中相邻神经元通过侧抑制使网络更有效的机制的启发，我们提出了侧抑制模块（Lateral Inhibition Module, LIM）

加入LIM的实验效果:

实验数据如下：

3. SIXray数据集（2019）

论文题目：《SIXray: A Large-scale Security Inspection X-ray Benchmark for Prohibited Item Discovery in Overlapping Images》

论文链接：https://arxiv.org/pdf/1901.00303

Github链接： https://github.com/MeioJane/SIXray

数据集介绍：在本文中，我们提出了一个大规模数据集，并为安全检查X光图像中的违禁品发现建立了一个基线。我们的数据集被命名为SIXray，包含1,059,231张X光图像，其中6个类别的8,929个违禁品已由人工进行标注。它提出了重叠图像数据的全新挑战，同时与现有数据集共享相同属性，包括复杂但无意义的上下文和类别不平衡。我们提出了一种名为类别平衡分层细化（Class-Balanced Hierarchical Refinement, CHR）的方法来应对这些困难。CHR假设每个输入图像都是从混合分布中采样得到的，并且深层网络需要一个迭代过程来准确推断图像内容。为了加速这一过程，我们在不同的网络主干之间插入了反向连接，传递高级视觉线索以协助中级特征。此外，设计了一个类别平衡损失函数，以最大限度地减轻由简单负样本引入的噪声。我们在SIXray上以不同的正/负样本比例评估了CHR。与基线相比，CHR在利用中级特征辨别对象方面具有更好的能力，这为使用弱监督方法进行准确对象定位提供了可能性。特别是在正训练样本较少的场景中，CHR的优势更加显著，这表明它在现实世界的安全检查中有潜在的应用。

Class-balanced Hierarchical Refinement (CHR)创新点结构图如下：

实验结果：

分类平均精度：定位精度：

4. CLCXray数据集（2022）

论文题目：《Detecting Overlapped Objects in X-Ray Security Imagery by a Label-Aware Mechanism》

论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9722843

Github链接： https://github.com/GreysonPhoenix/CLCXray

数据集介绍：X光安全检查的一个关键挑战是在X光图像中检测背包或手提箱中重叠的物品。大多数现有方法通过增强底层视觉信息（如颜色和边缘）来提高模型对目标重叠问题的鲁棒性。然而，这一策略忽略了物体与背景具有相似视觉线索，以及物体相互重叠的情况。由于这两种情况很少出现在现有的数据集中，我们贡献了一个新的数据集——刀具和液体容器X光数据集（CLCXray），以完善相关研究。此外，我们提出了一种新颖的标签感知机制（Label-aware Mechanism, LA），以解决目标重叠问题。特别是，LA建立了特征通道与不同标签之间的关联，并根据分配的标签（或伪标签）调整特征，以帮助改善预测结果。广泛的实验表明，LA在检测重叠对象方面是准确和鲁棒的，并且还验证了LA对于任意最新技术（State-of-the-Art, SOTA）方法的有效性和良好的泛化能力。此外，实验结果表明，由LA构建的网络在OPIXray和CLCXray上优于SOTA模型，特别是在解决高度重叠对象子集的挑战方面。

数据集分布如下：

论文的整体网络结构如下：

实验结果如下：

在CLCXray数据集上实验：

该作者还在OPIXray数据集上进行了实验，实验结果如下：

5. PIDray数据集（2021）

论文题目：《Towards Real-World Prohibited Item Detection: A Large-Scale X-ray

Benchmark 》

论文链接：https://arxiv.org/abs/2108.07020

Github链接： https://github.com/bywang2018/security-dataset

数据集介绍：使用计算机视觉技术进行自动安全检查在现实世界场景中是一项具有挑战性的任务，由于各种因素，包括类内差异、类别不平衡和遮挡。大多数先前的方法很少解决违禁品故意隐藏在杂乱物体中的情况，这主要是因为缺乏大规模数据集，限制了它们在现实世界场景中的应用。为了实现现实世界中的违禁品检测，我们收集了一个大规模数据集，命名为PIDray，它涵盖了现实世界场景中违禁品检测的各种情况，特别是故意隐藏的物品。通过大量的努力，我们的数据集包含了47,677张X光图像中的12个类别的违禁品，具有高质量的标注分割掩模和边界框。据我们所知，这是迄今为止最大的违禁品检测数据集。同时，我们设计了选择性密集注意力网络（Selective Dense Attention Network, SDANet）来构建一个强大的基线，它由密集注意力模块和依赖细化模块组成。由空间和通道密集注意力构成的密集注意力模块被设计为学习区分性特征以提升性能。依赖细化模块用于利用多尺度特征的依赖性。在收集的PIDray数据集上进行的广泛实验表明，所提出的方法在性能上与最先进的方法相媲美，特别是在检测故意隐藏的物品方面。

数据集分布：

论文提出的SDANet网络结构如下：

实验结果如下：

6. GDXray数据集（2015）

论文题目：《GDXray: The Database of X-ray Images for Nondestructive Testing》

论文链接：https://link.springer.com/article/10.1007/s10921-015-0315-7

Github链接： https://github.com/computervision-xray-testing/GDXray/blob/main/README.md

数据集介绍：在本文中，我们介绍了一个新的数据集，包含19,407张X光图像。这些图像被组织在一个名为GDXray的公共数据库中，该数据库可以免费使用，但仅限于研究和教育目的。数据库包括五组X光图像：铸件、焊接、行李、自然物体和设置。每组包含多个系列，每个系列包含多张X光图像。大多数系列都进行了注释或标记。在这些情况下，感兴趣对象的边界框坐标或图像的标签可在标准文本文件中获得。GDXray的大小为3.5 GB，可以从我们的网站下载。我们相信GDXray对X光检测社区是一个重要的贡献。一方面，学生、研究人员和工程师可以使用这些X光图像来开发、测试和评估图像分析和计算机视觉算法，而无需购买昂贵的X光设备。另一方面，这些图像可以用作基准，以便在相同数据上测试和比较不同方法的性能。此外，该数据库可以用于人类检查员的培训项目中。该数据集包含5组图片，分别为：

Castings (314 MB)
Welds (209 MB)
Baggage (3.048 GB)
Nature (192 MB)
Settings (73 MB)

Castings数据集：

Welds数据集：

Baggage数据集：

Nature数据集：

Settings数据集：

7. 科大讯飞挑战赛数据集（2020）

数据集下载链接：https://aistudio.baidu.com/datasetdetail/151995

官方比赛链接：https://challenge.xfyun.cn/topic/info?type=Xray

数据说明：

此次比赛分为初赛和复赛两个阶段，

初赛提供

带标注的训练数据，即待识别物品在包裹中的X光图像及其标注文件；
不带标注的测试数据。

复赛在初赛的基础上再提供

无标注训练数据即包裹X光图像（其中有的包裹包含待识别物品）；
部分待识别物品X光图像（无背景）。

本次比赛标注文件中的类别为10类，包括刀具、剪刀、打火机、打火机油、压力容器罐、弹弓、手铐、指甲油、充电宝、烟花爆竹。对应的label名称为knife、scissors、lighter、zippooil、pressure、slingshot、handcuffs、nailpolish、powerbank、firecrackers。