使用自动编码器进行半监督异常检测

news2024/9/25 15:25:40

使用自动编码器进行半监督异常检测

  • 前言
  • 前提条件
  • 相关介绍
  • Semi-supervised Anomaly Detection using AutoEncoders
    • 项目结构
    • 训练模型
    • 测试模型
  • 参考

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

前言

  • 由于本人水平有限，难免出现错漏，敬请批评改正。
  • 更多精彩内容，可点击进入YOLO系列专栏、自然语言处理
    专栏或我的个人主页查看
  • 基于DETR的人脸伪装检测
  • YOLOv7训练自己的数据集（口罩检测）
  • YOLOv8训练自己的数据集（足球检测）
  • YOLOv5：TensorRT加速YOLOv5模型推理
  • YOLOv5：IoU、GIoU、DIoU、CIoU、EIoU
  • 玩转Jetson Nano（五）：TensorRT加速YOLOv5目标检测
  • YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制
  • YOLOv5：yolov5s.yaml配置文件解读、增加小目标检测层
  • Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
  • YOLOv5：使用7.0版本训练自己的实例分割模型（车辆、行人、路标、车道线等实例分割）
  • 使用Kaggle GPU资源免费体验Stable Diffusion开源项目

前提条件

  • 熟悉Python

相关介绍

  • Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。
  • PyTorch 是一个深度学习框架，封装好了很多网络和深度学习相关的工具方便我们调用，而不用我们一个个去单独写了。它分为 CPU 和 GPU 版本，其他框架还有 TensorFlow、Caffe 等。PyTorch 是由 Facebook 人工智能研究院（FAIR）基于 Torch 推出的，它是一个基于 Python 的可续计算包，提供两个高级功能：1、具有强大的 GPU 加速的张量计算（如 NumPy）；2、构建深度神经网络时的自动微分机制。

Semi-supervised Anomaly Detection using AutoEncoders

  • 异常检测是指从正常数据中发现异常实例的任务。在一些应用中，这些异常值或异常实例比正常实例更令人感兴趣。特别是在工业光学检测和基础设施资产管理的情况下，发现这些缺陷(异常区域)是极其重要的。
  • 传统上，甚至今天，这个过程都是手工进行的。与正常纹理相比，人类依靠缺陷的显着性来检测缺陷。然而，人工检查是缓慢、乏味、主观的，容易受到人类偏见的影响。因此，缺陷检测的自动化是可取的。但对于缺陷检测来说，缺乏大量异常实例和标记数据的可用性是一个问题。
  • 在本论文《Semi-supervised Anomaly Detection using AutoEncoders》中，提出了一种卷积自编码器架构，用于异常检测，仅在无缺陷(正常)实例上进行训练。对于测试图像，通过从自编码器输出中减去原始图像获得的残差掩码被阈值化，以获得缺陷分割掩码。该方法在两个数据集上进行了测试，获得了令人印象深刻的平均F1分数0.885。即使在训练过程中没有使用缺陷图像，网络也学会了检测缺陷的实际形状。
  • 论文地址：https://arxiv.org/abs/2001.03674
  • 官方源代码地址：https://github.com/msminhas93/anomaly-detection-using-autoencoders
  • 有兴趣可查阅论文和官方源代码地址。

在这里插入图片描述

Python实现的自编码器网络架构，代码如下。

import torch.nn as nn
import torch.nn.functional as F
import torch


class AnomalyAE(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 48, (11, 11), stride=(1, 1), padding=5)
        self.bn1 = nn.BatchNorm2d(48)

        self.conv2 = nn.Conv2d(48, 48, (9, 9), stride=(2, 2), padding=4)
        self.bn2 = nn.BatchNorm2d(48)

        self.conv3 = nn.Conv2d(48, 48, (7, 7), stride=(2, 2), padding=3)
        self.bn3 = nn.BatchNorm2d(48)

        self.conv4 = nn.Conv2d(48, 48, (5, 5), stride=(2, 2), padding=2)
        self.bn4 = nn.BatchNorm2d(48)

        self.conv5 = nn.Conv2d(48, 48, (3, 3), stride=(2, 2), padding=1)
        self.bn5 = nn.BatchNorm2d(48)

        self.conv_tr1 = nn.ConvTranspose2d(
            48, 48, (5, 5), stride=(2, 2), padding=2, output_padding=1)
        self.bn_tr1 = nn.BatchNorm2d(48)

        self.conv_tr2 = nn.ConvTranspose2d(
            96, 48, (7, 7), stride=(2, 2), padding=3, output_padding=1)
        self.bn_tr2 = nn.BatchNorm2d(48)

        self.conv_tr3 = nn.ConvTranspose2d(
            96, 48, (9, 9), stride=(2, 2), padding=4, output_padding=1)
        self.bn_tr3 = nn.BatchNorm2d(48)

        self.conv_tr4 = nn.ConvTranspose2d(
            96, 48, (11, 11), stride=(2, 2), padding=5, output_padding=1)
        self.bn_tr4 = nn.BatchNorm2d(48)

        self.conv_output = nn.Conv2d(96, 1, (1, 1), (1, 1))
        self.bn_output = nn.BatchNorm2d(1)

    def forward(self, x):
        slope = 0.2
        # print(x.shape)
        x = F.leaky_relu((self.bn1(self.conv1(x))), slope)
        # print(x.shape)
        x1 = F.leaky_relu((self.bn2(self.conv2(x))), slope)
        # print(x1.shape)
        x2 = F.leaky_relu((self.bn3(self.conv3(x1))), slope)
        # print(x2.shape)
        x3 = F.leaky_relu((self.bn4(self.conv4(x2))), slope)
        # print(x3.shape)
        x4 = F.leaky_relu((self.bn5(self.conv5(x3))), slope)
        # print(x4.shape)

        x5 = F.leaky_relu(self.bn_tr1(self.conv_tr1(x4)), slope)
        # print(x5.shape)
        x6 = F.leaky_relu(self.bn_tr2(
            self.conv_tr2(torch.cat([x5, x3], 1))), slope)
        # print(x6.shape)
        x7 = F.leaky_relu(self.bn_tr3(
            self.conv_tr3(torch.cat([x6, x2], 1))), slope)
        # print(x7.shape)
        x8 = F.leaky_relu(self.bn_tr4(
            self.conv_tr4(torch.cat([x7, x1], 1))), slope)
        # print(x8.shape)

        output = F.leaky_relu(self.bn_output(
            self.conv_output(torch.cat([x8, x], 1))), slope)
        # print(output.shape)
        return output

if __name__ == "__main__":
    x = torch.rand([16,1,512,512])
    model = AnomalyAE()
    y = model(x)
    # print(x.shape, x.dtype)
    # print(y.shape, y.dtype)

项目结构

在这里插入图片描述
在这里插入图片描述

训练模型

python main.py --train_dir ./data/Train --val_dir ./data/Test --train_batch_size 1 --val_batch_size 1 --save_graph --epochs 25

在这里插入图片描述

测试模型

在这里插入图片描述

python test.py

在这里插入图片描述

参考

[1] Manpreet Singh Minhas, John Zelek. Semi-supervised Anomaly Detection using AutoEncoders. 2022
[2] https://github.com/msminhas93/anomaly-detection-using-autoencoders
[3] https://arxiv.org/abs/2001.03674

  • 由于本人水平有限，难免出现错漏，敬请批评改正。
  • 更多精彩内容，可点击进入YOLO系列专栏、自然语言处理
    专栏或我的个人主页查看
  • 基于DETR的人脸伪装检测
  • YOLOv7训练自己的数据集（口罩检测）
  • YOLOv8训练自己的数据集（足球检测）
  • YOLOv5：TensorRT加速YOLOv5模型推理
  • YOLOv5：IoU、GIoU、DIoU、CIoU、EIoU
  • 玩转Jetson Nano（五）：TensorRT加速YOLOv5目标检测
  • YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制
  • YOLOv5：yolov5s.yaml配置文件解读、增加小目标检测层
  • Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
  • YOLOv5：使用7.0版本训练自己的实例分割模型（车辆、行人、路标、车道线等实例分割）
  • 使用Kaggle GPU资源免费体验Stable Diffusion开源项目

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1151819.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【NI-DAQmx入门】数字IO基础知识

【NI-DAQmx入门】数字IO基础知识

1.漏端和源端数字IO的区别 漏端和源端是用于定义负载中直流电流控制的术语，分别表示所用到的数字输入和输出的类型。 漏端的数字I / O（输入/输出）提供与负载的接地连接。源端的数字I / O为负载提供电压源。 以一个由数字输入与数字输出相连…
阅读更多...
javaEE -12（12000字CSS入门级教程）

javaEE -12（12000字CSS入门级教程）

css即层叠样式表 (Cascading Style Sheets). CSS 能够对网页中元素位置的排版进行像素级精确控制, 实现美化页面的效果. 能够做到页面的样式和结构分离. CSS基本语法规范： 选择器 {一条/N条声明} 选择器决定针对谁修改 (找谁)声明决定修改啥. (干啥)声明的属性是…
阅读更多...
Linux-mipi接口

Linux-mipi接口

mipi_csi接口 mipi_dsi接口
阅读更多...
Qwt QwtPlotBarChart自定义条形统计图

Qwt QwtPlotBarChart自定义条形统计图

1.概述 QwtPlotBarChart 是 Qt 绘图库 Qwt 中的一个类，用于绘制柱状图。它可以将数据通过柱形的高度来展示，方便比较不同数据量的大小差别。QwtPlotBarChart 类提供了一些方法和属性来设置柱形的样式、颜色、边界等。 以下是类的继承关系图&#xff1a…
阅读更多...
oracle （8）Managing Tablespace Data File

oracle （8）Managing Tablespace Data File

Managing Tablespace & Data File （维护表空间和数据文件） 目标： 定义表空间和数据文件的用途创建表空间管理表空间学会使用甲骨文托管文件(OMF) 创建和管理表空间（不是重点）获取表空间信息 一、基础知识 1、表…
阅读更多...
【0基础学Java第四课】-- 逻辑控制

【0基础学Java第四课】-- 逻辑控制

4. 逻辑控制 4.1 顺序结构4.2 分支结构4.2.1 if语句判断一个数字是奇数还是偶数判断一个数字是正数，负数，还是零判断一个年份是否为闰年 4.2.2 switch 语句 4.3 while循环打印 1 - 10 的数字计算 1 - 100 的和计算 5 的阶乘计算1！2&#xff0…
阅读更多...
FHE 的高精度算术：BGV-big、BFV-big

FHE 的高精度算术：BGV-big、BFV-big

参考文献： [NL11] Naehrig M, Lauter K, Vaikuntanathan V. Can homomorphic encryption be practical?[C]//Proceedings of the 3rd ACM workshop on Cloud computing security workshop. 2011: 113-124.[GC15] Geihs M, Cabarcas D. Efficient integer encoding…
阅读更多...
TypeScript：简介（附思维导图）

TypeScript：简介（附思维导图）

TypeScript：简介 Date: May 23, 2023 思维导图： TypeScript简介 注：已用XMind总结 什么是 TypeScript Typed JavaScript at Any Scale. 添加了类型系统的 JavaScript，适用于任何规模的项目。 以上描述是官网[1]对于 TypeScript…
阅读更多...
【软考】14.3 设计模式

【软考】14.3 设计模式

《设计模式》 有下划线：类模式 / 对象模式无下划线：对象模式 创建型 设计模式 创建对象 构建器（Builder）：类和构造分离抽象工厂（Abstract Factory）：抽象接口工厂（Factor…
阅读更多...
Kubernetes Service 详解

Kubernetes Service 详解

Author：rab 目录 前言一、ClusterIP1.1 简介1.2 案例 二、NodePort2.1 简介2.2 案例 三、LoadBalancer3.1 简介3.1.1 MetalLB 简介3.1.2 MetalLB 部署3.1.3 MetalLB 配置3.1.3.1 Layer 2 模式3.1.3.2 BGP 模式 3.2 案例3.2.1 部署3.2.2 验证 四、ExternalName4.1 简…
阅读更多...
大数据技能大赛平台搭建（容器环境）

大数据技能大赛平台搭建（容器环境）

大数据技能大赛平台搭建（容器环境） 一、Hadoop3.X 完成分布式安装部署1、 JDK安装1、解压jdk2、修改配置文件3、免密登录 2、hadoop集群环境搭建1、配置文件2、配置环境变量3、给slave1和slave2分发配置文件4、启动Hadoop集群 3、配置完成！ 二…
阅读更多...
奇富科技引领大数据调度革命：高效、稳定、实时诊断

奇富科技引领大数据调度革命：高效、稳定、实时诊断

日前，在世界最大的开源基金会 Apache旗下最为活跃的项目之一DolphinScheduler组织的分享活动上，奇富科技的数据平台专家刘坤元应邀为国内外技术工作者献上一场题为《Apache DolphinScheduler在奇富科技的优化实践》的精彩分享，为大数据任务调…
阅读更多...
[推荐]SpringBoot，邮件发送附件含Excel文件(含源码)。

[推荐]SpringBoot，邮件发送附件含Excel文件(含源码)。

在阅读本文前，可以先阅读我的上一篇文章： SpringBoot，使用JavaMailSender发送邮件(含源码)。 ，本文使用的代码案例涉及到的 jar包、application.properties配置与它相同。 先看一下效果。 图一 图二 在下方代码案例中，…
阅读更多...
智安网络|保护您的应用程序免受攻击：重要的安全强化措施

智安网络|保护您的应用程序免受攻击：重要的安全强化措施

在今天的数字化时代，应用程序安全成为了企业和个人必须重视的重要领域。应用程序普遍存在的安全漏洞成为黑客们进行攻击的一个突破口。为了保护敏感数据和个人隐私，我们必须了解并实施一系列的关键措施来加固应用程序的安全性。 首先，一个关…
阅读更多...
3D max软件有哪些技巧可快速选择区域？

3D max软件有哪些技巧可快速选择区域？

使用3D max软件时，有新手朋友反馈说，为什么3dmax选择区域怎么改不了？ 还有就是3dmax选择区域不显示该怎么办？ 或者是3dmax选择区域变成圆形了。 针对以上这几类问题，只要掌握这几种方法就可以。小编整理了几种3D max…
阅读更多...
一天收入500元的货拉拉运费差项目靠谱吗？

一天收入500元的货拉拉运费差项目靠谱吗？

最近的货拉拉运费差项目有点火呀！收费也不低，1680-16980的比比皆是。 这个项目去年我就在某些平台看到过，今天就跟大家详细聊聊这个项目，想入坑的不妨先看看这篇文章。 一：项目原理 有人叫它货拉拉搬砖项目&#xf…
阅读更多...
2023应届生能力考试含解析（Java后端开发）——（1）

2023应届生能力考试含解析（Java后端开发）——（1）

1.以下代码的循环次数是 ( ) public class Test {public static void main(String[] args) {int i 7;do {System.out.println(--i);--i;} while (i ! 0);System.out.println(i);} } A 0 B 1 C 7 D 无限次 这段代码会导致无限循环的原因是在 do-while 循环中&#…
阅读更多...
毕业设计基于SpringMVC+Mybatis+Bootstrap的电影院管理系统源码+数据库

毕业设计基于SpringMVC+Mybatis+Bootstrap的电影院管理系统源码+数据库

<<电影院管理系统>> 电影院管理系统&#xff1a;SpringMVCJSPTomcatMybatisBootstrapJqueryAnimateCSSLayerJS 项目部署&#xff1a;该项目是IDEA版本&#xff0c;Maven项目 前端依赖&#xff1a; Bootstrap-3.4.1Animate.css- 4.1.1Jquery-3.6.0Layer-v3.5.1B…
阅读更多...
83.每日一练：搜索插入位置（力扣第35题）

83.每日一练：搜索插入位置（力扣第35题）

问题描述 代码解决以及思想 class Solution { public:int searchInsert(vector<int>& nums, int target) {int left 0; // 定义左边界int right nums.size() - 1; // 定义右边界while (left < right) { // 当左边界小于…
阅读更多...
基于【逻辑回归】的评分卡模型金融借贷风控项目实战

基于【逻辑回归】的评分卡模型金融借贷风控项目实战

背景知识&#xff1a; 在银行借贷过程中&#xff0c;评分卡是一种以分数形式来衡量一个客户的信用风险大小的手段。今天我们来复现一个评分A卡的模型。完整的模型开发所需流程包括&#xff1a;获取数据&#xff0c;数据清洗和特征工程&#xff0c;模型开发&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023