CV——day81(1) 读论文: 基于自监督一致性学习的驾驶场景交通事故检测(有源码)

news2024/11/13 9:41:18

Traffic Accident Detection via Self-Supervised Consistency Learning in Driving Scenarios

  • 基于自监督一致性学习的驾驶场景交通事故检测
  • I. INTRODUCTION
  • III. OUR APPROACH
    • A. 帧预测
    • B. 物体位置预测
    • C. 驾驶场景上下文表示(DSCR)
    • D. 协作多任务一致性学习
    • E.交通事故判定
  • IV. EXPERIMENTS AND DISCUSSIONS
    • A. Dataset
    • D. Ablation Studies
    • E. Overall Performance Evaluation
    • I. TAD(交通事故检测)帧预测的进一步分析
  • V. CONCLUSION

基于自监督一致性学习的驾驶场景交通事故检测

Traffic Accident Detection via Self-Supervised Consistency Learning in Driving Scenarios

模型叫做SSC-TAD,包括外观,动作和上下文一致性学习。

代码地址:GitHub - JWFangit/LOTVS-DADA: Driver Attention Prediction in Accidental Scenarios

http://t.csdn.cn/4VzF0

I. INTRODUCTION

在本工作中,我们吸收了这两种框架的优点,进一步提出了TAD框架,将daschcam视频帧所捕获的视觉场景上下文一致性纳入其中。其主要表述是基于正常的驾驶状态服从道路参与者之间相对规则的空间关系结构,事故对象通常涉及空间关系结构的突然或不规则变化。

III. OUR APPROACH

我们从帧外观一致性、目标运动一致性和场景上下文一致性三个方面对交通事故检测进行建模(the consideration of frame appearance consistency, object motion consistency and scene context consistency)。因此,本文的交通事故检测的目标是定位**“异常到事故”(anomaly-to-accident, A2A)**的时间窗口,在该时间窗口中,一旦发生事故的物体出现在场景中,A2A的起始时间就会被激活。根据A2A的定义,本工作可适用于早期交通事故检测(有待实验验证)。

图2展示了自监督一致性学习框架的流程。

A. 帧预测

image-20230302130624681

如图3所示,其中包括两支帧编码器、光流运动图像编码器和一条未来帧解码器路径。φI是RGB帧和光流图像的编码共享权值。

B. 物体位置预测

image-20230302130916001

目标位置预测网络的目的是给出目标在未来帧中的位置,这意味着在测量交通事故发生程度时具有运动一致性特征。

C. 驾驶场景上下文表示(DSCR)

image-20230302130945961

在这项工作中,DSCR模型的场景关系内的视频帧。为了抵抗误检测道路参与者的影响,本文提取了参与者内部的信息关系以及整个视频帧,用于交通事故检测。为此,我们在特定道路参与者和整个框架的特征嵌入上引入了图形表示。

D. 协作多任务一致性学习

协作多任务一致性学习的损失函数定义为:

image-20230302131103565

生成性损失和区别性损失记为:

image-20230302131127409

为了优化式8,交替训练术语A和B。这个设置意味着我们希望训练G时MSE(gp,π T+1, gr,π−1 T+1)为真,训练D时MSE(gp,π T+1, gr,π−1 T+1)为假。

E.交通事故判定

本工作设计了一种简单而高效的融合策略,如图6所示,将一致性度量结合起来,表示为:

image-20230302131252568

三种一致性度量的融合策略。“归一化”的运算用蓝色表示,为max-min归一化,取值范围为[0,1]。线的粗细表示融合的一致性信息的量。

image-20230302131211804

Eq. 10背后的含义是,因为帧预测模块的学习是由原始视频帧监督的,没有标注错误。

IV. EXPERIMENTS AND DISCUSSIONS

A. Dataset

在本工作中,我们利用两个具有挑战性的数据集,即我们之前收集的AnAn事故检测(A3D)数据集[3]和DADA-2000[14]作为比较基准。A3D和DADA-2000的视频采集自各个网站,每个视频的摄像头设置或对准方式都不一样。

image-20230302103759965

A3D和DADA-2000数据集的典型样本帧,图中显示了视频的事故类别。Ego-” and “/Ego-”是指涉及到或不涉及到自我-汽车的范畴。

D. Ablation Studies

结果见表二。

image-20230302104039062

我们发现卷积lstm光流是本工作的重要组成部分。GRU优于LSTM,但性能差距最小。此外,GRU中的参数比LSTM中的参数要少。

E. Overall Performance Evaluation

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WsPcHbi3-1677734411728)(https://gitee.com/EmptyHouse/note-picture/raw/master/img/image-20230302104202884.png)]

表格三是对比结果。从这个表中,我们可以看到竞争对手在我们的DADA-2000数据集上的性能要弱于在A3D数据集上的性能,特别是在AP上

image-20230302104258237

image-20230302104311955

image-20230302104328249

图9给出了交通事故发生程度的几个典型序列,前两行取自A3D数据集,其余为DADA数据集,其中红色方框表示事故所涉及的对象。说明我们的SSC-TAD能够较好地区分出事故和非事故情况。

I. TAD(交通事故检测)帧预测的进一步分析

如图12所示,所提方法仍有改进空间,生成了一些典型的失效案例。

image-20230302104704967

从图12可以看出,物体尺度和光照条件是检测失败的主要因素。尺度过大或过小都会导致目标位置预测和帧预测模块无法有效发现目标

V. CONCLUSION

本文吸收了前人的帧预测和位置预测的优点,提出了一种通过学习连续帧内外观、运动和上下文关系一致性的交通事故检测方法,并采用生成式和对抗性训练策略的多任务一致性学习框架来实现。我们还设计了一种融合外观、运动和上下文一致性测量的新策略。基于我们之前收集的两个具有挑战性的数据集,即AnAn交通事故检测(A3D)和DADA-2000的广泛实验。通过与几种最新方法的比较,验证了该方法的优越性。此外,在我们的DADA-2000数据集上,我们分析了每种方法在不同交通事故行为类型、不同事故类别以及涉及或不涉及自我车的情况下的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/384184.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

UART串口通信协议

一、协议 1.1 消息格式 串口协议是一种全双工、异步通信协议,不需要同步时钟,数据的发送是一位一位的发送,完整的一帧数据通常由起始位、数据、奇偶校验位和停止位组成 1.2 波特率 为确保正确的收发信息,双方必须设置相同的波…

火山引擎 DataLeap:揭秘字节跳动数据血缘架构演进之路

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设&#x…

MySQL 中的锁有哪些类型,MySQL 中加锁的原则

锁的类型MySQL 找那个根据加锁的范围,大致可以分成全局锁,表级锁和行级锁。全局锁全局锁,就是对整个数据库加锁。加锁flush tables with read lock解锁unlock tables全局锁会让整个库处于只读状态,之后所有的更新操作都会被阻塞&a…

OB运维 | 连接 kill 中的 session_id

作者:姚嵩 外星人… 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 背景: 通过 obproxy 连接 OB 后,发现: kill 命令使⽤ show processli…

如何写出让人看不懂的MATLAB代码?

最近呢有不少好奇的伙伴私下问咱这是怎么实现大幅度降低matlab代码可读性。于是咱准备将相关的资源分享给大家,这个工具的根来源于大神thrynae (Rik)公开分享一款名叫minify的小工具图片。 咱也不藏着掖着,其实大家用minify作为关键词检索,不…

学生成绩管理系统/学生信息管理系统

文章目录项目介绍一、技术栈二、项目功能介绍三、功能页面展示四、获取代码项目介绍 一、技术栈 编程语言:Java 技术栈:ServletJspJdbcEasyUIjQueryAjax面向接口编程 二、项目功能介绍 用户角色:学生、教师、系统管理员。; 管…

Nuxt 3.0 全栈开发

Nuxt 3.0 全栈开发 - 杨村长 - 掘金小册核心知识 工程架构 全栈进阶 项目实战,快速精通 Nuxt3 开发!。「Nuxt 3.0 全栈开发」由杨村长撰写,299人购买https://s.juejin.cn/ds/S6p7MVo/ 这门课我会全面讲解 Nuxt3 核心知识,然后…

【uni-app教程】一、UniAPP 介绍

一、UniAPP 介绍 (1) 什么是 UniAPP? uni-app 是一个使用 Vue.js 开发所有前端应用的框架,开发者编写一套代码,可发布到 iOS,Android,HS,以及各种小程序(微信/支付宝/百度/头条/QQ/钉钉》等多个平台&#…

Docker之部署Canal

Canal 就是一个同步增量数据的一个工具。 目录概念Mysql开启binlog是否开启binlog开启binlog日志创建授权用户部署Canal拉取镜像挂载properties配置文件创建容器概念 canal是阿里巴巴旗下的一款开源项目,纯Java开发。基于数据库增量日志解析,提供增量数…

VTK例子--使用不同的vtkActor同时显示灰度图、体渲染、多边形

在实际项目中,常遇到不同类型的数据在同一个渲染窗口显示;如网格多边形与灰度图像的显示、体渲染与多边形的显示、体渲染与灰度图像的显示,如下面几张图的效果;多边形灰度图像体渲染多边形体渲染灰度图像如何实现这种混合显示的效…

怎么连接同局域网下的其他同事的mysql

**一、双击运行MySQL 5.5 Command Line Client。**然后输入你这个设备的MySQL的root账户密码 二、输入grant all privileges on *.* to root% identified by"root";(identified by后面的是别人要登入的密码)后回车。这样就设置局域网内所有ip都…

【NLP相关】NLP的发展历程

❤️觉得内容不错的话,欢迎点赞收藏加关注😊😊😊,后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论(包括但不限于NLP算法相关,linux学习相关,读研读博…

C++实现AVL树

目录 一、搜索二叉树 1.1 搜索二叉树概念 二、模拟实现二叉搜索树 2.1 框架 2.2 构造函数 2.2.1 构造函数 2.2.2 拷贝构造 2.2.3 赋值拷贝 2.3 插入函数 2.3.1 insert() 2.3.2 RcInsert() 递归实现 2.4 删除结点函数 2.4.1 Erase() 2.4.2 RcErase() 2.5 中序遍历…

Nuxt 3.0 全栈开发:五种数据获取 API 选择和应用最佳实践

Nuxt 3.0 全栈开发 - 杨村长 - 掘金小册核心知识 工程架构 全栈进阶 项目实战,快速精通 Nuxt3 开发!。「Nuxt 3.0 全栈开发」由杨村长撰写,299人购买https://s.juejin.cn/ds/S6p7MVo/ 上一讲我们学习了如何基于 API Route 编写接口&#…

12.2 基于Django的服务器信息查看应用(CPU信息)

文章目录CPU信息展示图表展示-视图函数设计图表展示-前端界面设计折线图和饼图展示饼图测试折线图celery和Django配合实现定时任务Windows安装redis根据数据库中的数据绘制CPU折线图CPU信息展示 图表展示-视图函数设计 host/views.py def cpu(request):logical_core_num ps…

【Unity VR开发】结合VRTK4.0:创建人工按钮

语录: 人生需要准备的,不是昂贵的茶,而是喝茶的心情。 前言: 按钮按下抬起是虚仿中经常会出现的功能,那么如何去表现呢,我们可以使用线性变换驱动器对人工按钮进行装箱,以对来自交互器的碰撞做…

Netty——心跳机制与断线重连

心跳机制与断线重连心跳机制IdleStateHandler客户端服务端测试正常情况异常情况总结断线重连为了保证系统的稳定性,心跳机制和断线重连可是必不可少的,而这两个在Netty中也是非常好实现的心跳机制 我们以客户端发送心跳为例,平时我们的心跳实…

linux常用命令介绍 04 篇——uniq命令使用介绍(Linux重复数据的统计处理)

linux常用命令介绍 04 篇——uniq命令使用介绍(Linux重复数据的统计处理)1. uniq 使用语法2. sort 简单效果3. uniq 使用例子3.1 不加任何选项3.1.1 不用 sort 效果3.1.2 uniq 结合 sort 一起使用3.2 使用选项例子3.2.1 去重打印(或打印不重复…

12 nuxt3学习(配置)

链接: nuxt3官网 nuxt简介 vue3技术栈:Nuxt3 是基于 Vue3 Vue Router Vite 等技术栈,全程 Vue3Vite 开发体验(Fast)。自动导包:Nuxt 会自动导入辅助函数、组合 API和 Vue API ,无需手动导入。 基于规范…

卡方分布、非中心卡方分布详解 (概念、求阈值方法、非中心化参数求解办法等)

一、相关概念 1、卡方分布 若n个 相互独立 的随机变量 ξ₁、ξ₂、……、ξn ,均服从 标准正态分布N(0,1),则这n个服从标准正态分布的随机变量的 平方和 构成一新的随机变量,其分布规律称为卡方分布(chi-squaredistribution);其中参数n称为自由度(通俗讲,样本中独立…