3D目标检测总结

news2024/11/11 4:51:12

在这里插入图片描述

3D目标检测最主要的应用领域是自动驾驶,主流用的传感器是camera和lidar, 一般车上也会配备很多radar, 但是在检测中一般很少用到radar。

除了特斯拉坚决不用lidar, 只基于纯视觉做自动驾驶感知, 大多数的自动驾驶感知主传感器都是lidar, 然后加几个camera作为辅助。

最近也有一些研究开始在感知中采用radar, 但是一般也只是作为辅助。 然而radar的发展还是很快的, 特别是4D毫米波雷达出现, 未来没准能取代lidar。

1 单模态方法

单模态方式是指只采用单一传感器, 一般是lidar, camera。也有少数采用radar, 但基本处于非常低级的实验阶段, 不具备实用性。

1.1 camera

基于camera的2D检测是非常成熟的,深度学习在这个领域也是大放异彩。 但是在3D检测中, camera却面临巨大的挑战, 其中一个最大的难点是单目的camera没法测量深度,这对3D目标检测是致命的影响, 对应到自动驾驶场景就是, 你检测到前面有个目标, 但你不知道目标离你多远。当然这个问题也不是完全无解, 一般有这么2种方法解决:

  • 1 采用单目估计深度。单目估计深度本质上是一个病态问题, 所以别指望会估的多准。
  • 2 增加摄像头,2个及以上摄像头就可以估计深度。 这个方案会比单目好很多, 起码理论上也靠谱很多。 但是系统复杂度也高, 多个摄像头还涉及到定标, 校正, 实际用起来效果可能也不是那么理想。

这一类的方法非常多, 可以参考我的两外2篇博客:
[1] 单目3D目标检测网络CaDDN解读
[2] 单目3D目标检测网络SMOKE解读

1.2 lidar

基于lidar做3D目标检测应该说是自动驾驶感知中最主流的一种方法了。 在所有的单模态方法中效果也是最好的, 而且是领先很多的那种。 以KITTI数据集中的Car为例, 基于lidar的方法mAP可以做到80以上的有很多, 但是基于单目图像一般只能做到20左右。

1.3 radar

基于radar做3D目标检测的工作很少, 已有的少量工作基本处于玩具的转态。

但是随着4D radar的发展, 这方面的工作应该会逐渐多起来。

2 多模态方法

每个传感器都有各自的优劣, 比如lidar虽好,也有几个不小的缺点:极端天气环境下性能急剧下降,价格贵;另外机械式激光雷达不抗造,没法通过车规, 半固态会好一点, 有些产品已经能通过车规,纯固态是一个理想的方式, 目前正在朝这个方向大力发展。 这是激光雷达的3宗罪。摄像头更不必说了, 天气稍微差一点更是没法工作。 radar作用距离远也抗恶劣天气, 并且不是很贵, 但就是分辨率太差了, 不是一般的差。4D radar的出现或许会改变这一局面。

所以主流的多模态融合方法是lidar + camera, 加上radar的, 一般也就是个打酱油的角色。

2.1 lidar + camera

典型工作有:
1 MV3D
Multi-view 3d object detection network for autonomous driving

2 PointFusion

3 Frustum PointNet

2.2 camera + radar

1 CRF-Net

2 CenterFusion
参考我的另一篇博客: CenterFusion解读

2.3 lidar + radar

1 RadarNet

2.3 lidar + camera + radar

3 参考

[1] CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/64532.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java---网络编程

特点:数据被限制在64kb以内,超出这个范围就不能发送了。 数据报(Datagram):网络传输的基本单位 。 TCP 传输控制协议 (Transmission Control Protocol)。TCP协议是面向连接的通信协议,即传输数据之前,在发送端和接收…

联邦学习论文分析1----联邦学习_功率分配_频带分配_传输速率_能耗

目录一、文章概述二、系统模型环境三、上行链路功率分配(UPA)算法1.系统目标2.约束条件3.公式推导(1)传输时间(2)系统能耗4.算法求解5.伪代码四、频带分配(BA)算法1.系统目标2.约束条件3.算法求解五、性能表征本文是对论文《Multi-Server Federated Edge Learning for Low Powe…

[附源码]JAVA毕业设计南京传媒学院门户网(系统+LW)

[附源码]JAVA毕业设计南京传媒学院门户网(系统LW) 项目运行 环境项配置: Jdk1.8 Tomcat8.5 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技…

【计算机网络】数据链路层:虚拟局域网

以太网包含的计算机太多时,带来问题: (1)广播风暴 一个以太网是一个广播域(广播域中任何一台设备发出的广播通信都能被该部分网络中的其他所有设备所接收) 在交换机的交换表的建立过程中要使用许多广播域…

如何使用css美化网页?

转自:微点阅读 https://www.weidianyuedu.com 相信大家通过上一篇文章的学习已经成功的创建了自己的第一个网页。虽然只有一句话,但这个仍然是一个网页。但是我相信你,一定觉得这个页面不好看,想自己美化一下,今天就可…

深度学习---确保每次训练结果一致的方法

每次训练结果不一致的原因: 神经网络特意用随机性来保证,能通过有效学习得到问题的近似函数。采用随机性的原因是:用它的机器学习算法,要比不用它的效果更好。 在神经网络中,最常见的随机性包含以下几个地方&#xf…

[黑马程序员C++笔记]P174-P184模板-类模板

视频地址:黑马程序员匠心之作|C教程从0到1入门编程,学习编程不再难_哔哩哔哩_bilibili 目录 P174模板-类模板基本语法 P175模板-类模板和函数模板区别 P176模板-类模板中成员函数创建时机 P177模板-类模板对象做函数参数 P178模板-类模板与继承 P179模板-类模板…

什么是MES制造执行系统?MES的优势,架构和核心功能

随着科技的飞速发展,企业要想增强自身的竞争力,在市场竞争中立于不败之地,只有这样才是唯一的出路。在过去30年中,对社会影响最大的技术进步是信息技术,它改变了我们的日常生活,改变了企业的管理方式。在信…

Kubernetes v1.25 源码编译

下载源码并切换到需要debug的分支 git clone gitgithub.com:kubernetes/kubernetes.git git checkout -b v1.25 remotes/origin/release-1.25 cd kubernetes编译源码 执行:make clean && KUBE_BUILD_PLATFORMSlinux/amd64 make all DBG1会编译所有的组件 网…

java 之泛型详解

1 什么是泛型 引入: 关于泛型,先来说几句集合。都知道集合是可以存储任意对象,当我们创建一个集合时如果没有声明它的存储类型,那该集合便自动提升为Object类型 提示:在我们创建对象的时候,如果没有明确指…

构建全真互联数字地图底座 腾讯地图产业版WeMap重磅升级

前言 :伴随着地理信息产业的不断演进,以及LBS、大数据、5G、云、AI等新技术的持续应用,数实融合发展呈现出加速态势,数字地图也从移动互联网时代向产业互联网时代进化。 WeMap腾讯地图产业版重磅升级!12月1日&#xff…

AD入门学习—元件库的创建2

目录 1.3 IC芯片类元件创建 1.4 晶体类元件创建 1.5 接插件座子元件创建 学习目录 1.3 IC芯片类元件创建 填写ID放置在原理图上才会有名字。 STM32F103VET6芯片: 主要用到的还是阵列式粘贴,先复制,然后向上粘贴是正的,向下粘贴…

(附源码)ssm学生考勤管理系统 毕业设计 260952

摘 要 21世纪的今天,随着社会的不断发展与进步,人们对于信息科学化的认识,已由低层次向高层次发展,由原来的感性认识向理性认识提高,管理工作的重要性已逐渐被人们所认识,科学化的管理,使信息存…

C++日期和时间编程总结

一,概述二,C-style 日期和时间库 2.1,数据类型2.2,函数2.3,数据类型与函数关系梳理2.4,时间类型 2.4.1,UTC 时间2.4.2,本地时间2.4.3,纪元时间 2.5,输出时间和…

射频识别|计算机网络|第九讲数据通信和编码技术|奈氏准则和香农定理

1.数据通信概述 2.数据传输方式 3.传输介质 4.数据编码技术 (1)什么是比特率,什么是波特率,它们之间有何换算关系式? (2)数据通信系统的技术指标有哪些? (3)什么是信道容量,香农定理其中的各个参数的意义是什么&a…

Linux学习-76-LAMP环境搭建和LNMP环境搭建-前期准备

17 LAMP环境搭建和LNMP环境搭建-环境准备 LAMP是协同工作的一整套系统和相关软件,能够提供动态Web站点服务以及应用开发环境,是目前最为成熟也是比较传统的一种企业网站应用模式。 LAMP 环境搭建指的是在 Linux 操作系统中分别安装 Apache 网页服务器、…

社交礼仪,商务礼仪,酒桌上需注意的细节

目录 酒桌上需注意的细节 宴会酒桌上的注意事项 酒桌上的礼仪 一、敬酒要先​​​​​​​敬领导和长辈 二、学会聆听,不要夸夸其谈 三、主动倒酒 酒桌上需注意的细节 细节一:领导相互喝完才轮到自己敬酒。敬酒一定要站起来,双手举杯。…

uniapp微信小程序图片裁剪插件,支持自定义尺寸、定点等比例缩放、拖动、图片翻转、剪切圆形/圆角图片、定制样式

qf-image-cropper2.0 图片裁剪插件 1.效果预览: 2.平台支持: 1.支持微信小程序(移动端、PC端、开发者工具) 2.其他平台暂未测试兼容性未知 3.支持功能: 1.自定义裁剪尺寸 2.定点等比例缩放:移动端以双指触…

resnet(1)------像素与卷积

文章目录1. 像素2. 色彩3. 图片大小1. 像素 众所周知,图像是由像素构成的,像素越多,图片就越清晰,我们能获取到的信息就越多,不然那么多手机大厂疯狂宣传自己的像素有多高有多高干啥呢。 但是我们人对于图像的识别&am…

读取s3图片并保存至excel

1. 构建Client类,实现图片读取 1.1 导包&config client.py import os import numpy as np import pandas as pd import cv2 import boto3 # boto3安装: pip3 install opencv-python boto3config {"region_name": "us-east-1","end…