【3D目标检测】MMdetection3d——nuScenes数据集训练BEVFusion

news2024/11/24 12:39:40

引言

MMdetection3d:【3D目标检测】环境搭建(OpenPCDet、MMdetection3d)

MMdetection3d源码地址:https://github.com/open-mmlab/mmdetection3d/tree/main?tab=readme-ov-file

IS-Fusion源码地址:https://github.com/yinjunbo/IS-Fusion

1 MMdetection3d环境搭建

官网教程链接🔗:https://mmdetection3d.readthedocs.io/en/latest/get_started.html
先准备好MMdetection3d的环境:【3D目标检测】环境搭建(OpenPCDet、MMdetection3d)
**直接抄作业安装如下:**

# 0 安装依赖
sudo apt install wget git g++ cmake ffmpeg libsm6 libxext6

# 1 创建虚拟环境
conda create -n mmdet3d python=3.8

# 2 激活虚拟环境
conda activate mmdet3d

# 3 安装torch
pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html

# 4 配置安装mmdetection3d
pip install openmim
# 下载的是mmdet3d是v1.3.0版本
git clone https://github.com/open-mmlab/mmdetection3d.git -b v1.3.0
cd mmdetection3d
# 使用mim可以自动配置mmcv,mmdet,mmengine
mim install -v -e .
# "-v" 指详细说明,或更多的输出
# "-e" 表示在可编辑模式下安装项目,因此对代码所做的任何本地修改都会生效,从而无需重新安装。

# 5 安装 cumm-cuxxx spconv-cuxxx
pip install cumm-cu113
pip install spconv-cu113

# 6 配置 mmdet3d中的BEVFusion
python projects/BEVFusion/setup.py develop
# 或者运行下面2句
# cd projects/BEVFusion
# pip install -v -e .

# 7 安装及查看相关库的版本
## 7.1 openlab相关库安装
mim install mmcv==2.1.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
mim install mmdet==3.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
mim install mmdet3d==1.3.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
mim install mmengine==0.10.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
## 7.2 openlab相关库版本
mim list
# 终端显示如下
mmcv       2.1.0      https://github.com/open-mmlab/mmcv
mmdet      3.2.0      https://github.com/open-mmlab/mmdetection
mmdet3d    1.3.0      /root/share/code/mmdetection3d
mmengine   0.10.1     https://github.com/open-mmlab/mmengine

## 7.2 torch相关库版本
pip list | grep torch
# 终端显示如下
torch                     1.10.0+cu113
torchaudio                0.10.0+rocm4.1
torchvision               0.11.0+cu113

2 nuScenes数据集准备

数据集下载参考🔗【3D目标检测】OpenPCDet——nuScenes数据集训练BEVFusion/TransFusion_L
可以使用软连接将数据集链接到mmdetection3d/data文件夹下

ln -s /opt/data/DATASETS/nuscenes /opt/data/CNN_3D/mmdetection3d/data
├── data
│   ├── nuscenes
│   │   │── v1.0-trainval (or v1.0-mini if you use mini)
│   │   │   │── samples
│   │   │   │── sweeps
│   │   │   │── maps
│   │   │   │── v1.0-trainval 

重要!!!!!!
如果是nuscenes-mini数据集,需要修改文件
mmdet3d/datasets/nuscenes_dataset.py文件中的v1.0-trainval改成v1.0-mini即可
nuscenes-full无需修改,如下图所示:
在这里插入图片描述
生成pkl格式的数据集

cd ./mmdetection3d/tools
python create_data.py nuscenes --root-path ./data/nuscenes/v1.0-mini --out-dir ./data/nuscenes/v1.0-mini --extra-tag nuscenes --version v1.0-mini

或者直接修改create_data.py对应的输入参数,如下图所示:
在这里插入图片描述
注意:修改./mmdetection3d/tools/dataset_converters/update_infos_to_v2.py文件
dataroot = out_dir
在这里插入图片描述
否则会报错如下:
在这里插入图片描述
或者直接在终端运行:

python create_data.py nuscenes

成功生成标准数据显示如下:
在这里插入图片描述
运行完后 data/nuscenes目录如下所示:

nuscenes
    ├── v1.0-mini
	    ├── maps
	    ├── nuscenes_dbinfos_train.pkl   # 新生成的文件
	    ├── nuscenes_gt_database         # 新生成的目录
	    ├── nuscenes_infos_train.pkl     # 新生成的文件
	    ├── nuscenes_infos_val.pkl       # 新生成的文件
	    ├── samples
	    ├── sweeps
	    └── v1.0-mini

3 BEVFusion

3.1 训练

复制一份配置文件projects/BEVFusion/configs/bevfusion_lidar_voxel0075_second_secfpn_8xb4-cyclic-20e_nus-3d.py重命名为bevfusion_lidar.py

1. 只训练lidar数据集

# 配置文件中的max_epochs=2, batch_size=1, num_workers=0
# 上面三个参数按需更改,前期测试环境是否正常,可以按上面数字设置
bash tools/dist_train.sh projects/BEVFusion/configs/bevfusion_lidar.py 1
'''
正常训练时,终端会打印信息如下:
...
12/13 17:56:37 - mmengine - INFO - Epoch(train) [1][150/408]  lr: 1.0551e-04  eta: 0:38:26  time: 0.9984  
data_time: 0.0137  memory: 21795  grad_norm: 16.1443  loss: 12.3859  loss_heatmap: 2.6139  
layer_-1_loss_cls: 3.9985  layer_-1_loss_bbox: 5.7735  matched_ious: 0.0343
'''

配置如图:
在这里插入图片描述
成功训练如图:
在这里插入图片描述
2. lidar和相机数据共同训练

## 2.1 预训练权重
# 因为图像特征提取层配置的swin-transform需要下载预训练权重, 如果网络出问题, 可以加上代码下载即可
# 在bevfusion_lidar-cam.py配置文件全局搜索https://github.com,并在该地址前面加上https://mirror.ghproxy.com/即可

## 2.2 训练
# bevfusion_lidar-cam.py配置文件是继承bevfusion_lidar.py所以batch_size,num_workers需要在bevfusion_lidar.py中修改

### 2.2.1分布式训练
bash tools/dist_train.sh projects/BEVFusion/configs/bevfusion_lidar-cam.py 1

### 2.2.2 单步训练 加载数据时比较慢,不是卡住了,只要报错和卡住就等着
python tools/train.py projects/BEVFusion/configs/bevfusion_lidar-cam.py

配置如下图:
在这里插入图片描述
训练成功如图:
在这里插入图片描述

训练完成结果(权重,配置文件,log,vis_data)后会保存在work_dirs目录下
官方提供了训练好的权重, 参考BEVFusion model
图像预训练权重:Swin pre-trained model

3.2 测试

bash tools/dist_test.sh work_dirs/bevfusion_lidar-cam/bevfusion_lidar-cam.py work_dirs/bevfusion_lidar-cam/epoch_2.pth 1

3.3 可视化

python projects/BEVFusion/demo/multi_modality_demo.py demo/data/nuscenes/n015-2018-07-24-11-22-45+0800__LIDAR_TOP__1532402927647951.pcd.bin demo/data/nuscenes/ demo/data/nuscenes/n015-2018-07-24-11-22-45+0800.pkl  work_dirs/bevfusion_lidar-cam/bevfusion_lidar-cam.py work_dirs/bevfusion_lidar-cam/epoch_6.pth --cam-type all --score-thr 0.2 --show

可视化结果如下:
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2091401.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

139. MySQL同步ES的四种方案

文章目录 1. 前言2. 数据同步方案2.1 同步双写2.2 异步双写2.3 基于 SQL 抽取2.4 基于 Binlog 实时同步 3. 数据迁移工具选型3.1 Canel3.2 阿里云 DTS3.3 Databus3.4 其它 4. 后记 本文介绍数据同步的 4 种方案,并给出常用数据迁移工具,目录如下&#xf…

【软件测试专栏】认识软件测试、测试与开发的区别

博客主页:Duck Bro 博客主页系列专栏:软件测试专栏关注博主,后期持续更新系列文章如果有错误感谢请大家批评指出,及时修改感谢大家点赞👍收藏⭐评论✍ 认识软件测试、测试与开发的区别 关键词:软件测试、测…

最短路算法详解(Dijkstra 算法,Bellman-Ford 算法,Floyd-Warshall 算法)

文章目录 一、Dijkstra 算法二、Bellman-Ford 算法三、Floyd-Warshall 算法 由于文章篇幅有限,下面都只给出算法对应的部分代码,需要全部代码调试参考的请点击: 图的源码 最短路径问题:从在带权图的某一顶点出发,找出…

【PyCharm激活码】2024年最新pycharm专业版激活码+安装教程!

一、PyCharm激活 激活码: KQ8KMJ77TY-eyJsaWNlbnNlSWQiOiJLUThLTUo3N1RZIiwibGljZW5zZWVOYW1lIjoiVW5pdmVyc2l0YXMgTmVnZXJpIE1hbGFuZyIsImxpY2Vuc2VlVHlwZSI6IkNMQVNTUk9PTSIsImFzc2lnbmVlTmFtZSI6IkpldOWFqOWutuahtiDorqTlh4blupflkI0iLCJhc3NpZ25lZUVtYWlsIjoi…

ArcEngine二次开发实用函数18:使用shp矢量对栅格文件进行掩模和GP授权获取

目录 1. 权限设置 2. 添加如下引用 3. 核心代码: 首先要确定要使用的gp工具需要什么权限,这个可以在工具的帮助中查看;获取权限之后,引用名称空间,编写处理代码: 下面给出具体的实例代码: 1. 权限设置 ESRI.ArcGIS.RuntimeManager.Bind(ESRI.ArcGIS.ProductCode.Eng…

介绍一下最近很火的一款游戏黑神话悟空,以及国产游戏面临的挑战

《黑神话:悟空》是一款由杭州游科互动科技有限公司开发的单机动作角色扮演游戏,以中国古典名著《西游记》为背景。游戏在2024年8月20日上线,支持PC(Steam、Epic、Wegame)和PlayStation 5平台,未来还将登陆X…

OpenCV绘图函数(13)绘制多边形函数函数polylines()的使用

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 画几条多边形曲线 函数原型 void cv::polylines (InputOutputArray img,InputArrayOfArrays pts,bool isClosed,const Scalar & color…

浅谈 Android 15 新 API:确保 TextView 完整展示、不被切断~

本文为稀土掘金技术社区首发签约文章,30天内禁止转载,30天后未获授权禁止转载,侵权必究! 前言 很多语言和文字拥有特殊的、复杂的写法、画法,一个字符可能延伸到前一个字符的区域,甚至后一个字符的区域。 …

力扣375.猜数字大小 II

力扣375.猜数字大小 II dp dp[i][j]是说依次以从i到j的数字作为分割点(猜的数),必定赢的游戏所用钱的最小值。 枚举每一列,从下往上算出dp[i][j],最终答案为dp[1][n] class Solution {public:int getMoneyAmount(int n) {if(n 1)retu…

巧用scss实现一个通用的媒介查询代码

巧用scss实现一个通用的媒介查询代码 效果展示 实现代码 <template><div class"page-root"><div class"header"></div><div class"content"><div class"car-item" v-for"item in 9">…

20行为型设计模式——访问者模式

一、访问者模介绍 访问者模式&#xff08;Visitor Pattern&#xff09;是一种行为型设计模式&#xff0c;用于将操作封装在访问者对象中&#xff0c;以便在不改变被访问对象的类的前提下&#xff0c;定义新的操作。它允许你在不修改现有代码的情况下&#xff0c;向对象结构中添…

类和对象以及内存管理

对象拷贝时的编译器优化 现代编译器会为了尽可能提高程序的效率&#xff0c;在不影响正确性的情况下会尽可能减少⼀些传参和传返回值的过程中可以省略的拷贝。如何优化C标准并没有严格规定&#xff0c;各个编译器会根据情况自行处理。当前主流的相对新⼀点的编译器对于连续⼀个…

电池信息 v5.29.11 高级版,智能优化充电,最多可延长50%电池寿命

Charging Master 是一款非常实用的安卓 APP&#xff0c;专注于为您的手机充电提供最佳体验。借助其智能优化功能&#xff0c;Charging Master 能够最大程度地延长电池寿命&#xff0c;最多可达 50% 的节省。此外&#xff0c;该应用还提供了一系列功能&#xff0c;助您更好地管理…

提升团队效率的9款免费办公工具评测

本文主要介绍了以下9款协同办公软件&#xff1a;1.Worktile&#xff1b;2.PingCode&#xff1b;3.石墨文档&#xff1b;4.Teambition&#xff1b;5.蓝湖&#xff1b;6.工作宝&#xff1b;7.飞书&#xff1b;8.Asana&#xff1b;9.ClickUp。 在现代职场中&#xff0c;团队协作已…

GD - GD32350R_EVAL - PWM实验和验证1

文章目录 GD - GD32350R_EVAL - PWM实验和验证1概述笔记实验设计实验环境GD32350R_EVAL 的硬件连接修改程序配置 - 只产生PWM波&#xff0c;不要CMP清除波形TIMER0时钟设置TIMER0的PWM设置参数设置main()中PWM波形的开启代码示波器测量结果如果要产生4KHZ的PWM需要设置怎样的参…

在centos系统中kill掉指定进程

如上图&#xff0c;我想kill掉 python3 func_tg_1_vps.py这个进程&#xff08;而不kill掉python3 func_tg_2_vps.py&#xff09;。 解决方法&#xff1a; 第一步&#xff1a;首先使用ps -ef | grep python3命令&#xff0c;查出所有包含python3的命令 拿其中一条讲解 root …

开放式耳机漏音有多大?开放式耳机是否值得购买?

开放式耳机确实存在漏音的问题&#xff0c;这是因为其设计原理决定的。开放式耳机不像封闭式耳机那样完全封闭耳道&#xff0c;因此声音会向外散播&#xff0c;导致漏音。不过&#xff0c;随着技术的发展&#xff0c;许多耳机制造商已经开始着手解决这个问题&#xff0c;通过改…

Git之2.0版本重要特性及用法实例(五十六)

简介&#xff1a; CSDN博客专家、《Android系统多媒体进阶实战》一书作者. 新书发布&#xff1a;《Android系统多媒体进阶实战》&#x1f680; 优质专栏&#xff1a; Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a; 多媒体系统工程师系列…

VScode 使用记录

插件 1、代码提示插件&#xff1a;Codeium 安装说明&#xff1a;Codeium&#xff1a;强大且免费的AI智能编程助手 - Su的技术博客 (verysu.com) 用google账号登陆&#xff0c;跳转按照官网给的三个步骤来 step1&#xff1a;复制token&#xff1b; step2&#xff1a;在文件页…

中秋佳节,南卡Runner Pro5骨传导耳机让团圆更圆满!

中秋节&#xff0c;这个承载着温馨与团圆的节日&#xff0c;是向亲朋好友表达深情厚意的绝佳时刻。在这样一个特别的日子里&#xff0c;挑选一份既实用又充满科技感的礼物&#xff0c;无疑能够给人们带来惊喜与感动。南卡Runner Pro5骨传导耳机&#xff0c;凭借其创新的设计和卓…