动态SLAM:基于ORB-SLAM2与YOLOv8剔除动态特征点(三种方法)

news2024/11/10 8:24:24

基于ORB-SLAM2与YOLOv8剔除动态特征点(三种方法)

写上篇文章时测试过程比较乱,写的时候有些地方有点失误,所以重新写了这篇
本文内容均在RGB-D环境下进行程序测试

本文涉及到的动态特征点剔除速度均是以https://cvg.cit.tum.de/data/datasets/rgbd-dataset/download#freiburg3_walking_xyz数据进行实验

方法1:segment坐标点集合逐一排查剔除

利用YOLOv8的segment获取动态对象(这里指人person)所在区域的坐标点集合segpoints,之后将提取的特征点的坐标逐一与segpoints中的所有坐标作判断,将出现在segpoints中的特征点的坐标改为(-1,-1),然后在畸变校正时会将坐标为(-1,-1)的异常坐标剔除。但是segpoints中的数据量太大,完成一次剔除任务花费的时间太长(基本在40~50ms,这个与动态区域的大小即segpoints中的点数是有关的)。另外,特征点坐标为浮点型,而segpoints中的坐标为整型,其实没必要非用 = 判断,可以判断特征点在获取的动态目标区域坐标的周围1(可以调整,我最终在程序中使用半径为2)个像素就可以了,这已经很接近=了。

下面是部分代码:

std::vector<cv::Point> segpoints;
for (auto& obj:objs_seg) {
    int idx = obj.label;
    if (idx == 0)
    {
        cv::Mat locations;
        cv::findNonZero(obj.boxMask == 255, locations);
        for (int i = 0; i < locations.rows; ++i) {
            cv::Point segpoint = locations.at<cv::Point>(i);
            segpoint.x += obj.rect.x;
            segpoint.y += obj.rect.y;

            segpoints.push_back(segpoint);
        }
    }
}
// 动态特征点的判断
for (int k=0; k<mvKeys.size(); ++k){
    const cv::KeyPoint& kp = mvKeys[k];
    bool isDynamic = false;
    for (int kk = 0; kk < segpoints.size(); ++kk) {
        if (kp.pt.x > segpoints[kk].x-3 && kp.pt.x < segpoints[kk].x+3 && kp.pt.y > segpoints[kk].y-3 && kp.pt.y < segpoints[kk].y+3) 
        {
            mvKeys[k] = cv::KeyPoint(-1,-1,-1);
            isDynamic = true;
            break;
        }
    }
    vbInDynamic_mvKeys.push_back(isDynamic);
}

方法2:利用目标检测框

利用YOLOv8进行目标检测,将检测到的目标分为两类:动态对象和静态对象。
这里仅将person设为动态对象。获取动态对象及静态对象的检测框后判断提取的特征点是否在动态对象检测框内以及是否在静态对象检测框内。

1.特征点在动态对象检测框内而不在静态对象检测框内,则满足剔除条件,将其剔除;
2.其余情况皆不满足剔除条件。

采用这种方法速度提升至0.02~0.03ms.

struct DyObject {
    cv::Rect_<float> rect;
    int              id = 0;
};

std::vector<ORB_SLAM2::DyObject> detect_results;
for (auto& obj:objs_det)
{
    int class_id = 0;// id为0代表其为静态对象
    int class_label = obj.label;
    if (class_label == 0){// 如果是人person则将其id改为1即动态对象
        class_id = 1;
    }
    cv::Rect_<float> bbox;
    bbox = obj.rect;
    ORB_SLAM2::DyObject detect_result;
    detect_result.rect = bbox;
    detect_result.id = class_id;
    detect_results.push_back(detect_result);
}
// 判断特征点是否在动态检测框内
bool Frame::isDynamic(const int& i,std::vector<DyObject>& detect_results){
        const cv::KeyPoint& kp = mvKeys[i];
        float kp_u  = kp.pt.x;
        float kp_v = kp.pt.y;
        bool is_dynamic = false;
        for(auto& result:detect_results)
        {
            int idx = result.id;
            if (idx == 1){
                double left = result.rect.x;
                double top = result.rect.y;
                double right = result.rect.x + result.rect.width;
                double bottom = result.rect.y + result.rect.height;
                if(kp_u>left-2 && kp_u<right+2 && kp_v>top-2 && kp_v<bottom-2)
                {
                    // 如果特征点在动态目标检测框内
                    is_dynamic = true;
                }
            }
        }
        return is_dynamic;
}

// 判断特征点是否在静态检测框内
bool Frame::isStatic(const int& i,std::vector<DyObject>& detect_results){
        const cv::KeyPoint& kp = mvKeys[i];
        float kp_u  = kp.pt.x;
        float kp_v = kp.pt.y;
        bool is_static = false;
        for(auto& result:detect_results)
        {
            int idx = result.id;
            if (idx == 0){
                double left = result.rect.x;
                double top = result.rect.y;
                double right = result.rect.x + result.rect.width;
                double bottom = result.rect.y + result.rect.height;
                if(kp_u>left && kp_u<right && kp_v>top && kp_v<bottom)
                {
                    is_static = true;
                }
            }
        }
        return is_static;

}

优化(方法3):目标检测+语义分割(其实利用的是YOLOv8的实例分割)

针对方法1关于速度即处理数据量太大的问题,其实可以将方法1与方法2结合运用,先利用方法2进行判断特征点是否在动态目标的检测框内(不过不需要判断是否在静态目标的检测框内了,方法2中如果在静态目标检测框内就保留该点而不会被剔除,这里舍弃此步骤也是宁缺毋滥的原则),如果判断结果为真的话,则利用方法1将特征点与分割的Mask坐标进行判断即可,这样就可以节省很多时间了。

// 动态目标特征点的判断
//先定义一种目标检测的结果结构
struct DyObject {
    cv::Rect_<float> rect;
    std::vector<cv::Point> pts;
    int              id = 0;
};

for (auto& obj:objs_seg) {
    int idx = obj.label;
    std::vector<cv::Point> segpoints;
    cv::Mat locations;
    cv::findNonZero(obj.boxMask == 255, locations);
    for (int i = 0; i < locations.rows; ++i) {
        cv::Point segpoint = locations.at<cv::Point>(i);
        cv::Rect_<float> rect;
        segpoint.x += obj.rect.x;
        segpoint.y += obj.rect.y;
        segpoints.push_back(segpoint);
    }
    ORB_SLAM2::DyObject detect_result;
    detect_result.rect = obj.rect;
    detect_result.pts = segpoints;
    detect_result.id = idx;
    detect_results.push_back(detect_result);
}

速度控制在了25ms以内。

方案1可以被舍弃了,对于方法2与方法3,测试一下二者在精度上的差异,因为从上面的工作中可以看出方法2的速度很快,如果精度差异很小的话为了SLAM实时性还是采用方法2比较好。
TUM提供了SLAM轨迹精度评估工具:
evaluate_ate.py、evaluate_rpe.py、associate.py
具体内容:https://cvg.cit.tum.de/data/datasets/rgbd-dataset/tools
将上面三个代码下载后就可以对TUM数据集的结果轨迹进行精度评估了。

首先是方法2仅利用目标检测框的一个特征点剔除情况:紫色的点就是之后会被剔除的点。

然后是方法3的特征点剔除情况:

上面两张图片的对比可以看出方法2会将一些有用的特征点也标记为动态特征点,而方法3会更精确。关于图片中红色圆圈,是我做的纹理分析,目前还没完全做好所以就先不讲了。

我对ORB-SLAM2与我基于ORB-SLAM2andYOLOv8(方法2与方法3)在数据集rgbd_dataset_freiburg3_walking_xyz的结果轨迹进行了精度评估,结果如下:

精度评估
TUM-freiburg3_walking_xyzORB-SLAM2DWT-SLAM detDWT-SLAM seg
RPE0.5555830.0225210.018761
ATE0.4742760.0173880.014755

方法3利用目标检测框+实例分割的方法的精度是最优的。

下面再测测https://cvg.cit.tum.de/data/datasets/rgbd-dataset/download#freiburg3_walking_rpy

精度评估
TUM-freiburg3_walking_rpyORB-SLAM2DWT-SLAM detDWT-SLAM seg
RPE0.9686050.0358530.035431
ATE0.7880890.0299420.028222

https://cvg.cit.tum.de/data/datasets/rgbd-dataset/download#freiburg3_sitting_halfsphere

精度评估
TUM-freiburg3_walking_halfphereORB-SLAM2DWT-SLAM detDWT-SLAM seg
RPE0.3579840.0452500.029718
ATE0.2940750.0363010.023612

从以上从三个数据集获得的三组精度评估结果来看,方法3的精度最高,25ms的动态特征点处理速度也是可接受的(我的电脑算是比较旧了)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1465506.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

RF 框架实现企业级 UI 自动化测试

RobotFramework 框架可以作为公司要做自动化 但是又不会代码的一种临时和紧急情况的替代方案&#xff0c;上手简单。 前言 现在大家去找工作&#xff0c;反馈回来的基本上自动化测试都是刚需&#xff01;没有自动化测试技能&#xff0c;纯手工测试基本没有什么市场。 但是很多…

【动态规划】【回文】【字符串】1147. 段式回文

作者推荐 【广度优先搜索】【网格】【割点】【 推荐】1263. 推箱子 本文涉及知识点 动态规划汇总 LeetCode1147段式回文 你会得到一个字符串 text 。你应该把它分成 k 个子字符串 (subtext1, subtext2&#xff0c;…&#xff0c; subtextk) &#xff0c;要求满足: subtext…

如何将QQ音乐的歌单导出到excel

一、提前准备 1.选择你需要导出的音乐歌单 2.得到你的歌单ID 1、首先打开QQ音乐&#xff0c;找到想要查看的歌单&#xff0c;点击歌单右上角的更多按钮。 2、其次在弹出的菜单中选择分享&#xff0c;在分享页面中&#xff0c;选择歌单分享。 3、最后在分享页面中&#xff0c…

kafka和ZK的关系

zk相当于是kafka的一个基础设施 Kafka是一种高吞吐量、可扩展的分布式发布订阅消息系统&#xff0c;ZooKeeper是一个分布式协调服务&#xff0c;用于管理和协调分布式系统中的各种资源 Zookeeper&#xff1a;管理broker&#xff0c;consumer 创建broker后&#xff0c;向zk注册…

Leetcoder Day18| 二叉树 part07

语言&#xff1a;Java/Go 今天做了一个小决定&#xff0c;如果时间不够的话&#xff0c;可以先看go去找实习&#xff0c;所以现在加上用go去刷题 530.二叉搜索树的最小绝对差 给你一棵所有节点为非负值的二叉搜索树&#xff0c;请你计算树中任意两节点的差的绝对值的最小值。…

Stable Diffusion 绘画入门教程(webui)-ControlNet(深度Depth)

上篇文章介绍了线稿约束&#xff0c;这篇文章介绍下深度Depth 文章目录 一、选大模型二、写提示词三、基础参数设置四、启用ControlNet 顾名思义&#xff0c;就是把原图预处理为深度图&#xff0c;而深度图可以区分出图像中各元素的远近关系&#xff0c;那么啥事深度图&#xf…

rust下载文件

背景 最近晚上给娃听故事 这页面不能连续播放,想着下载下来用默认播放器播放好了, 刚好最近在学rust,就用rust实现mp4下载. 动手 整理下载链接 由于链接可能涉及不必要的纠纷就先不明文列出来了 编码 解析json use serde::{Deserialize,Serialize}; use serde_json;#[der…

re-迷宫题学习

re中的迷宫问题有以下特点: 在内存中布置一张 "地图"将用户输入限制在少数几个字符范围内.一般只有一个迷宫入口和一个迷宫出口 布置的地图可以由可显字符 (比如#和*)组合而成 (这非常明显, 查看字符串基本就知道这是个迷宫题了.), 也可以单纯用不可显的十六进制值进…

冷链物流温度监测解决方案,确保从生产端到患者端的制药供应链合规性和产品稳定性

全球制药、医疗保健、生命科学和生物制品物流市场 先进疗法&#xff08;细胞和基因&#xff09;和生物制剂的生产线非常庞大。由于高度个性化&#xff0c;这些医疗方法大多需要高质量的超低温储存和运输。这些疗法的冷冻或运输过程中的任何一个失误都可能关乎到患者的生命安全。…

Milvus向量库安装部署

GitHub - milvus-io/milvus-sdk-java: Java SDK for Milvus. 1、安装Standstone 版本 参考&#xff1a;Linux之milvus向量数据库安装_milvus安装-CSDN博客 参考&#xff1a;Install Milvus Standalone with Docker Milvus documentation 一、安装步骤 1、安装docker docke…

【开源】SpringBoot框架开发婚恋交友网站

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 数据中心模块2.2 会员管理模块2.3 新闻管理模块2.4 相亲大会管理模块2.5 留言管理模块 三、系统设计3.1 用例设计3.2 数据库设计3.2.1 会员信息表3.2.2 新闻表3.2.3 相亲大会表3.2.4 留言表 四、系统展示五、核心代码5.…

六、回归与聚类算法 - 岭回归

目录 1、带有L2正则化的线性回归 - 岭回归 1.1 API 2、正则化程度的变化对结果的影响 3、波士顿房价预测 线性回归欠拟合与过拟合线性回归的改进 - 岭回归分类算法&#xff1a;逻辑回归模型保存与加载无监督学习&#xff1a;K-means算法 1、带有L2正则化的线性回归 - 岭回…

day53 String

创建String 对象 String s "abc"; String s new String(); String的常用方法 长度方法 length(); 比较方法 equals() equalsIgnoreCase() 忽略大小写比较 compareTo() compareToIgnoreCase() 比较是否相等 基本类型比较数值是否相等 引用类型比较两个引用是…

【MATLAB源码-第144期】基于matlab的蝴蝶优化算法(BOA)无人机三维路径规划,输出做短路径图和适应度曲线。

操作环境&#xff1a; MATLAB 2022a 1、算法描述 ​蝴蝶优化算法&#xff08;Butterfly Optimization Algorithm, BOA&#xff09;是基于蝴蝶觅食行为的一种新颖的群体智能算法。它通过模拟蝴蝶个体在寻找食物过程中的嗅觉导向行为以及随机飞行行为&#xff0c;来探索解空间…

应对电脑重新分区文件消失:预防措施、常见成因与恢复关键要点

电脑重新分区文件不见了是一个常见的问题&#xff0c;通常发生在用户对硬盘进行重新分区、格式化或操作系统重装过程中&#xff0c;可能导致已存在的文件和数据暂时不可见或永久丢失。 **预防文件丢失的方法&#xff1a;** 1. **提前备份**: 在进行任何重大磁盘操作前&#xff…

EXCEL 在列不同单元格之间插入N个空行

1、第一步数据&#xff0c;要求在每个数字之间之间插入3个空格 2、拿数据个数*&#xff08;要插入空格数1&#xff09; 19*4 3、填充 4、复制数据到D列 5、下拉数据&#xff0c;选择复制填充这样1-19就会重复4次 6、全选数据D列排序&#xff0c;这样即完成了插入空格 以…

SQLite 的使用

SQLite 是一个轻量级、自包含和无服务器的关系型数据库管理系统&#xff08;RDBMS&#xff09;&#xff0c;广泛应用于嵌入式系统、移动应用程序和小中型网站。它易于创建、需要的配置较少&#xff0c;并且提供了用于管理和操作数据的强大功能集。本文&#xff0c;我们将带领你…

mysql 自定义函数create function

方便后续查询&#xff0c;做以下记录&#xff1b; 自定义函数是一种与存储过程十分相似的过程式数据库对象&#xff0c; 它与存储过程一样&#xff0c;都是由 SQL 语句和过程式语句组成的代码片段&#xff0c;并且可以被应用程序和其他 SQL 语句调用。 自定义函数与存储过程之间…

「递归算法」:求根节点到叶节点数字之和

一、题目 给你一个二叉树的根节点 root &#xff0c;树中每个节点都存放有一个 0 到 9 之间的数字。 每条从根节点到叶节点的路径都代表一个数字&#xff1a; 例如&#xff0c;从根节点到叶节点的路径 1 -> 2 -> 3 表示数字 123 。 计算从根节点到叶节点生成的 所有数…

MyBatis参数处理和查询语句专题

MyBatis参数处理和查询语句专题 一、MyBatis参数处理1.单个简单类型参数2.单个Map参数3.单个实体类参数4.多参数5.Param注解&#xff08;命名参数&#xff09; 二、MyBatis查询语句专题1.结果映射&#xff08;1&#xff09;as 给列起别名&#xff08;2&#xff09;使⽤resultMa…