【EHub_tx1_tx2_E100】 ROS_ Melodic + Astra S(如何在该环境下打开摄像机获取rgb/深度图/点云)

news2024/9/22 4:08:18

        简介:介绍奥比中光 Astra S 深度相机 在EHub_tx1_tx2_E100载板,TX1核心模块环境(Ubuntu18.04)下测试ROS驱动,打开摄像头RGB图像和查看深度图和点云图,本文的前提条件是你的TX1里已经安装了ROS版本:Melodic。

关于测试硬件EHub_tx1_tx2_E100载板请查看:EdgeBox_EHub_tx1_tx2_E100 开发板评测_机器人虎哥的博客-CSDN博客

目录

一、什么是深度相机

二、深度相机在机器人中的两个使用场景

1、机械臂精准二次定位:

2、人员跟随:

三、奥比中光 Astra S相机介绍

四、奥比中光官方资料链接

五、 ROS_ Melodic环境安装相机驱动

5.1 安装依赖

5.2 建立工作空间

5.3 克隆代码

5.4 Create astra udev rule

5.5 编译源码包

5.6 【附件】编译中错误解决:

5.7 奥比中光深度相机ros架构

5.8 修改astrapro.launch

5.9 启动rqt_image_view 查看

5.10 启动rviz查看深度图和RGB图

六. 使用点云数据

2.1 新建rviz文件

2.2 编辑rviz文件

2.3 在rviz中显示点云


一、什么是深度相机

        深度相机是近几年兴起的新技术,相比较传统的相机,深度相机在功能上添加了一个深度测量,从而更方便准确的感知周围的环境及变化。

        深度相机有很多的应用场景,在我们日常生活中有很多深度相机的影子。那它可以用来做什么?三维建模、无人驾驶、机器人导航、手机人脸解锁、体感游戏等都用到了深度相机来实现其功能。

目前从实现深度相机这个功能的技术层面去分析,有以下几种主流方案:双目,结构光,tof。

二、深度相机在机器人中的两个使用场景

        移动机器人面临的3个基本问题,一是“我在哪”,二是“要去哪”,三是“怎么去”。各种相机和雷达的作用是感知和搜集机器人周边的环境信息,对环境进行建图(mapping),最后让机器人知道自己在哪,怎么去目的地,从而完成导航。例如,深度相机能通过“结构光”和“飞时”获取目标的距离信息,普通相机能获取目标“RGB”信息。由于深度相机存在视野小、噪声大、易受日光干扰、无法测量透射材质等问题,所以一般要附加激光雷达以弥补其弱点。

        激光雷达导航用于远距离导航定位,深度相机一般用于10米内更精确的物体定位,结合了RGB的深度相机可以更好地对物体进行识别和深度训练。深度相机比多线激光雷达价格更有优势,所以低速、近距离的环境也用来替代激光雷达,做避障使用。

        我们在机器人的开发中,深度相机主要有三个方面的使用:机械臂精准二次定位、人员跟随、避障。下面简单介绍其中两种:

1、机械臂精准二次定位:

        机器人在进行工作的过程中,需要机器人准确的定位到某一个点,再通过机械臂控制,使机械臂末端的相机拍出稳定的图片来实现算法识别。在机器人定位的过程中会存在误差问题,包括机器人面对机柜距离误差以及角度误差。精准二次定位则解决了这一问题。具体实现是利用深度相机的景深数据来感知机器人和机柜的位置,通过算法运算控制机械臂实现稳定抓拍功能。

算法思路:通过深度数据识别机柜边缘特征,再截取机柜平面判断机柜和机器人相对方位,根据实际测量距离值调整机械臂达到想要的最佳拍摄位置。

2、人员跟随:

        机器人有时候具有人员跟随的功能,跟随功能的技术实现结合了普通相机和深度相机的数据进行算法实现。通过普通相机数据进行人员判别,然后深度数据感知机器人和人员的距离及方位,从而控制机器人跟随目标人员。

算法思路:通过普通相机数据使用算法实现人员识别,获取对应人员的相应三维数据,从三维数据的组成形态判断人员和机器人的相对位置及方向。

因此深度相机提供三维信息,基于三维数据算法识别更为简单精确。

三、奥比中光 Astra S相机介绍

官方链接:https://developer.orbbec.com.cn/product_details.html?id=4

硬件结构特点:

系列参数:

 

四、奥比中光官方资料链接

Github 官方SDK ROS wiki

五、 ROS_ Melodic环境安装相机驱动

5.1 安装依赖

# Assuming you have sourced the ros environment, same below

sudo apt install libgflags-dev  ros-$ROS_DISTRO-image-geometry ros-$ROS_DISTRO-camera-info-manager \
ros-$ROS_DISTRO-image-transport ros-$ROS_DISTRO-image-publisher libgoogle-glog-dev libusb-1.0-0-dev libeigen3-dev
​
sudo apt install ros-$ROS_DISTRO-rgbd-launch ros-$ROS_DISTRO-libuvc ros-$ROS_DISTRO-libuvc-camera ros-$ROS_DISTRO-libuvc-ros
 

5.2 建立工作空间

mkdir -p ~/AstraS_ws/src
cd ~/AstraS_ws/
catkin_make
source devel/setup.bash

5.3 克隆代码

cd ~/AstraS_ws/src
git clone https://github.com/orbbec/ros_astra_camera

5.4 Create astra udev rule

roscd astra_camera

5.5 编译源码包

cd ~/AstraS_ws
catkin_make --pkg astra_camera

5.6 【附件】编译中错误解决:

1、CMake Error at /opt/ros/melodic/share/cv_bridge/cmake/cv_bridgeConfig.cmake:113 (message):

 这是由于我升级了opencv ,只有opencv4了,所以将文件目录中的opencv修改为opencv4,即可。

 2、CMake Error at /opt/ros/melodic/share/image_geometry/cmake/image_geometryConfig.cmake:113 (message):

这是由于我升级了opencv ,只有opencv4了,所以将文件目录中的opencv修改为opencv4,即可。

3、/usr/bin/ld: cannot find -luvc

sudo apt install libuvc-dev

5.7 奥比中光深度相机ros架构

5.8 修改astrapro.launch

首先查看相机接口:

lsusb

其中:

修改Astrapro.launch

cd  ~/AstraS_ws/src/ros_astra_camera/launch/
gedit astra.launch 

原始内容:

不用改什么,直接启动

5.9 启动rqt_image_view 查看

 source ~/AstraS_ws/devel/setup.bash
 roslaunch astra_camera astra.launch

 这个没有关系,新的刚打开,没有进行校准,这个有个双目的结构光

启动rqt_image_view

rosrun rqt_image_view rqt_image_view 

深度图:

5.10 启动rviz查看深度图和RGB图

打开新终端,启动rviz

rosrun rviz rviz

Rviz中点击左下角Add

依次进行以下操作:Add -> By topic -> 选择对应的image即可

 

六. 使用点云数据

2.1 新建rviz文件

cd ~/AstraS_ws/src
mkdir rviz
cd rviz
touch depth_camera.rviz

2.2 编辑rviz文件

使用gedit编辑rviz文件

cd ~/AstraS_ws/src/rviz
sudo gedit depth_camera.rviz

填写代码如下

Panels:
  - Class: rviz/Displays
    Help Height: 88
    Name: Displays
    Property Tree Widget:
      Expanded:
        - /Global Options1
        - /Status1
        - /Grid1
        - /PointCloud21
      Splitter Ratio: 0.5
    Tree Height: 453
  - Class: rviz/Selection
    Name: Selection
  - Class: rviz/Tool Properties
    Expanded:
      - /2D Pose Estimate1
      - /2D Nav Goal1
      - /Publish Point1
    Name: Tool Properties
    Splitter Ratio: 0.588679016
  - Class: rviz/Views
    Expanded:
      - /Current View1
    Name: Views
    Splitter Ratio: 0.5
  - Class: rviz/Time
    Experimental: false
    Name: Time
    SyncMode: 0
    SyncSource: PointCloud2
Visualization Manager:
  Class: ""
  Displays:
    - Alpha: 0.5
      Cell Size: 1
      Class: rviz/Grid
      Color: 159; 147; 147
      Enabled: true
      Line Style:
        Line Width: 0.0299999993
        Value: Lines
      Name: Grid
      Normal Cell Count: 0
      Offset:
        X: 0
        Y: 0
        Z: 0
      Plane: XZ
      Plane Cell Count: 10
      Reference Frame: camera_depth_optical_frame
      Value: true
    - Alpha: 1
      Autocompute Intensity Bounds: true
      Autocompute Value Bounds:
        Max Value: 8.875
        Min Value: 1.28500009
        Value: true
      Axis: X
      Channel Name: intensity
      Class: rviz/PointCloud2
      Color: 255; 255; 255
      Color Transformer: AxisColor
      Decay Time: 0
      Enabled: true
      Invert Rainbow: false
      Max Color: 255; 255; 255
      Max Intensity: 4096
      Min Color: 0; 0; 0
      Min Intensity: 0
      Name: PointCloud2
      Position Transformer: XYZ
      Queue Size: 10
      Selectable: true
      Size (Pixels): 3
      Size (m): 0.00999999978
      Style: Squares
      Topic: /camera/depth/points
      Unreliable: false
      Use Fixed Frame: true
      Use rainbow: true
      Value: true
  Enabled: true
  Global Options:
    Background Color: 48; 48; 48
    Default Light: true
    Fixed Frame: camera_depth_frame
    Frame Rate: 30
  Name: root
  Tools:
    - Class: rviz/Interact
      Hide Inactive Objects: true
    - Class: rviz/MoveCamera
    - Class: rviz/Select
    - Class: rviz/FocusCamera
    - Class: rviz/Measure
    - Class: rviz/SetInitialPose
      Topic: /initialpose
    - Class: rviz/SetGoal
      Topic: /move_base_simple/goal
    - Class: rviz/PublishPoint
      Single click: true
      Topic: /clicked_point
  Value: true
  Views:
    Current:
      Class: rviz/Orbit
      Distance: 7.51409006
      Enable Stereo Rendering:
        Stereo Eye Separation: 0.0599999987
        Stereo Focal Distance: 1
        Swap Stereo Eyes: false
        Value: false
      Focal Point:
        X: 2.80641723
        Y: -0.0263374168
        Z: -0.295807391
      Focal Shape Fixed Size: true
      Focal Shape Size: 0.0500000007
      Invert Z Axis: false
      Name: Current View
      Near Clip Distance: 0.00999999978
      Pitch: 0.305203468
      Target Frame: <Fixed Frame>
      Value: Orbit (rviz)
      Yaw: 3.89040422
    Saved: ~
Window Geometry:
  Displays:
    collapsed: false
  Height: 744
  Hide Left Dock: false
  Hide Right Dock: true
  QMainWindow State: 000000ff00000000fd00000004000000000000016a0000025efc0200000009fb0000001200530065006c0065006300740069006f006e00000001e10000009b0000006100fffffffb0000001e0054006f006f006c002000500072006f0070006500720074006900650073020000019b000001b500000185000000a3fb000000120056006900650077007300200054006f006f02000001df000002110000018500000122fb000000200054006f006f006c002000500072006f0070006500720074006900650073003203000002880000011d000002210000017afb000000100044006900730070006c00610079007301000000280000025e000000d700fffffffb0000002000730065006c0065006300740069006f006e00200062007500660066006500720200000138000000aa0000023a00000294fb00000014005700690064006500530074006500720065006f02000000e6000000d2000003ee0000030bfb0000000c004b0069006e0065006300740200000186000001060000030c00000261fb0000000a0049006d00610067006500000001a9000001430000000000000000000000010000010f000002c4fc0200000003fb0000001e0054006f006f006c002000500072006f00700065007200740069006500730100000041000000780000000000000000fb0000000a005600690065007700730000000028000002c4000000ad00fffffffb0000001200530065006c0065006300740069006f006e010000025a000000b200000000000000000000000200000490000000a9fc0100000001fb0000000a00560069006500770073030000004e00000080000002e10000019700000003000005150000003efc0100000002fb0000000800540069006d00650100000000000005150000030000fffffffb0000000800540069006d00650100000000000004500000000000000000000003a50000025e00000004000000040000000800000008fc0000000100000002000000010000000a0054006f006f006c00730100000000ffffffff0000000000000000
  Selection:
    collapsed: false
  Time:
    collapsed: false
  Tool Properties:
    collapsed: false
  Views:
    collapsed: true
  Width: 1301
  X: 65
  Y: 24

2.3 在rviz中显示点云

#第一个终端打开相机驱动节点
 source ~/AstraS_ws/devel/setup.bash
 roslaunch astra_camera astra.launch
#第二个终端打开
rosrun rviz rviz
#按照5.10的内容,打开可见光和深度
​左上角:File -> Open config,打开刚刚新建的rviz文件即可

按照上节方法打开加入深度图和可见光图

以上就是我简单做的全部测试,一些内容和叙事顺序参考了以下内容,在此说明和答谢:

在ROS中使用奥比中光Orbbec Astra Pro深度相机_十啵的博客-CSDN博客

ROS下使用乐视RGB-D深度相机/Orbbec Astra Pro显示图像和点云 - 古月居

纠错,疑问,交流: 911946883@qq.com

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/138541.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CAN 通信协议

CAN 概述 CAN 是Controller Area Network 的缩写&#xff08;以下称为CAN&#xff09;&#xff0c;它的设计目标是以最小的CPU负荷来高效处理大量的报文。1986 年德国电气商BOSCH公司开发出面向汽车的CAN 通信协议。此后&#xff0c;CAN 通过ISO11898 及ISO11519 进行了标准化…

Vue 实现拖拽模块(五) - 下 预览元件

上文介绍了 定义元件的触发事件(上) 的简单实现 本文主要介绍了预览元件数据&#xff0c;并根据配置事件去触发逻辑&#xff0c;具体如下&#xff1a; 效果图 实现过程 创建预览页面 (元件配置和预览并不是同一个页面)预览页面使用 localStorage 缓存获取保存的元件数据&…

网络编程看这一篇文章就够了

第一章 网络编程概述 网络编程概述1 2 3Java语言提供了网络的支持,程序员能够很容易的开发常见的网络应用.Java提供的类库,可以实现无痛的网络连接,联网的底层细节被隐藏在安装Java本机系统里.由JVM进行控制.并且Java实现了一个跨平台的网络库.网络编程的目的1直接或间接地通过…

SQL Server注入技巧与提权方式详解

目录 前言 一、SQL Server基础 1. SQL Server 2012安装启动 navicat远程连接 2. SQL Server概念 数据库的组成 数据库中常用对象 默认库介绍 3. T-SQL语言 创建数据库 创建表 插入数据 基础语法总结 4. sqlserver权限 新建用户并赋予权限 权限总结 二、Sqlser…

4.1 集成运算放大电路概述

集成电路以半导体单晶硅为芯片&#xff0c;采用专门的制造工艺&#xff0c;把晶体管、场效应管、二极管、电阻和电容等元件及它们之间的连线所组成的完整电路制作在一起&#xff0c;使之具有特定的功能。集成放大电路最初多用于各种模拟信号的运算&#xff08;如比例、求和、求…

RabbitMQ 管理界面操作说明

RabbitMQ 管理界面操作说明 当我们安装好RabbitMQ&#xff0c;并开启了rabbitmq_management插件并重启RabbitMQ服务后,我们就可以访问管控台了。 #启动后台管理 [rootVM-0-9-centos sbin]#rabbitmq-plugins enable rabbitmq_management rabbitmq_management开启后&#xff0…

Java流程控制语句-学习笔记

目录 第一章 流程控制语句 1.1 流程控制语句分类 1.2 顺序结构 第二章 判断语句&#xff1a;if语句 2.1 if语句格式1 2.2 if语句格式2 2.3 if语句格式3 第三章 switch语句 3.1 格式 3.2 执行流程&#xff1a; 3.3 switch的扩展知识&#xff1a; 第四章 循环结构 4…

win11+wsl2+kind安装k8s

win11wsl2安装k8s 1. 安装docker w11上面安装docker-desktop的方案&#xff0c;具体的安装步骤&#xff1a; 先开启系统的镜像支持更新wsl设置默认版本为2安装docker-desktop&#xff0c;修改安装位置等&#xff0c;否则就是安装在c盘中 https://blog.csdn.net/weixin_4391…

【机器学习】李宏毅-判断年收入

李宏毅-判断年收入1 实验目的 本次作业的数据是加州大学尔湾分校机器学习作业中下载得到&#xff0c;使用Classification中的生成模型generative model以及logistic regression解决二分类问题。 根据已有数据&#xff0c;判断该人年收入是否大于5万美元&#xff0c;最终得到预…

leetcode 23[python3]几种方法的思考与总结

题目 给你一个链表数组&#xff0c;每个链表都已经按升序排列。 请你将所有链表合并到一个升序链表中&#xff0c;返回合并后的链表。 示例 输入&#xff1a; lists [[1,4,5],[1,3,4],[2,6]]输出&#xff1a;[1,1,2,3,4,4,5,6]解释&#xff1a;链表数组如下&#xff1a;[ 1…

⚡️【linux】linux编辑器-VIM的高频使用,快快收藏起来!

⚡️目录 1️⃣VIM最小集 2️⃣VIM指令集 3️⃣VIM的配置 &#x1f332;前言&#xff1a;VIM和VI的区别简单点来讲&#xff0c;他们都是多模式编辑器&#xff0c;不同的是VIM是VI的升级版本&#xff0c;它不仅兼容VI的所有指令&#xff0c;而且还有一些新的特征在里面。例如语…

录屏软件哪个好?试试这6款录屏软件,小编亲测(2023已更新)

对于很多小伙伴来说&#xff0c;电脑录屏是经常需要使用的技能。面对网络上眼花缭乱的录屏软件&#xff0c;究竟哪个录屏软件好用呢&#xff1f;录屏软件哪个好&#xff1f;今天&#xff0c;小编分享亲自测试的这6款录屏软件给你&#xff0c;一起来看看吧。 录屏软件1&#xff…

DevSecOps“内置安全保护”,让软件研发“天生健康”

前言 随着DevOps的发展&#xff0c;DevOps大幅提升了企业应用迭代的速度。但同时&#xff0c;安全如果不能跟上步伐&#xff0c;不仅会抵消DevOps变革带来的提升&#xff0c;拖慢企业数字化转型进程&#xff0c;还会导致漏洞与风险不约而至。所以安全能力在全球范围内受到的重…

4款宝藏国产软件,装了就舍不得卸载,白嫖必备

提到国产软件&#xff0c;许多人想到“流氓、捆绑、广告多”&#xff0c;事实上国产良心软件非常多&#xff0c;如下面几款&#xff0c;每一个都功能强大&#xff0c;最重要还免费使用。 1、原本&#xff08;图片处理神器&#xff09; 日常生活与工作中&#xff0c;经常需要拍摄…

C++单例模式 : 懒汉模式 与 饿汉模式

单例模式&#xff1a; 只能有一个实例&#xff0c;有懒汉和饿汉区分&#xff0c;实现核心思想&#xff1a; 1.构造函数私有化 2.使用静态函数作为接口来获取类对象 1、懒汉模式&#xff1a; 由调用者实例&#xff0c;多线程情况下会存在线程安全问题&#xff0c;需要加互斥锁进…

寒冬已过,2023抓住IT复苏新机会

随着疫情防控进入新的阶段&#xff0c;2023年经济将逐渐回暖&#xff0c;许多行业也将迎来IT需求复苏的新机会。本期&#xff0c;我们就以互联网&#xff0c;金融和房地产这3个支柱行业近期的实际案例&#xff0c;来说明在在线文档领域的新机会。案例1:某互联网集团A公司&#…

数据结构---二叉树路径问题

二叉树路径问题二叉树所有路径分析JAVA实现力扣提交找到一个和为sum的到达叶子节点的路径分析JAVA实现力扣提交求路径&#xff08;中间一段&#xff09;C实现打印根节点到任意节点的路径JAVA实现二叉树所有路径 257二叉树所有路径 分析 前序遍历二叉树递归实现回溯 深度优先搜…

容器化——Centos下部署最后一版支持Docker的k8s集群

部署版本 首先要确定部署的版本 查询Kubernetes对Docker支持的情况 kubernetes/dependencies.yaml at master kubernetes/kubernetes (github.com) 查询Kubernetes Dashboard对Kubernetes支持的情况 Releases kubernetes/dashboard (github.com) 名称版本kubernetes1.23Doc…

如何对CentOS7配置静态IP

CentOS配置静态IP一、检测配置成功的方法1.虚拟机能访问互联网2.虚拟机和物理机可以相互ping通二、配置步骤1.查看物理机IP2.配置虚拟机网络模式3.设置NAT模式网段4.编辑修改配置文件5.测试三、报错解决方案1.网络重启失败2.ping不通一、检测配置成功的方法 1.虚拟机能访问互联…

MyBatis的五种批量查询

一.直接循环插入 RestController RequestMapping("/mybatis3/user") RequiredArgsConstructor public class UserController {private final IUserService iUserService;GetMapping("/one")public Long one(){return iUserService.add();} }Long add();Se…