【Ubuntu18.04】激光雷达与相机联合标定（Livox+HIKROBOT）（一）相机内参标定

news2024/12/23 10:54:50

Livox+HIKROBOT联合标定——相机内参标定

  • 引言
  • 1 海康机器人HIKROBOT SDK二次开发并封装ROS
    • 1.1 介绍
    • 1.2 安装MVS SDK
    • 1.3 封装ROS packge
  • 2 览沃Livox SDK二次开发并封装ROS
  • 3 相机雷达联合标定——相机内参标定
    • 3.1 环境配置
      • 3.1.1 安装依赖——PCL 安装
      • 3.1.2 安装依赖——Eigen 安装
      • 3.1.3 安装依赖——Ceres-solver 安装
      • 3.1.4 下载源码，编译准备
      • 3.1.5 程序节点概括
    • 3.2 相机内参标定
      • 3.2.1 前期准备
      • 3.2.2 cameraCalib标定
        • **`报错`** （若无报错则跳过此步骤）

引言

Livox Lidar + HIKROBOT Camera 联合标定
参考链接：相机雷达标定文档
安装ROS环境，参考笔者的博客：【ROS】Ubuntu18.04安装Ros

1 海康机器人HIKROBOT SDK二次开发并封装ROS

1.1 介绍

参考链接：海康Camera MVS Linux SDK二次开发封装ROS packge过程记录（c++）

海康的相机没有ros驱动，且对linux开发不太友好（但支持windows），因此需要重写了sdk接口，并创建了ros节点封装成ros包，方便linux环境下ros的调用
完整版ros驱动：https://github.com/luckyluckydadada/HIKROBOT-MVS-ROS-package

  • 即使海康的相机是usb传输数据，但是不同于其他usb设备的调用，海康的相机并不会在/dev/目录下映射ttyUSB或video1这样的设备，所以不能用open/read/write这样的system call的方式打开设备，所以https://github.com/ros-drivers/usb_cam这样的usb ros驱动无法支持。因此只能自己开发ros驱动包。
  • 海康的打开设备的方式在MvUsb3VDevice.h和MvGigEDevice.h中实现（分别对应usb3.0相机和以太网相机），具体过程并没有开源，只提供了相应的so文件，海康提供了统一的接口MV_CC_EnumDevices实现对两种设备（usb3.0接口和以太网接口）的调用，因此开发一个ros驱动包是两种相机都适用的。海康的相机sdk虽然不开源，但是提供了armhf和aarch64架构编译的so文件。

1.2 安装MVS SDK

参考笔者的博客：
【HIKROBOT】海康机器人：工业相机SDK二次开发

1.3 封装ROS packge

海康威视工业相机sdk的ros驱动包的安装步骤：

step1：安装

# 创建catkin工作空间
mkdir ws_hk_mvs_ros  
# 克隆源码到工作空间（海康机器人的ROS软件包）
git clone https://github.com/luckyluckydadada/HIKROBOT-MVS-ROS-package.git ws_hk_mvs_ros/src
cd ws_hk_mvs_ros
# 编译Catkin工作空间中的ROS包
catkin_make

在这里插入图片描述

step2：直接运行node
需要先启动roscore
在这里插入图片描述

source ./devel/setup.bash 
rosrun hk_camera hk_camera_node

在这里插入图片描述

step3：launch启动node

source ./devel/setup.bash 
roslaunch hk_camera hk_camera.launch

在这里插入图片描述

step4：launch启动node和rviz node
用 rviz 订阅 /hk_camera_node/image_raw 查看照片

source ./devel/setup.bash 
roslaunch hk_camera hk_camera_rviz.launch

在这里插入图片描述
在这里插入图片描述

2 览沃Livox SDK二次开发并封装ROS

参考笔者博客：【Ubuntu18.04】Livox Tele-15使用教程
安装Livox环境和驱动

# 安装Livox_SDK
git clone https://github.com/Livox-SDK/Livox-SDK.git
cd Livox-SDK
cd build && cmake ..
make
sudo make install

# 安装livox_ros_driver
cd  Livox-SDK  # 进入Livox-SDK目录
git clone https://github.com/Livox-SDK/livox_ros_driver.git ws_livox/src
cd ws_livox   # 进入工作空间
catkin_make

3 相机雷达联合标定——相机内参标定

3.1 环境配置

3.1.1 安装依赖——PCL 安装

参考链接：Ubuntu18.04安装PCL 1.9.1(图文详解，附踩坑和测试)

step1：安装依赖

sudo apt-get update
sudo apt-get install git build-essential linux-libc-dev
sudo apt-get install cmake cmake-gui
sudo apt-get install libusb-1.0-0-dev libusb-dev libudev-dev
sudo apt-get install mpi-default-dev openmpi-bin openmpi-common
sudo apt-get install libflann1.8 libflann-dev
sudo apt-get install libeigen3-dev
sudo apt-get install libboost-all-dev
sudo apt-get install libvtk5.10-qt4 libvtk5.10 libvtk5-dev
sudo apt-get install libqhull* libgtest-dev
sudo apt-get install freeglut3-dev pkg-config
sudo apt-get install libxmu-dev libxi-dev
sudo apt-get install mono-complete
sudo apt-get install qt-sdk openjdk-8-jdk openjdk-8-jre

step2：下载源码
建议安装1.9.1

git clone https://github.com/PointCloudLibrary/pcl.git

step3：编译源码

cd pcl
mkdir build
cd build
cmake -DCMAKE_BUILD_TYPE=None -DCMAKE_INSTALL_PREFIX=/usr \ -DBUILD_GPU=ON-DBUILD_apps=ON -DBUILD_examples=ON \ -DCMAKE_INSTALL_PREFIX=/usr ..

make

step4：安装

sudo make install

step5：PCLVisualizer(需要可以安装)

sudo apt-get install libopenni-dev
sudo apt-get install libopenni2-dev

3.1.2 安装依赖——Eigen 安装

简单命令安装

sudo apt-get install libeigen3-dev

3.1.3 安装依赖——Ceres-solver 安装

下载ceres-solver-1.14.0

git clone https://github.com/ceres-solver/ceres-solver

依赖安装

 sudo apt-get install cmake
 sudo apt-get install libgoogle-glog-dev
 sudo apt-get install libatlas-base-dev
 sudo apt-get install libeigen3-dev
 sudo apt-get install libsuitesparse-dev
 sudo add-apt-repository ppa:bzindovic/suitesparse-bugfix-1319687
 sudo apt-get update
 sudo apt-get install libsuitesparse-dev

安装 ceres-solver

tar zxf ceres-solver-1.14.0.tar.gz
mkdir ceres-bin && cd ceres-bin
cmake ../ceres-solver-1.14.0
make -j3
make install

至此需要的库安装完毕

3.1.4 下载源码，编译准备

# 进入工作空间
cd ws_livox/src
git clone https://github.com/Livox-SDK/livox_camera_lidar_calibration.git 
cd ..    # 返回上一级目录
catkin_make
source devel/setup.bash
  • 此时工作空间的目录结构为：

在这里插入图片描述

3.1.5 程序节点概括

此项目包括如下节点:

  1. cameraCalib - 标定相机内参
  2. pcdTransfer - 将雷达点云rosbag转换成PCD文件
  3. cornerPhoto -获得照片角点
  4. getExt1 - 计算外参节点１，只优化外参
  5. getExt2 - 计算外参节点２，同时优化内参和外参
  6. projectCloud - 把雷达点云投影到照片上 colorLidar - 雷达点云着色

以下程序节点中如果想修改launch文件，需要到src/calibration/launch文件夹中找对应的launch文件。

3.2 相机内参标定

3.2.1 前期准备

  • 准备一块有黑白棋盘格的标定板(如下所示，可以打印出来)

在这里插入图片描述

  • 笔者实际用的标定版规格是：

在这里插入图片描述

3.2.2 cameraCalib标定

  • 要准备20张以上的照片数据，各个角度和位置都要覆盖，拍摄的时候不要距离太近(3米左右)，如下图所示。

采集棋盘格图像：

方法1：直接使用HIKROBOT的上位机来抓取并保存图片

选择指定的保存路径

在这里插入图片描述
抓取图片
在这里插入图片描述

方法2：使用 ROS可视化工具rqt_image_view查看并保存图片

  • 终端1：启动相机的ROS驱动（以HIKROBOT为例）
# 进入工作空间
source devel/setup.bash  # 加载环境
# roslaunch [软件包] 启动文件.launch
roslaunch hk_camera hk_camera.launch
  • 终端2：保存好标定要用的图片
# 加载环境
source devel/setup.bash
# 打开相机画面
rqt_image_view

在这里插入图片描述

  • 说明： 笔者以下数据使用官网下载的数据集来测试：

测试数据下载：data.zip

在这里插入图片描述

  • 获得照片数据后，配置cameraCalib.launch中对应的路径和参数，默认是把照片数据放在data/camera/photos下，然后在data/camera/in.txt中写入所有需要使用的照片名称，如下图所示
    在这里插入图片描述

在这里插入图片描述
输入指令开始标定

#进入工作空间
cd ws_livox/
source devel/setup.bash
roslaunch camera_lidar_calibration cameraCalib.launch
  • 成功运行显示如下：

在这里插入图片描述

  • 标定结果中会保存在data/camera/result.txt中，包括重投影误差，内参矩阵和畸变纠正参数。

内参结果

  • 一个3x3的内参矩阵(IntrinsicMatrix)
  • ５个畸变纠正参数 k1, k2, p1, p2, k3
报错 （若无报错则跳过此步骤）

在这里插入图片描述

解决方法：

参考链接：
解决 cv_bridge 与 opencv4 版本冲突问题

  • 下载 cv_bridge

下载 noetic 版本的 cv_bridge。（noetic 版本的 cv_bridge 在 melodic 下也能使用，不过要做一些修改，后续会说明）
下载地址：https://github.com/ros-perception/vision_opencv/tree/noetic
下载完成后，将 cv_bridge 拷贝到 ros 工作空间的 src 文件夹下。
此时工作空间的目录结构为：
在这里插入图片描述
为了不影响原来的包，将该文件夹重命名为 cv_bridge_new，并且将cv_bridge_new文件夹下 CMakeLists.txt 文件中 project 名称修改为 cv_bridge_new：
在这里插入图片描述

  • 在 CMakeLists.txt 文件中指定我们自己的功能包中所用的 opencv4：
    在这里插入图片描述

  • 并且修改 package.xml 中包的名称：

在这里插入图片描述

  • 报错1：

在这里插入图片描述

  • 解决方法：

直接修改 cv_bridge_new的CMakeLists.txt 文件：

...
if(PYTHONLIBS_VERSION_STRING VERSION_LESS "3.8")
# Debian Buster
find_package(Boost REQUIRED python3)
...

在这里插入图片描述

  • 报错2：

在这里插入图片描述

  • 解决方法：

修改 cv_bridge_new/src/module.hpp 文件下 void* do_numpy_import()函数为 （注意*要删除）

static void do_numpy_import( )
{
    import_array( );
}

在这里插入图片描述

再次编译：

catkin_make

在这里插入图片描述
再次输入指令开始标定

#进入工作空间
cd ws_livox/
source devel/setup.bash
roslaunch camera_lidar_calibration cameraCalib.launch

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1139418.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【表面缺陷检测】钢轨表面缺陷检测数据集介绍（2类，含xml标签文件）

【表面缺陷检测】钢轨表面缺陷检测数据集介绍（2类，含xml标签文件）

一、介绍 钢轨表面缺陷检测是指通过使用各种技术手段和设备，对钢轨表面进行检查和测量，以确定是否存在裂纹、掉块、剥离、锈蚀等缺陷的过程。这些缺陷可能会对铁路运输的安全和稳定性产生影响，因此及时进行检测和修复非常重要。钢轨表面缺陷…
阅读更多...
GaussDB SQL基础语法示例-BOOLEAN表达式

GaussDB SQL基础语法示例-BOOLEAN表达式

目录 一、前言 二、GaussDB SQL 中的BOOLEAN表达式介绍 1、概念 2、组成 3、语法示例 三、在GaussDB SQL中的基础应用 1、示例1，使用比较运算符 2、示例2，使用逻辑运算符 3、示例3，使用IS NOT NULL运算符 4、示例4，使用…
阅读更多...
vscode安装包下载——vscode的下载速度慢问题两种解决方法

vscode安装包下载——vscode的下载速度慢问题两种解决方法

1.vscode下载： 1.首先我们去官网下载vccode，下载过程非常慢： 官网链接： https://code.visualstudio.com/ 2.解决办法1 这是因为国外镜像地址下载慢的原因，此时需要去国内镜像地址进行下载，复制下载链接&…
阅读更多...
【Andriod】使用adb命令安装和卸载apk的通用python脚本

【Andriod】使用adb命令安装和卸载apk的通用python脚本

文章目录 1.前言2.连接设备3.从本机通过adb安装apk4.从本机通过adb卸载apk 1.前言 如不会使用adb请看之前的文章 【Andriod】adb调试安卓手机时连接真机或模拟器的3种方法，你知道么？ 2.连接设备 import os # python标准库中的os模块""&qu…
阅读更多...
互动直播UI设置 之 主播UI

互动直播UI设置 之 主播UI

目录 一、普通模式下，布局选项 1、布局按钮 1）、点击布局按钮 2）、选择哪种布局后，主进程通过WM_COPYDATA 发送信息 2、duilib样式布局文件 1）、主画面 2）、连麦者画面 3、主画面自动调整宽度 1&a…
阅读更多...
UnrealSynth - 基于虚幻引擎的YOLO合成数据生成器

UnrealSynth - 基于虚幻引擎的YOLO合成数据生成器

UnrealSynth虚幻合成数据生成器利用虚幻引擎的实时渲染能力搭建逼真的三维场景，为YOLO等AI模型的训练提供自动生成的图像和标注数据，官方下载地址：UnrealSynth虚幻合成数据生成器。 UnrealSynth生成的合成数据可用于深度学习模型的训练和验证…
阅读更多...
18.3 NPCAP 构建中间人攻击

18.3 NPCAP 构建中间人攻击

ARP欺骗（ARP Spoofing）是一种网络攻击手段，其目的是通过欺骗目标主机来实现网络攻击。ARP协议是一种用于获取MAC地址的协议，因此欺骗者可以使用ARP欺骗来迫使其目标主机将网络流量发送到攻击者控制的设备上，从而实现网…
阅读更多...
error LNK2019: 无法解析的外部符号

error LNK2019: 无法解析的外部符号

文章目录 1 问题2 出现该问题的原因和解决方法2.1 原因：2.3 解决方法：需要查看一下项目的属性配置是否正确： 3 其他可能得原因，但是本项目中没有出现 1 问题 在测试base64代码的时候，VS2022提示我错误如下&#xff1a…
阅读更多...
Julia数值计算初步

Julia数值计算初步

文章目录 复数系统运算符三角函数指数、对数、取整 Julia系列：编程初步🔥数组 Julia作为主打数值计算的编程语言，对一些常用的计算函数提供了非常细致的支持，十分人性化，体验之后爱不释手。 复数系统 在Juli中&…
阅读更多...
笔记本怎么录屏？这3个方法请你收好

笔记本怎么录屏？这3个方法请你收好

在现代教育、工作和演示中，屏幕录制成为了无可替代的工具。它使我们能够捕捉电脑屏幕上的一切，从PPT演示到教程制作，再到技术支持。因此，选择合适的录屏工具显得尤为重要。本文将详细介绍笔记本怎么录屏的3个方法，这些…
阅读更多...
软件绘制 硬件加速绘制 【DisplayList RenderNode】

软件绘制 硬件加速绘制 【DisplayList RenderNode】

Android4.0以后，系统默认开启硬件加速来渲染视图 异同点 共同点 两者都是从SF获取一块内存，绘制都是在APP端，绘制好后都是通知SF去进行合成图层 真正的区别 真正的区别：绘制是通过CPU还是GPU完成的视图绘制。 对应区别在代码中的体…
阅读更多...
SpringBoot整合Gateway 的Demo（附源码）

SpringBoot整合Gateway 的Demo（附源码）

源码&#xff0c;可直接下载 Gateway模块 Gateway 的父pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:sc…
阅读更多...
学习嵌入式可以胜任哪一些行业？

学习嵌入式可以胜任哪一些行业？

今日话题&#xff0c;学习嵌入式可以胜任哪一些行业&#xff1f;学习嵌入式开发可以胜任许多行业&#xff0c;因为嵌入式技术在各个领域都有广泛的应用。嵌入式系统用于医疗设备、患者监测系统、药物分发设备等。智能手机、智能家居设备、游戏机等消费电子产品都包含嵌入式系统…
阅读更多...
RocketMQ mmap原理和使用

RocketMQ mmap原理和使用

传统文件IO 普通的IO操作的一个弊端&#xff0c;必然涉及到两次数据拷贝操作&#xff0c;对磁盘读写性能是有影响的。 那么如果我们要将一些数据写入到磁盘文件里去呢&#xff1f; 那这个就是一样的过程了&#xff0c;必须先把数据写入到用户进程空间里去&#xff0c;然后从这里…
阅读更多...
网络时代下的声音之路：如何在中央新闻媒体发布网评稿

网络时代下的声音之路：如何在中央新闻媒体发布网评稿

在当今数字时代&#xff0c;信息传播已经变得更加便捷和广泛。各大中央新闻媒体平台为民众提供了一个发布观点、表达意见的平台。在这个背景下&#xff0c;撰写并发布网评稿成为了一种重要的社会参与方式。根据媒介易软文发稿平台的总结&#xff0c;下面是探讨如何在各大中央新…
阅读更多...
基于单片机的IC卡门禁系统设计

基于单片机的IC卡门禁系统设计

收藏和点赞&#xff0c;您的关注是我创作的动力 文章目录 概要 一、主要研究内容及总体设计方案1.1 系统方案设计1.2系统工作原理 二、硬件设计2.1 主控电路 三、软件设计3.2主程序设计实物附录1 原理图附录2 源程序清单 四、 结论五、 文章目录 概要 本论文重点通过对射频技术…
阅读更多...
电脑上怎么录制视频教程带画笔工具？

电脑上怎么录制视频教程带画笔工具？

无论你是创建教程、还是演示文稿&#xff0c;可能都希望使用带有画笔工具的录屏软件来帮助你创建吸引观众注意力的重要内容。幸运的是&#xff0c;有一些很棒的录屏软件可供你选择&#xff0c;本文就为你推荐一款带有画笔工具的最佳录屏软件&#xff0c;继续阅读查看吧&#xf…
阅读更多...
明基、书客、小米的护眼台灯谁的更值得入手？三款台灯真实测评！

明基、书客、小米的护眼台灯谁的更值得入手？三款台灯真实测评！

目前中国青少年近视占比是越来越高了&#xff0c;尤其是初中生更是重灾区。而现在看来小学阶段近视风险也有上升的趋势。所以&#xff0c;孩子在正式步入小学时&#xff0c;学习桌上不可或缺的就要放上一台好的且不错的护眼台灯。不过如今市面上的护眼台灯种类多到让人眼花缭乱…
阅读更多...
Maven第三章：IDEA集成与常见问题

Maven第三章：IDEA集成与常见问题

Maven第三章：IDEA集成与常见问题 前言 本章内容重点：了解如何将Maven集成到IDE（如IntelliJ IDEA或Eclipse）中，以及使用过程中遇到的常见的问题、如何解决，如何避免等，可以大大提高开发效率。 IEAD导入Maven项目 File ->Open 选择上一章创建的Maven项目 my-app查看po…
阅读更多...
echarts多y轴优化方案

echarts多y轴优化方案

优化方向&#xff1a;点击图例&#xff0c;对y轴进行屏蔽&#xff0c;自动计算y轴位置 效果如下&#xff1a; 对应实现思路&#xff1a;通过监听图例点击事件&#xff0c;渲染y轴显示隐藏和y轴对应位置。 <script setup lang"ts"> import { onMounted, ref,…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023