ardupilot开发 --- Jetson Orin Nano 后篇

news2024/10/6 5:53:17

在这里插入图片描述

我拼命加速，但贫穷始终快我一步

  • 0~19
  • 20. visp-d455：基于IBVS的Pixhawk无人机视觉伺服
    • 20.1 基础
      • 关于连接、通讯、UDP forward服务：
      • 一些相关的、有用的例程
      • Linux C++程序的gdb断点调试
      • 搭建仿真
      • 解决【testPixhawkDroneTakeoff.cpp例程能解锁但起飞命令无响应，断点模式下却有响应】问题
      • 解决【使用最新的mavsdk版本导致visp编译报错】问题
      • visp中的异步编程：std::promise和std::future
    • 20.2 视觉伺服
      • 知识储备
      • 分析与实践

0~19

请参考前篇。

20. visp-d455：基于IBVS的Pixhawk无人机视觉伺服

20.1 基础

在这里插入图片描述
参考：Tutorial: Image-based visual-servoing on a drone equipped with a Pixhawk
第三方库： MavSDK，librealsense
一些概念：

  • onboard computer：板载计算机、机载计算机

软件：

  • QGC 或 Mission Planner，安装在地面站PC上，windows系统或Ubuntu系统。
  • MavProxy ，安装在板载计算机上。

关于连接、通讯、UDP forward服务：

  • 板载计算机与飞控用USB连接。
  • 板载计算机与地面站PC：通过局域网连接，进行SSH。例如使用思翼科技的链路产品MK32实现局域网连接，使用MobaXterm实现SSH。
  • MavProxy
    运行在：板载计算机上，Ubuntu20.04，安装教程。
    与飞控的连接：USB，即--master=/dev/ttyACM0
    创建3个UDP forward服务，使得其他应用或程序能过通过UDP连接到飞控（与飞控通讯）！
    启动命令如：
    mavproxy.py --master=/dev/ttyACM0 --out=udpout:192.168.30.111:14550 --out=udpout:192.168.30.111:14551 --out=udpout:127.0.0.1:14552
  • Mission Planner 或 QGC
    运行在：地面站PC，windows系统或Ubuntu系统都可。
    与飞控的连接：通过mavproxy创建的UDP forward服务：192.168.30.111:14550，其中192.168.30.111是地面站PC的IP地址。
  • keyboard Control app：
    运行在：地面站PC，windows系统或Ubuntu系统都可。
    与飞控的连接：通过mavproxy创建的UDP forward服务：192.168.30.111:14551，其中192.168.30.111是app所在系统的IP地址。通讯使用MavSDK。
  • IBVS app
    视觉伺服程序，visp程序。
    运行在：板载计算机上，Ubuntu20.04.
    与飞控的连接：通过mavproxy创建的UDP forward服务127.0.0.1:14552，其中127.0.0.1是app所在系统的IP地址。通讯使用MavSDK。

一些相关的、有用的例程

  • testPixhawkDroneTakeoff.cpp
    简单的起飞然后降落。
  • testPixhawkDronePositionAbsoluteControl.cpp
    起飞，方形轨迹飞行
  • testPixhawkDronePositionRelativeControl.cpp
    起飞，以起飞点为中心进行方形轨迹飞行
  • testPixhawkDroneVelocityControl.cpp
    起飞之后是一个简单的轨迹，使用速度控制测试一些不同的动作。
  • autopilot_server.cpp

Linux C++程序的gdb断点调试

  • 1）用VSCode打开代码
  • 2）开始调试 在这里插入图片描述
    注意：
    【1】"program": "/home/jetson/shd/visp-ws/visp-build/modules/robot/testPixhawkDroneTakeoff"中不要使用~来表示用户目录，因为VSCode无法识别！！
    【2】编译时：cmake -DCMAKE_BUILD_TYPE=debug否则无法识别断点！

搭建仿真

  • 前提：
    Ardupilot仿真运行在WSL上，visp程序和mavproxy运行在Jetson Orin Nano上！
    WSL和Jetson Orin Nano在同一个局域网！
  • 1）在Jetson Orin Nano上安装mavproxy：
    sudo apt-get install python3-dev python3-pip python3-matplotlib python3-lxml python3-pygame
pip3 install PyYAML mavproxy --user
echo 'export PATH="$PATH:$HOME/.local/bin"' >> ~/.bashrc
. ~/.bashrc
  • 2）已知Jetson Orin Nano的IP地址为：192.168.100.197
  • 3）在WSL上运行SITL仿真：
    sim_vehicle.py -v ArduCopter --console --out "192.168.100.197:14550" --out "127.0.0.1:14550" -w
    其中127.0.0.1:14550可用连接windows端的mission planner，便于查看飞行状态。
  • 4）在Jetson Orin Nano上启动MavProxy
    mavproxy.py --master=udp:192.168.100.197:14550 --out=udpout:127.0.0.1:14552
    注意：MavProxy生成的缓存文件mav.parm， mav.tlog ，mav.tlog.raw 要定时清理，这些文件保存在运行命令时的所在目录！不然会占用机载计算机的内存空间！
  • 5）testPixhawkDroneTakeoff.cpp例程调试和分析
    • /home/jetson/shd/visp-ws/visp/modules/robot/test/servo-pixhawk/testPixhawkDroneTakeoff.cpp
    • 构造一个mavsdk 对象；
    • 飞控已启动后，局域网已正常连接；
    • 建立一个TCP、UDP、串口连接，不成功会抛出异常并终止程序。
    • 发送指令之前先调用isRunning()函数，查看飞机是否在运行。
    • mavsdk的析构函数会导致飞机降落？？
    • 使用类vpRobotMavsdk控制飞机飞行的方式：
      • 1）先使用setPositioningIncertitude()设置定位和偏航的不确定性参数，如：
        drone.setPositioningIncertitude(0.10, vpMath::rad(5.));
        位置和偏航不确定范围为0.1m和5deg。
        这些参数用于你判断飞机是否到设定的期望位置或偏航角期望值，可以用
      • 2）调用takeControl()让飞机进入guided（ardupilot）或off-board（PX4）模式。
      • 3）使用 setPosition() 或 setVelocity() 去控制飞机移动 。
      • 其他
        设置起飞高度：drone.setTakeOffAlt(5.);
        是否打印详细信息：drone.setVerbose(true);

解决【testPixhawkDroneTakeoff.cpp例程能解锁但起飞命令无响应，断点模式下却有响应】问题

在这里插入图片描述
解决：先用地面站将飞控设置为guided，再运行testPixhawkDroneTakeoff.cpp例程。

解决【使用最新的mavsdk版本导致visp编译报错】问题

背景：visp中的视觉伺服例程使用的固件是px4，跟本人正在使用Ardupilot有较大区别，例如px4中的off-board而Ardupilot中是guided模式，等等。
通过查阅mavsdk源码可知：mavsdk中对guided模式的一些定义和使用在src\mavsdk\core\ardupilot_custom_mode.h中，并且必须是最新的mavsdk源码版本即main分支。
使用最新的mavsdk代码，编译visp时报错，分析和解决如下：
在这里插入图片描述
解决方式：使用合适的构造函数代替：
cpp //mavsdk::Mavsdk m_mavsdk {}; mavsdk::Mavsdk m_mavsdk{mavsdk::Mavsdk::Configuration{mavsdk::Mavsdk::ComponentType::GroundStation}};
在这里插入图片描述
解决方式：
cpp #if (VISP_HAVE_MAVSDK_VERSION > 0x010412) passthrough.unsubscribe_message(MAVLINK_MSG_ID_HEARTBEAT,handle); #else passthrough.subscribe_message_async(MAVLINK_MSG_ID_HEARTBEAT, nullptr); #endif
一些条件编译中的报错处理方法大同小异：
大部分都是#if (VISP_HAVE_MAVSDK_VERSION > 0x010412)下面的代码报错，因为visp作者使用的是mavsdk1.4版本，在例程中执行的是else下面的代码if下的代码则不会被执行所以不会被发现，更新mavsdk到最新版本后再编译visp就会出现编译报错！！
解决方式：
在这里插入图片描述

visp中的异步编程：std::promise和std::future

std::promise和 std::future 是怎么配合工作的？以及它们在异步编程中扮演的角色是什么？参考百度。

20.2 视觉伺服

知识储备

  • 坐标变换矩阵 = 坐标旋转矩阵+坐标平移矩阵
    Rotation Matrix
    本质：坐标变换本质上是一种投影变换，是一种投影关系！从系a转换到系b即把系a中的坐标投影到系b.
    应用：2维，3维，n维
    举例：Xb = Tr * Xa + Tt * Xa
    旋转译自rotation ，平移译自translations，转换译自transformation
    坐标旋转的表示方式有多种：方向余弦矩阵、欧拉角、四元素等等，可参考坐标旋转篇。
    在这里插入图片描述
  • 单应性矩阵（单应矩阵、齐次矩阵、投影变换矩阵）
    Homogeneous Matrix
    本质：是一种坐标转换关系，是两个图像坐标系之间的转换关系矩阵。
    应用：图像投影。
    什么是图像投影？有什么作用？
    对于3D空间的一系列点(某个场景)，在不同视觉角度拍摄得到的图像分别记作P1、P2，P1P2中的同一个点p在P1P2的图像坐标系(2D的)的坐标记作【x1,y1】、【x2,y2】,那么它们之间的转换关系可以用单应矩阵表示：【x2,y2】= H * 【x1,y1】
    应用场景：交通场景中，例如需要获得俯视视角下的街道平面各智能体的坐标。而摄像机的位置可能无法做到完全俯视。此时可以标注一些地标，例如地板正方形瓷砖的角作为对应点，之后通过确定的H矩阵来将摄像机的影像转换为俯视视角的坐标。
    参考：Homography matrix（单应矩阵）简介
    计算方式：
    在visp中单应矩阵可以通过3D空间坐标旋转矩阵得到，如：
    vpRxyzVector c1_rxyz_c(vpMath::rad(-10.0), vpMath::rad(0), 0);
vpRotationMatrix c1Rc(c1_rxyz_c); // Rotation between (c1) and (c)  //c1->c的3d空间坐标旋转矩阵
vpHomogeneousMatrix c1Mc(vpTranslationVector(), c1Rc); // Homogeneous matrix between (c1) and (c) //c1->c的2d图像(平面)坐标旋转矩阵，即单应矩阵
    对于单应矩阵的估计请参考：这里或Tutorial: Homography estimation from points
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 图像矩（Image Moments）

    • 源自：数学学科中随机变量的矩

    • 领域：数字图像处理、计算机视觉、深度学习

    • 对象：二值图像、灰度图像

    • 概念：图像的矩可以概括为图像的某些像素点的灰度值（像素值，在灰度图中像素值即灰度值）的加权平均值，或者是图像具有类似功能或意义的属性的加权平均值。
      意义：可以通过图像的矩来获得图像的一些有用的性质，包括面积、轮廓、几何中心（重心、质心）、方向（特征向量、主轴）等信息 ，这些信息对于图像识别、形状匹配和目标跟踪等应用非常有用。

    • 分类：

      • 原点矩
        (p+q)阶原点矩：
        在这里插入图片描述
      • 中心距
        (p+q)阶原点矩：
        在这里插入图片描述
      • 中心归一化距
        (p+q)阶中心归一化距：
        在这里插入图片描述

    • 矩的应用：

      • 目标区域的面积 = 目标区域的像素个数 = m00
        与零阶混合原点矩有关！
      • 目标区域的质心坐标 =【m01/m00, m10/00】
        与 一阶混合原点矩有关！
      • 目标区域的方向
        与二阶混合中心距有关！
        主轴斜率 = mu20/mu11
        副轴斜率 = mu11/mu20
        在这里插入图片描述

    • opencv中的图像矩介绍
      空间矩：double m00,m10,m01,m20,m11,m02,m30,m21,m12,m03
      中心矩：double mu20,mu11,mu02,mu30,mu21,mu12,mu03
      中心归一化矩：double nu20,nu11,nu02,nu30,nu21,nu12,nu03

    • 参考文献
      https://zh.wikipedia.org/wiki//wiki/矩_(图像)
      https://zhuanlan.zhihu.com/p/519713049
      https://blog.csdn.net/weixin_43212588/article/details/132674015
      https://blog.csdn.net/shuiyixin/article/details/104646531/

分析与实践

  • 代码：servoPixhawkDroneIBVS.cpp
    根据相机的位置来调整位置转换矩阵，例如：
    FLU body frame 和 相机坐标系之间的转换矩阵：
    在这里插入图片描述
    飞机机体坐标系，记作e，即终端坐标系：FLU
    最终的控制量：机体速度，也是要转换到FLU坐标系下。
    相机坐标，记作c
    中间坐标系：原点与c重合，轴与e同向，记作c1
    那么，c1与c的转换矩阵是由自己的安装位置决定的，是已知的。
    e跟c1的转换矩阵：只有位移关系，也是已知的。
    上面的转换矩阵最终求得e到c的转换关系矩阵：cVe
    在这里插入图片描述
    Xn：重心矩视觉特征的x分量误差！！！！！
    Yn：重心矩视觉特征的y分量误差！！！！！
    an：目标区域面积视觉特征误差！！！！！
    atan(1/rho)")：灭点视觉特征误差！！！！！
    在这里插入图片描述
    待续…

运行

cd ~/shd/visp-ws/visp-build/example/servo-pixhawk
./servoPixhawkDroneIBVS --tag-size 0.12 --co udp://:14550

在代码中引用外部库xxxx.h xxxx.so
CMakeLists.txt中：
在这里插入图片描述
pkg-config --cflags --libs gstreamer-1.0

等待解决的问题：

  • cVe坐标系的问题，为什么是相机系到FLU的而不是飞机机体系FRD？为什么视觉伺服计算得到的ve是FRD下表示的？
  • 推流如显示检测结果和误差曲线？
  • 二维码颠倒之后伺服控制量是否正常？？？
    与摆放位置无关！伺服控制量都是正常的！以第一次识别到二维码时的二维码姿态来计算初始灭点水平线！！！！！
  • 相机坐标系，图像坐标系的轴向？视觉伺服控制量坐标系的轴向？？关系？？？
  • 由guided模式切换到其他模式如loiter和atlHold为什么会自动下降高度直到降落？？？？
  • 如何将鼠标点击事件转换成命令行输入的形式？左击开始，再左击停止，右击停止并降落！！
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    一些疑问：
    位置估计和姿态估计是基于哪个坐标系下的？
    地固坐标系：NED local frame（或称 NED Ardupilot reference frame）
    飞机机体坐标系1：FRD body frame
    飞机机体坐标系2：FLU body frame
    位置估计：FRD body frame 原点在 NED local frame 中的坐标【posX，posY，posZ】
    姿态估计：FRD body frame 与 NED local frame 间的旋转关系，一般用欧拉角表示：【俯仰角，横滚角，偏航角】，航天航空领域一般使用东北天的旋转顺序来计算欧拉角。
    运动控制量是基于哪个坐标系下计算得到的？
    最终的控制量是基于按个坐标系下的量 ？？？？
    姿态角、姿态角速度控制：body frame FRD
    速度控制：body frame FRD or Local frame NED ？？？
    位置控制：body frame FRD or Local frame NED ？？？
    位置、姿态测量传感器是基于哪个坐标系下的量？
    GPS：WGS84
    视觉定位Vicon：Vicon ENU reference frame
    动作捕捉器MoCAP：MoCAP ENU reference frame

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1849988.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

优选免单模式：电商销售的新篇章

优选免单模式：电商销售的新篇章

随着电商市场的日益繁荣，各种创新销售模式层出不穷。其中，优选免单模式以其独特的运作方式和激励机制，吸引了大量消费者的目光。该模式的核心在于通过降低商品售价、引入社交元素以及设计阶梯式奖励，激发消费者的购买热情&#xf…
阅读更多...
[已解决]ImportError: DLL load failed while importing win32api: 找不到指定的程序。

[已解决]ImportError: DLL load failed while importing win32api: 找不到指定的程序。

使用pip install pywin32302安装后import找不到win32api 失败尝试 上网找别人的解决方案，大部分解决方案都是通过复制下面两个dll文件到 下面这个文件夹，并且复制到C:\Windows\System32，从而解决问题，但是我没能成功。 解决方…
阅读更多...
Python编辑器pycharm详细安装步骤

Python编辑器pycharm详细安装步骤

PyCharm 的详细安装步骤 以下是在 Windows 系统上安装 PyCharm 的详细步骤： 第一步：下载安装程序 访问 PyCharm 官方网站（https://www.jetbrains.com/pycharm/），根据自己的需求选择社区版（Community&…
阅读更多...
分享uniapp + Springboot3+vue3小程序项目实战

分享uniapp + Springboot3+vue3小程序项目实战

分享uniapp Springboot3vue3小程序项目实战 经过10天敲代码，终于从零到项目测试完成，一个前后端分离的小程序实战项目学习完毕 时间从6月12日 到6月22日，具有程序开发基础，第一次写uniapp,Springboot以前用过，VUE3也…
阅读更多...
docker in docker 在CI中应用解析

docker in docker 在CI中应用解析

docker in docker 简介 docker里嵌套运行docker，本文讲解其在jenkins和gitlab-runner 种的调用流程 一、用于jenkins 容器化部署jenkins时调用docker命令集成CI功能 [rootops-demo~]# docker inspect jenkins --format"{{json .Mounts}}" [{"T…
阅读更多...
电脑文件夹怎么加密？文件夹加密的5种方法

电脑文件夹怎么加密？文件夹加密的5种方法

在数字化时代，信息安全显得尤为重要。对于个人电脑用户来说，文件夹加密是一种有效保护隐私和数据安全的方法。本文将介绍五种文件夹加密的方法，帮助您更好地保护自己的重要文件。 如何设置文件夹密码方法一：利用Windows系统自带的…
阅读更多...
docker 基本用法及跨平台使用

docker 基本用法及跨平台使用

一、Docker的优点 docker 主要解决的问题就是程序开发过程中编译和部署中遇到的环境配置的问题。 1.1 Docker与其他虚拟机层次结构的区别** 运行程序重点关注点在于环境。 VM虚拟机是基于Hypervisor虚拟化服务运行的。 Docker是基于内核的虚拟化技术实现的。 1.2 Docker的技…
阅读更多...
深入分析并可视化城市轨道数据

深入分析并可视化城市轨道数据

介绍 中国城市化进程加速中，城市轨道交通的迅速扩张成为提升城市运行效率和居民生活品质的关键。这一网络从少数大城市延伸至众多大中型城市，映射了经济飞跃和城市管理现代化。深入分析并可视化城市轨道数据，对于揭示网络特性、评估效率、理…
阅读更多...
计算机组成原理 | 数据的表示、运算和校验（3）数据处理与存储

计算机组成原理 | 数据的表示、运算和校验（3）数据处理与存储

移位 舍入和扩展 存储模式和对齐 不按边界对齐，访存次数会增加一次
阅读更多...
大型语言模型在AMD GPU上的推理优化

大型语言模型在AMD GPU上的推理优化

Large language model inference optimizations on AMD GPUs — ROCm Blogs 大型语言模型（LLMs）已经改变了自然语言处理和理解，促进了在多个领域中的众多人工智能应用。LLMs在包括AI助手、聊天机器人、编程、游戏、学习、搜索和推荐系统在内的…
阅读更多...
8个腾讯，18个阿里，104个百度

8个腾讯，18个阿里，104个百度

8个腾讯、18个阿里巴巴、104个百度!英伟达市值已经超越我的前司微软，成为全球第一，（虽然今天又被微软超越，但势头非常猛）达到了恐怖的3.34万亿美元！这是什么概念？相当于8个腾讯，18个…
阅读更多...
ARM阻击高通：AI PC大战与芯片之争

ARM阻击高通：AI PC大战与芯片之争

引言 在AI PC领域，高通的X Elite芯片因为其高性能和低功耗，一度被认为是未来的主导者。然而，ARM公司却通过法律手段试图阻止高通的独大，这不仅可能拖慢AI PC的发展进程，还引发了业界的广泛关注。本文将深入探讨ARM和高…
阅读更多...
php，python aes加密反解

php，python aes加密反解

1. python版本 import base64 from Crypto.Cipher import AES from Crypto.Util.Padding import pad, unpadclass AESUtilCBC:def __init__(self, key, iv):self.key key.encode(utf-8)self.iv iv.encode(utf-8)self.pad_length AES.block_sizedef encrypt(self, data):try…
阅读更多...
C语言| 数组倒置II

C语言| 数组倒置II

数组倒置第二种方法：直接在数组内进行倒置 第一个元素和最后一个元素交换， 第二个元素和倒数第二个元素交换 第三个元素和倒数第三个元素交换...... 数组元素个数为偶数，每个元素都能交换一次； 数组元素个数为奇数，最…
阅读更多...
IntelliJ IDE 插件开发 | （十）主题插件开发入门

IntelliJ IDE 插件开发 | （十）主题插件开发入门

系列文章 本系列文章已收录到专栏，交流群号：689220994，也可点击链接加入。 前言 在前面的章节中，我们介绍的都是功能性插件的开发内容，本文则会介绍一下主题类插件的开发方式。不过本文也只是带大家入个门&#xff…
阅读更多...
HTML静态网页成品作业(HTML+CSS+JS)——动漫斗罗大陆介绍网页(3个页面)

HTML静态网页成品作业(HTML+CSS+JS)——动漫斗罗大陆介绍网页(3个页面)

🎉不定期分享源码，关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 🏷️本套采用HTMLCSS，使用Javacsript代码实现图片轮播和tab切换，共有3个页面。 …
阅读更多...
24.3K star！一个轻量级且高度可配置的现代化命令行文本编辑器

24.3K star！一个轻量级且高度可配置的现代化命令行文本编辑器

大家好，今天给大家分享的是一个轻量级且高度可配置的现代化命令行文本编辑器。 micro 是一个轻量级且高度可配置的命令行文本编辑器，以其简洁的设计和强大的插件系统著称。该项目强调速度与效率，适合那些追求快速编辑体验并希望保持系统资源占…
阅读更多...
ISO14001认证：引领企业迈向绿色未来

ISO14001认证：引领企业迈向绿色未来

在当今全球环境日益恶化的背景下，绿色发展已成为企业和社会共同追求的目标。ISO14001环境管理体系作为由国际标准化组织（ISO）制定的环境管理国际标准，为企业提供了系统和全面的环境管理框架，适用于各种类型和规模的组织…
阅读更多...
TurboWarp简单介绍

TurboWarp简单介绍

1.为什么要下载TurboWarp？ 2.下载TurboWarp 在线版：TurboWarp - Run Scratch projects faster 离线版下载：TurboWarp Desktop - Better offline editor for Scratch 3 3.使用 界面： 功能： 上方功能条：…
阅读更多...
【办公技巧】如何编辑带有限制编辑密码的PDF文件？

【办公技巧】如何编辑带有限制编辑密码的PDF文件？

PDF文件打开之后发现设置了限制编辑，功能栏中的编辑按钮都是灰色的，导致PDF文件里的内容无法编辑。那么带有限制编辑的PDF文件，如何编辑？今天分享两个方法。 方法一： 我们可以将PDF文件转换成其他格式，有…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023