Ardupilot OpenIPC 基于WFB-NG构架分析和数据链路思考

news2024/11/16 11:39:46

Ardupilot & OpenIPC & 基于WFB-NG构架分析和数据链路思考

  • 1. 源由
  • 2. OpenIPC安装
    • 2.1 安装
    • 2.2 配置
      • 2.2.1 天空端配置文件
      • 2.2.2 地面端配置文件
    • 2.3 当前配置选择
  • 3. WFB-NG安装
    • 3.1 RTL8812AU安装
      • 3.1.1 驱动安装
      • 3.1.2 定位设备
    • 3.2 wfb-ng安装
      • 3.2.1 传输层安装
      • 3.2.2 配置调整
    • 3.3 wfb-ng-osd安装
      • 3.3.1 编译安装
      • 3.3.2 使用事项
    • 3.4 video-viewer安装
  • 4. 总结
  • 5. 参考资料

1. 源由

最近入手一套OpenIPC(SCC338Q+IMX415+Hi3536DV100+RTL8812AU),为了更好的配合GPU的AI运算,进行视频图像分析,初步计划如下:

  1. 天空端:视频(伴机电脑)
  2. 地面端:GPU视频分析/决策+遥控+地面站

为此,前面的准备工作:

  • ArduPilot飞控之Gazebo + SITL + MP的Jetson Orin环境搭建
  • ArduPilot开源飞控之lida2003套机+伴机电脑首飞
  • ubuntu22.04@Jetson Orin Nano之OpenCV安装
  • Linux 36.2@Jetson Orin Nano之Hello AI World!
  • ubuntu22.04@laptop OpenCV Get Started
  • ExpressLRS硬件实测性能分析

当然,这些仅仅是已经做过的一些,对于上面的设想,远远不够,不过我们始终在靠近我们的愿景!

接下来,就将实时视频这块内容增加进来,已经知道的链路大概已经有很多条了,整理下:

a)【视频链路】IMX415 ==> SCC338Q ==> RTL8812AU ==> Hi3536DV100 ==> FPV Goggles/Display
b)【视频链路】IMX415 ==> SCC338Q ==> RTL8812AU ==> Hi3536DV100 ==> Ground Control Station
c)【视频链路】IMX415 ==> SCC338Q ==> RTL8812AU ==> Jetson Orin Nano (GPU/AI)
d)【视频链路】IMX415 ==> SCC338Q ==> Raspberry Pi3B+ (GPU/CPU/AI)
e)【控制链路】FC <== SCC338Q <== RTL8812AU <== Hi3536DV100 <== Ground Control Station
f)【控制链路】FC <== RC Receiver <== RC Transmitter <== RC Controller
e)【控制链路】FC <== SCC338Q <== RTL8812AU <== Jetson Orin Nano (GPU/AI)
g)【控制链路】FC <== SCC338Q <== RTL8812AU <== Raspberry Pi3B+ (GPU/CPU/AI)

注:这里不考虑中继等问题,因为中继进来,整个链路就更加复杂了。

2. OpenIPC安装

  • Alternative open firmware for your IP camera

2.1 安装

略. 后续根据情况再做展开,目前可以看做是一个开源的黑匣子,它的底层实现依赖于WFB-NG。

2.2 配置

2.2.1 天空端配置文件

  • /etc/wfb.conf
# cat /etc/wfb.conf
### unit: drone or gs
unit=drone

wlan=wlan0
region=00
### By default used channel number, but, you may set freq instead. For ex: 2387M
channel=64
frequency=
txpower=20
driver_txpower_override=20
bandwidth=20
stbc=0
ldpc=0
mcs_index=1
stream=0
link_id=7669206
udp_port=5600
rcv_buf=456000
frame_type=data
fec_k=8
fec_n=12
pool_timeout=0
guard_interval=long
  • /etc/majestic.yaml
# cat /etc/majestic.yaml
system:
  staticDir: /var/www
  webPort: 80
  httpsPort: 443
  plugins: false
  buffer: 1024
isp:
  antiFlicker: disabled
  exposure: 20
  aGain: 40
  sensorConfig: /etc/sensors/imx415_fpv.bin
image:
  mirror: false
  flip: false
  rotate: 0
  contrast: 50
  hue: 50
  saturation: 50
  luminance: 50
video0:
  enabled: true
  codec: h265
  fps: 60
  bitrate: 2048
  rcMode: cbr
  gopSize: 1
  size: 1024x768
video1:
  enabled: false
  codec: h264
  size: 704x576
  fps: 15
jpeg:
  enabled: false
  qfactor: 50
  fps: 5
osd:
  enabled: false
  font: /usr/share/fonts/truetype/UbuntuMono-Regular.ttf
  template: "%d.%m.%Y %H:%M:%S"
  posX: 16
  posY: 16
audio:
  enabled: false
  volume: 30
  srate: 8000
  codec: opus
  outputEnabled: false
  outputVolume: 30
rtsp:
  enabled: true
  port: 554
nightMode:
  enabled: false
  irCutSingleInvert: false
  colorToGray: true
  irSensorPinInvert: false
motionDetect:
  enabled: false
  visualize: false
  debug: false
records:
  enabled: false
  path: /mnt/mmcblk0p1/%F/%H.mp4
  maxUsage: 95
outgoing:
  enabled: true
  server: udp://127.0.0.1:5600
  naluSize: 1200
watchdog:
  enabled: true
  timeout: 300
hls:
  enabled: false
onvif:
  enabled: false
ipeye:
  enabled: false
youtube:
  enabled: false

2.2.2 地面端配置文件

  • /etc/wfb.conf
# cat /etc/wfb.conf
### unit: drone or gs
unit=gs

wlan=wlan0
region=00
### By default used channel number, but, you may set freq instead. For ex: 2387M
channel=64
frequency=
txpower=20
driver_txpower_override=20
stream=0
link_id=7669206
udp_addr=127.0.0.1
udp_port=5600
telemetry=true
  • /etc/vdec.conf
# cat /etc/vdec.conf
### Port for video rx (default: 5000)

port=5600

### Codec: h264 or h265 (default: h264)

codec=h265

### Incoming data format: stream or frame (default: stream)

format=frame

### Screen output mode:
# 720p60       - 1280 x 720  @ 60 fps
# 1080p60      - 1920 x 1080 @ 60 fps
# 1024x768x60  - 1024 x 768  @ 60 fps
# 1366x768x60  - 1366 x 768  @ 60 fps
# 1280x1024x60 - 1280 x 1024 @ 60 fps
# 1600x1200x60 - 1600 x 1200 @ 60 fps
# 2560x1440x30 - 2560 x 1440 @ 30 fps

mode=1024x768x60

### Mavlink port for telemetry (default: 14750)

mavlink_port=14750

### Osd: none, simple or custom for use own lvgl based osd (custom osd binary need to be upload to /usr/bin directory) (default: simple)

osd=simple

### Records archive (Mount ssd, set up full path to records archive, file names generated automatically. example: /mnt/sda1/recorder)

records=

### Extra param (write in one line split by space):

#    --ar [mode]        - Aspect ratio mode               (Default: keep)
#      keep             - Keep stream aspect ratio
#      stretch          - Stretch to output resolution
#      manual           - Manual image size definition

#    --ar-bg-r [Value]  - Fill color red component      (Default: 0)
#    --ar-bg-g [Value]  - Fill color green component    (Default: 0)
#    --ar-bg-b [Value]  - Fill color blue component     (Default: 0)

#    --ar-x [Value]     - Image position X
#    --ar-y [Value]     - Image position Y
#    --ar-w [Value]     - Image width
#    --ar-h [Value]     - Image height

#    --bg-r [Value]     - Background color red      (Default: 0)
#    --bg-g [Value]     - Background color green    (Default: 96)
#    --bg-b [Value]     - Background color blue     (Default: 0)

extra="--bg-r 30 --bg-g 0 --bg-b 30"

2.3 当前配置选择

鉴于手头测试设备的限制,为了更好的使用,配置如下:

  • 分辨率:1024x768 //配合一台VGA液晶显示器
  • 编解码:H265 //SCC338Q & Hi3536DV100 支持
  • 编码率:60FPS //Hi3536DV100 支持最高的解码率
  • WiFi频点:channel=64

注:H265编解码存在花屏现象,可能与底层分包组装有关,详见:How to configure 720P@120fps on wfb_gs on ubuntu(not OpenIPC gs)
#336

3. WFB-NG安装

  • ubuntu22.04@laptop安装&配置wfb-ng

3.1 RTL8812AU安装

3.1.1 驱动安装

$ sudo apt-get install dkms
$ git clone -b v5.2.20 git@github.com:svpcom/rtl8812au.git
$ cd rtl8812au/
$ sudo ./dkms-install.sh

3.1.2 定位设备

如果设备正确安装了,那么将会看到类似下面的输出:

$ nmcli

...
wlan1: unmanaged
        "Realtek RTL8812AU 802.11a/b/g/n/ac 2T2R"
        wifi (rtl88xxau_wfb), 20:0D:B0:32:DA:3A, hw, mtu 4052
...

注:这里笔者环境WiFi设备为Realtek RTL8812AU 802.11a/b/g/n/ac 2T2R 设备号:wlan1

3.2 wfb-ng安装

3.2.1 传输层安装

之前已经定位WiFi设备为wlan1,安装地面站:

$ git clone -b stable git@github.com:svpcom/wfb-ng.git
$ cd wfb-ng
$ sudo ./scripts/install_gs.sh wlan1

注:Jetson Orin平台安装时,会存在问题,需要修复安装脚本,详见:[Jetson Orin] wfb-ng/env/bin/pip: No such file or directory

3.2.2 配置调整

  1. 调整通信频点与SCC338Q channel=64一致
$ sudo cat /etc/wifibroadcast.cfg
[common]
wifi_channel = 64     # 161 -- radio channel @5825 MHz, range: 5815–5835 MHz, width 20MHz
                       # 1 -- radio channel @2412 Mhz,
                       # see https://en.wikipedia.org/wiki/List_of_WLAN_channels for reference
wifi_region = 'BO'     # Your country for CRDA (use BO or GY if you want max tx power)

[gs_mavlink]
peer = 'connect://127.0.0.1:14550'  # outgoing connection
# peer = 'listen://0.0.0.0:14550'   # incoming connection

[gs_video]
peer = 'connect://127.0.0.1:5600'  # outgoing connection for
                                   # video sink (QGroundControl on GS)
  1. 配置地面站与天空端的秘钥
$ wfb_keygen
Drone keypair (drone sec + gs pub) saved to drone.key
GS keypair (gs sec + drone pub) saved to gs.key

$ ls
drone.key  gs.key
  • drone.key --> 天空端 /etc/drone.key
  • gs.key --> 地面端 /etc/gs.key

3.3 wfb-ng-osd安装

3.3.1 编译安装

$ sudo apt-get install libcairo2-dev gstreamer1.0-tools libgstreamer1.0-dev gstreamer1.0-plugins-base gstreamer1.0-plugins-bad gstreamer1.0-plugins-good gstreamer1.0-plugins-ugly libgstreamer-plugins-base1.0-dev
$ make osd

3.3.2 使用事项

$ ./osd --help
./osd: invalid option -- '-'
./osd [-p mavlink_port] [-P rtp_port] [ -R rtsp_url ] [-4] [-5] [-j rtp_jitter] [-x] [-a] [-w screen_width]
Default: mavlink_port=14551, rtp_port=5600, rtsp_url=none, codec=h264, rtp_jitter=5, screen_width=1920
WFB-ng OSD version 23.12.15.60076-1acd315d
WFB-ng home page: <http://wfb-ng.org>
  • 鉴于当前OpenIPC使用venc/vdec进行编解码,所以无法被用于RTP相兼容的majectic streamer。
  • 若真想要尝试使用,需要在调整OpenIPC的venc0_P0_MAIN/venc1_P0_MAIN进程,暂不深入分析。目前在Jetson Orin平台上可以使用gstDecoder解码。

3.4 video-viewer安装

鉴于前面谈到的编解码问题,若要在Jetson Orin平台上能够对OpenIPC现在venc编码视频流进行解码,可以简单使用video-viewer这个工具,但是性能上现在看来并不理想,因为平台使用了GPU和CPU来介入。也许切换到常规RTP编解码会有更好的效果。

关于工具的安装,这里不再展开,感兴趣的朋友可以自行阅读:Linux 36.2@Jetson Orin Nano之Hello AI World!

4. 总结

鉴于:

  1. 目前最新数据720P@120FPS响应时间35~40ms延迟,具备FPV四轴高速飞行要求
  2. wfb_ng是传输层代码,在进行视频传输的同时,具备小数据电传链路功能
  3. wfb_ng是加密传输,开源代码
  • wfb-ng 开源工程结构&代码框架简明介绍

以下链路分析:

  • 相对传统链路:
    a)【视频链路】IMX415 ==> SCC338Q ==> RTL8812AU ==> Hi3536DV100 ==> FPV Goggles/Display
    b)【视频链路】IMX415 ==> SCC338Q ==> RTL8812AU ==> Hi3536DV100 ==> Ground Control Station
    e)【控制链路】FC <== SCC338Q <== RTL8812AU <== Hi3536DV100 <== Ground Control Station
    f)【控制链路】FC <== RC Receiver <== RC Transmitter <== RC Controller

  • 大数据分析链路:
    c)【视频链路】IMX415 ==> SCC338Q ==> RTL8812AU ==> Jetson Orin Nano (GPU/AI)
    d)【视频链路】IMX415 ==> SCC338Q ==> Raspberry Pi3B+ (GPU/CPU/AI)
    e)【控制链路】FC <== SCC338Q <== RTL8812AU <== Jetson Orin Nano (GPU/AI)
    g)【控制链路】FC <== SCC338Q <== RTL8812AU <== Raspberry Pi3B+ (GPU/CPU/AI)

Raspberry Pi3B+(Companion Computer)和Jetson Orin(DataCenter) 组成了大数据决策和边缘AI的构架模型。

  • DataCenter负责广域范围内的分析和决策
  • CompanionComputer负责局域范围内的分析和决策

在这里插入图片描述

以上是根据FPV无人机方面的一些简单想法(实际应用还可以进行适当的调整部署,以适应实际应用需求)。随着技术的发展,今后科技发展在各个领域都将会逐步形成细分的领域大数据决策和边缘AI应用,这也是为什么我们非常看好《一种部件生命期监测方法》在细分应用领域具有指导意义的重要原因。

好了,废话不多说,上点这套OpenIPC(SCC338Q+IMX415+Hi3536DV100+RTL8812AU) + Jetson Orin Nano的视频,感性认识下ubuntu22.04@Jetson Orin Nano安装WFB-NG&OpenIPC性能。

为什么说感性,因为测试环境配置都不高:(有过有朋友能提供更好的测试环境,那倒是可以考虑测下极限)

  1. 台式老显示器 1024x768@60Hz
  2. 裸奔测试屏幕1920x1080@60Hz
  3. 非高速拍摄&记录设备,使用老式小米手机
  4. 计时器显示屏幕2736x1824@59.96Hz (SurfacePro6)

注:受到venc/vdec编码器的影响,Jetson Orin似乎并不太支持这个解码流,效果不好。

OpenIPC(SCC338Q+IMX415+Hi3536DV100+RTL8812AU)性能测试

上述配置摄像头端(SCC338Q+IMX415+RTL8812AU)是能够满足720P@120FPS H265的,从延时报告的数据,大约能做到30~40ms。

实际看电视的效果,大家感受下:

ssc338q+imx415+nvr3536 OpenIPC看视频

5. 参考资料

【1】 wfb-ng Release 23.01镜像无头烧录&配置(1)
【2】 wfb-ng Release 23.01镜像无头烧录&配置(2)
【3】wfb-ng 锁定WiFi接口
【4】Linux 36.2@Jetson Orin Nano之基础环境构建
【5】Aocoda-RC H743Dual BMI270x2飞控,支持Ardupilot

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1616347.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

《架构风清扬-Java面试系列第23讲》如何理解Java的泛型檫除?

晚上好&#xff0c;给大家加个餐 来&#xff0c;思考片刻&#xff0c;说出你的答案 1&#xff0c;什么是泛型檫除&#xff1f; 泛型擦除是指编译器在处理泛型代码时&#xff0c;会在编译阶段移除&#xff08;擦除&#xff09;所有与泛型相关的类型参数信息&#xff0c;将其替换…

3Darray 修改array值然后保存图片

from PIL import Image import numpy as np img_path ./000001.jpg # 读取图片 image Image.open(img_path) width, height image.size print("图片的宽度为{},高度为{}".format(width,height)) print("图片的mode为{}".format(image.mode)) print(&quo…

CSS-vminvmax单位

vmin 和 vmax 单位 vmin 是相对于视口宽度和高度中较小值进行计算&#xff0c;它的值为视口宽度和高度中的较小值的百分比。 例如&#xff0c;如果视口宽度为 800px&#xff0c;高度为 1000px&#xff0c;那么 1vmin 等于 8px&#xff08;800px 的 1%&#xff09;。 vmax 是…

linux下 Mysql8.0 离线安装

环境&#xff1a;centos7.9 MysqlL8.0.36安装包 链接&#xff1a;https://pan.baidu.com/s/1bKwHr05z8Ye82dT9tntdUA 提取码&#xff1a;3a5z 参考Centos安装MYSQL8(离线可用) 文章目录 1、解压安装2、配置启动2.1 修改配置文件2.2 mysql 启动 3、mysql 测试 1、解压安装 #…

Skill Check: Fundamentals of Large Language Models

Skill Check: Fundamentals of Large Language Models 完结&#xff01;

【LLM】向量知识库

文章目录 认识向量知识库向量Embeddings向量数据库向量数据库的作用向量数据库与传统数据库的区别 Embedding API使用公有Embedding API自定义一个Embeedding API 常见文本数据的预处理搭建并使用向量数据库思考向量数据库在LLM中的价值体现向量的妙用&#xff0c;可行&#xf…

2024免费MAC苹果电脑系统优化软件CleanMyMac X

CleanMyMac X确实是一款专为Mac用户设计的清理和优化工具。它提供了一系列功能&#xff0c;旨在帮助用户释放磁盘空间、提升Mac的性能&#xff0c;并保护用户的隐私。 CleanMyMac X能够智能地扫描和识别Mac上的各种垃圾文件&#xff0c;如系统缓存、日志文件、无用的语言包等&…

【存储】cosbench对象存储测试工具

目录 简略说明 原理 用法 详细说明 简介 用法 一 安装 二 简单验证 三 编写配置文件 四 提交配置文件下IO 五 测试结果查看 结果概览 查看详情 每秒钟的io情况查看 工作负载配置 参数配置&#xff08;controller和driver&#xff09; 查看错误的方法和错误记录 查看错误的方法 …

学生选课及成绩查询管理系统的设计与开发C#(winform + sqlserver)

源码来自网络 技术栈&#xff1a; C#的窗体程序开发 本系统未采用C#实现MDI——多文档窗口&#xff0c;因为考虑到C#的该技术与java类似&#xff0c;而暑期java实训时&#xff0c;曾用过类似的方法做过停车场管理系统&#xff0c;所以想为这次的系统注入一点新鲜的血液&#x…

实验:路由过滤与引入

一、实验拓扑 二、实验要求 1、按照图示配置 IP 地址&#xff0c;R1&#xff0c;R3&#xff0c;R4 上使用 loopback 口模拟业务网段 2、R1和R3运行RIPv2&#xff0c;R2,R3和R4运行OSPF&#xff0c;各自协议内部互通 3、在 RIP 和 oSPF 间配置双向路由引入&#xff0c;要求除 R…

[LeetCode]—— 226——翻转二叉树

1.题目 . - 力扣&#xff08;LeetCode&#xff09; 给你一棵二叉树的根节点 root &#xff0c;翻转这棵二叉树&#xff0c;并返回其根节点。 示例 1&#xff1a; 输入&#xff1a;root [4,2,7,1,3,6,9] 输出&#xff1a;[4,7,2,9,6,3,1]示例 2&#xff1a; 输入&#xff1a…

【Qt 学习笔记】Qt常用控件 | 显示类控件 | Calendar Widget的使用及说明

博客主页&#xff1a;Duck Bro 博客主页系列专栏&#xff1a;Qt 专栏关注博主&#xff0c;后期持续更新系列文章如果有错误感谢请大家批评指出&#xff0c;及时修改感谢大家点赞&#x1f44d;收藏⭐评论✍ Qt常用控件 | 显示类控件 | Calendar Widget的使用及说明 文章编号&am…

华为认证云计算前景如何

互联网/移动互联网经历了高速发展的二十年&#xff0c;我们有幸一起见证了华为、阿里、腾讯、百度、字节跳动、京东、滴滴、拼多多等互联网公司的崛起&#xff0c;让普通技术人实现逆袭拿到高薪&#xff0c;也让小镇做题家们有了阶层跨越的机会。 但机会都是留给有准备的人&…

[测试]ChaosBlade: 丢包、延迟、断网、磁盘、cpu占用、内存占用等资源耗尽故障注入利器--编辑中

目录 ChaosBlade是什么? ChaosBlade可以制造哪些工况/故障? 使用文档 git仓库:chaosblade/README_CN.md at master chaosblade-io/chaosblade GitHub ChaosBlade是什么? ChaosBlade: 一个简单易用且功能强大的混沌实验实施工具 ChaosBlade是阿里巴巴开源的一款遵循混…

在React Router 6中使用useRouteLoaderData钩子获取自定义路由信息

在 React Router 6 中怎么像vueRouter一样&#xff0c;可以在配置路由的时候&#xff0c;定义路由的元信息(附加信息)&#xff1f;答案是可以的。稍有些复杂。核心是通过为每个路由定义了一个 loader 函数,用于返回自定义的路由信息&#xff0c;然后通过useRouteLoaderData 钩子…

如何查看redisson-spring-boot-starter和SpringBoot 对应版本

如何查看redisson-spring-boot-starter和SpringBoot 对应版本 我目前没有找到官网的地址来来查看对应关系。 所以我只能找pom.xml来查看 先在mvnrepository 找到redisson-spring-boot-starter的列表 具体地址是&#xff1a;https://mvnrepository.com/artifact/org.redisso…

Oracle故障处理:ORA-00600错误处理思路

提前说明&#xff1a; 该故障&#xff0c;我只是旁观者。 但处理该故障的DBA工程师&#xff0c;思路很清晰&#xff0c;我非常受教&#xff01;在此也将经验分享。 目录 项目场景 问题分析 优化建议 项目场景 在某项目数据库运维群&#xff0c;有现场同事发了张报错截图如下…

邂逅JavaScript逆向爬虫-------基础语法篇之面向对象

目录 一、概念二、对象的创建和操作2.1 JavaScript创建对象的方式2.2 对象属性操作的控制2.3 理解JavaScript创建对象2.3.1 工厂模式2.3.2 构造函数2.3.3 原型构造函数 三、继承3.1 通过原型链实现继承3.2 借用构造函数实现继承3.3 寄生组合式继承3.3.1 对象的原型式继承3.3.2 …

ChatGPT助力测试领域!探索人工智能编写测试用例的新前景

简介 测试用例是测试人员的核心工作内容&#xff0c;是测试人员思想的“实现类”&#xff0c;其充分体现了测试的思路&#xff0c;可以为后续的测试行为提供指导&#xff0c;是测试人员了解业务的重要根据和质量之根本。如果测试用例设计得不完成&#xff0c;出现了遗漏&#x…

vue3组件封装系列-表单请求

我们在开发一些后台管理系统时&#xff0c;总是会写很多的列表查询页面&#xff0c;如果不封装组件&#xff0c;就会无限的复制粘贴&#xff0c;而且页面很冗余&#xff0c;正常情况下&#xff0c;我们都是要把组件进行二次封装&#xff0c;来达到我们想要效果。这里我分享一下…