基于OpenMV 双轴机械臂 机器学习

news2024/7/6 18:03:34

文章目录

  • 一、项目简要
  • 二、目标追踪
    • 1. 色块识别与最大色块筛选
    • 2. PID位置闭环
  • 三、机器学习
    • 1. Device1
    • 2. Device2
  • 四、效果演示


一、项目简要

两套二维云台设备,Device1通过摄像头捕捉目标物块点位进行实时追踪,再将自身点位传到Device2,Device2学习Device1动作,控制误差<=1°。
在这里插入图片描述

二、目标追踪

以摄像头左上角为坐标原点建立坐标系,通过识别目标物块 获取物块的中心坐标点位,以识别到的点位作为实际点位,摄像头的中心坐标作为目标点位,引用PID算法分别在x轴和y轴上设计两套位置闭环,将输出信号赋给舵机,使其收敛于目标点位。

在物块识别中,是通过颜色进行区分,所以这里难免会出现误差,为了避免一些小杂物扰乱采集,则在图像中使用物块面积计算过滤掉小的物块,筛选出最大的目标物块

1. 色块识别与最大色块筛选

red_threshold  = (4, 92, -103, 104, -18, -99)   #色块阈值

def find_max(blobs):                           #寻找最大色块函数
    max_size=0
    for blob in blobs:
        if blob[2]*blob[3] > max_size:
            max_blob=blob
            max_size = blob[2]*blob[3]
    return max_blob

while(True):
    clock.tick()                               #帧率控制
    img = sensor.snapshot()                    #图像截取

    blobs = img.find_blobs([red_threshold])    #发现色块
    if blobs:
        max_blob = find_max(blobs)             #筛选色块

2. PID位置闭环

pan_servo=Servo(1)          #水平方向的舵机 
tilt_servo=Servo(2)         #垂直方向的舵机   

pan_pid = PID(p=0.07, i=0, imax=90)       #水平PI参数调整 
tilt_pid = PID(p=0.05, i=0, imax=90)      #垂直PI参数调整      

pan_error = max_blob.cx()-img.width()/2            #水平方向误差
tilt_error = max_blob.cy()-img.height()/2          #垂直方向误差
pan_output=pan_pid.get_pid(pan_error,1)/2		   #水平PID计算
tilt_output=tilt_pid.get_pid(tilt_error,1)		   #垂直PID计算
pan_servo.angle(pan_servo.angle()+pan_output)	   #水平舵机反馈
tilt_servo.angle(tilt_servo.angle()+tilt_output)   #垂直舵机反馈

在这里插入图片描述

三、机器学习

在目标追踪的基础上,第二套设备只需要去模仿第一套设备的动作,两者之间通过串口传输数据,再计算出实际角度与目标角度之间的误差。

1. Device1

将Device1的自身点位发送到Device2

from pyb import UART
uart = UART(3, 115200)

#获取本装置二维云台实时转动角度
data = str(int(pan_servo.angle())) + ':' + str(int(tilt_servo.angle()))  
data_bytes = data.encode()    #格式转换
uart.write(data_bytes)        #串口发送

2. Device2

  • 接收来自Device1发过来的实时点位
# 将接收到的字节串解码为字符串并去除首尾的空白字符
received_data = uart.readline().decode().strip()  
num1, num2 = map(int, received_data.split(':'))    #解析数据
  • 控制二维云台学习Device1
pan_servo.angle(num1)        #水平转动
tilt_servo.angle(num2)       #垂直转动
  • 计算转动误差并发送到PC上位机
a=num1-pan_servo.angle()           #获取自身水平转动角度误差
b=num2-tilt_servo.angle()          #获取自身垂直转动角度误差

data = str(int(a)) + ':' + str(int(b))+' '    #数据打包
data_bytes = data.encode()                    #格式转换
uart.write(data_bytes)                        #串口发送

如下图可见,水平误差和垂直误差 控制在1°,满足需求
在这里插入图片描述

四、效果演示

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1630998.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

嵌入式学习64-C++(labmda和动态内存分配)

知识回顾&#xff1a; Volatile关键字的作用 C vector容器详解 浅谈堆、栈、堆区、栈区的概念和区别 知识零碎&#xff1a; …

Git for Windows 下载与安装

当前环境&#xff1a;Windows 8.1 x64 1 打开网站 https://git-scm.com/ &#xff0c;点击 Downloads 。 2 点击 Windows 。 3 选择合适的版本&#xff0c;这里选择了 32-bit Git for Windows Portable。 4 解压下载后的 PortableGit-2.44.0-32-bit.7z.exe &#xff0c;并将 P…

2-3 任务:成绩等级评定

在编程中&#xff0c;多分支结构是控制程序流程的重要手段之一&#xff0c;它允许根据不同的条件执行不同的代码块。在处理成绩等级评定的任务时&#xff0c;我们可以看到有四种不同的多分支结构处理方式&#xff1a;并列式、嵌套式、延拓式和开关式。每种方式都有其优缺点&…

上位机开发PyQt5(一)【创建窗口、窗口标题、气泡、显示图片和图标、显示文字】

目录 一、 第一个Qt窗口 二、PyQt模块简介 三、窗口标题和气泡 setWindowTitle resize setToolTip 四、标签QLabel显示图片和图标 setPixmap setWindowIcon resize(label.pixmap().size()) 五、标签QLabel显示文字 setText QFont setPointSize setFont set…

Python —— 模块、包

一、模块和包 1. 模块module 模块是 Python 程序架构的一个核心概念。Python中模块就是一个.py文件&#xff0c;模块中可以定义函数&#xff0c;变量&#xff0c;类。模块可以被其他模块引用 1.1. 创建模块文件 创建文件&#xff1a;utils.py # 定义变量 name 张三# 定义函…

【论文阅读】ViTAE:Vision transformer advanced by exploring intrinsic inductive bias

ViTAE:Vision transformer advanced by exploring intrinsic inductive bias 论文地址摘要&#xff1a;简介&#xff1a;3 方法论3.1 重温视觉变压器3.2 ViTAE3.3 缩减单元3.4 Normal cell3.5 模型细节 4 训练4.1 Implementation details4.2 Comparison with the state-of-the-…

选择洗地机需要注意什么?六大选购技巧,亲测有效

这些年&#xff0c;洗地机行业的「卷」&#xff0c;就从来没停过&#xff01;特别是最近一两年&#xff0c;随随便便升级点啥&#xff0c;都能出个新款&#xff01;那么&#xff0c;面对种类繁多的洗地机&#xff0c;我们应该怎么去选购呢&#xff1f;今天笔者来给大家讲讲选择…

怎么通过PHP语言实现远程控制棋牌室

怎么通过PHP语言实现远程控制棋牌室呢&#xff1f; 本文描述了使用PHP语言调用HTTP接口&#xff0c;实现控制棋牌室&#xff0c;通过专用的包间控制器&#xff0c;来实现包间内所有电器以及门锁的独立控制。 可选用产品&#xff1a;可根据实际场景需求&#xff0c;选择对应的规…

穷人想要改命,是选择打工还是创业? 2024创业项目小成本!2024轻资产创业!2024风口行业!2024普通人做什么行业赚钱?

今日话题穷人想要改命&#xff0c;是选择打工还是创业&#xff1f; 改命的方式就是跳进水里&#xff0c;忍受呛水&#xff0c;学会游泳&#xff0c;这个过程越年轻实现越好&#xff0c;就像小鹰往山崖下跳&#xff0c;要么学会飞&#xff0c;要么就狠狠的被摔死。打工思维和创…

请编写函数fun,该函数的功能是:实现B=A+A‘,即把矩阵A加上A的转置,存放在矩阵B中。计算结果在main函数中输出。

本文收录于专栏:算法之翼 https://blog.csdn.net/weixin_52908342/category_10943144.html 订阅后本专栏全部文章可见。 本文含有题目的题干、解题思路、解题思路、解题代码、代码解析。本文分别包含C语言、C++、Java、Python四种语言的解法完整代码和详细的解析。 题干 请编…

回归预测 | MATLAB实现BO-BP贝叶斯优化BP神经网络多输入单输出回归预测

回归预测 | MATLAB实现BO-BP贝叶斯优化BP神经网络多输入单输出回归预测 目录 回归预测 | MATLAB实现BO-BP贝叶斯优化BP神经网络多输入单输出回归预测预测效果基本介绍程序设计参考资料预测效果 基本介绍 回归预测 | MATLAB实现BO-BP贝叶斯优化BP神经网络多输入单输出回归预测 B…

【论文阅读】互连网络的负载平衡路由算法 (GAL, Globally Adaptive Load-balancing 全局自适应负载平衡)

Globally Adaptive Load-balancing 全局自适应负载平衡 GAL: Globally Adaptive Load-balanced routing 全局自适应负载平衡路由 1. GAL on a ring2. GAL on higher dimensional torus3. 实验性能4. 算法稳定性 Stability总结 References Globally Adaptive Load-balancing 全…

node.js + @elastic/elasticsearch 操作elasticsearch数据库

我这边node.js 使用的是 koa2&#xff0c;elasticsearch是8.11.1版本 官网&#xff1a;https://www.elastic.co/guide/en/elasticsearch/client/javascript-api/current/getting-started-js.html 一、elastic/elasticsearch 连接 elasticsearch数据库 如果elasticsearch没有设…

开发模型???

开发模型??? 一:什么是需求??二:开发模型2.1:软件的生命周期2.1.1:软件生命周期 2.2:常见开发模型2.2.1:瀑布模型2.2.2:螺旋模型2.2.3:增量模型 && 迭代模型 二级目录 一级目录二级目录二级目录二级目录三级目录 一:什么是需求?? 用户需求:通常就是一句话,没有…

网络原理(qq消息发送原理)

1.网络初识 IP地址 概念&#xff1a; IP地址主要⽤于标识⽹络主机、其他⽹络设备&#xff08;如路由器&#xff09;的⽹络地址。简单说&#xff0c;IP地址⽤于定位主机的⽹络地址。 就像我们发送快递⼀样&#xff0c;需要知道对⽅的收货地址&#xff0c;快递员才能将包裹送到…

时间序列生成数据,TransformerGAN

简介&#xff1a;这个代码可以用于时间序列修复和生成。使用transformer提取单变量或者多变时间窗口的趋势分布情况。然后使用GAN生成分布类似的时间序列。 此外&#xff0c;还实现了基于prompt的数据生成&#xff0c;比如指定生成某个月份的数据、某半个月的数据、某一个星期的…

Git变更账户、查看账户

1、变更账户 &#xff08;1&#xff09;修改当前文件夹用户 git config user.name “新用户名” git config user.email “新邮箱” &#xff08;2&#xff09;修改全局git用户 git config - -global user.name “新用户名” git config - -global user.email “新邮箱”…

TensorRT模型压缩

参考链接&#xff1a; https://www.jianshu.com/p/805b76c9d229 https://blog.csdn.net/chenhaogu/article/details/132677778 基本理论 TensorRT是一个高性能的深度学习推理优化器&#xff0c;可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数…

(六)几何平均数计算 补充案例 #统计学 #CDA学习打卡

一. 两个案例 1&#xff09;几何平均数计算&#xff1a;基金年平均增长率计算 在财务、投资和银行业的问题中&#xff0c;几何平均数的应用尤为常见&#xff0c;当你任何时候想确定过去几个连续时期的平均变化率时&#xff0c;都能应用几何平均数。其他通常的应用包括物种总体…