一步一步学OAK之三:实现RGB相机场景切换

news2024/11/25 13:23:53

目录

  • Setup 1: 创建文件
  • Setup 2: 安装依赖
  • Setup 3: 导入需要的包
  • Setup 4: 遍历所有场景模式和特效模式
  • Setup 5: 创建pipeline
  • Setup 6: 创建节点
  • Setup 7: 连接设备并启动管道
  • Setup 8: 创建与DepthAI设备通信的输入队列和输出队列
  • Setup 9: 定义putText函数
  • Setup 10: 主循环
    • 获取视频帧
    • 等待用户按键输入
  • Setup 11:运行程序

Setup 1: 创建文件

  • 创建新建3-rgb-scene文件夹
  • 用vscode打开该文件夹
  • 新建一个main.py 文件

Setup 2: 安装依赖

安装依赖前需要先创建和激活虚拟环境,我这里已经创建了虚拟环境OAKenv,在终端中输入cd…退回到OAKenv的根目录,输入 OAKenv\Scripts\activate激活虚拟环境

安装pip依赖项:

pip install numpy opencv-python depthai blobconverter --user

Setup 3: 导入需要的包

在main.py中导入项目需要的包

import cv2
import depthai as dai
from itertools import cycle

Setup 4: 遍历所有场景模式和特效模式

scenes = cycle([item for name,item in vars(dai.RawCameraControl.SceneMode).items() if name !="UNSUPPORTED" and name.isupper()])
effects = cycle([item for name,item in vars(dai.RawCameraControl.EffectMode).items() if name.isupper()])

curr_scene = "OFF"
curr_effect = "OFF"

这段代码创建了两个无限循环的迭代器sceneseffects,用于循环遍历dai.RawCameraControl.SceneModedai.RawCameraControl.EffectMode中的所有场景模式和特效模式。

scenes迭代器通过从dai.RawCameraControl.SceneMode中选择大写名称的项,并排除UNSUPPORTED和非大写字母的项来创建。这样可以获取到所有合法的场景模式。

effects迭代器通过从dai.RawCameraControl.EffectMode中选择大写名称的项来创建,也排除了非大写字母的项。

curr_scenecurr_effect是当前选择的场景和特效模式,默认为"OFF"。

这段代码的作用是创建了用于循环遍历场景模式和特效模式的迭代器,并初始化当前选择的场景和特效模式为"OFF"。

Setup 5: 创建pipeline

pipeline = dai.Pipeline()

Setup 6: 创建节点

camRgb = pipeline.create(dai.node.ColorCamera)
camRgb.setIspScale(1,3)

xoutRgb = pipeline.create(dai.node.XLinkOut)
xoutRgb.setStreamName("video")
camRgb.video.link(xoutRgb.input)

camRgb.setIspScale(1,3)将ISP(图像信号处理)的缩放比例设置为1:3。这意味着从摄像头读取到的图像将会在宽度上保持原始大小,而高度会缩小为原来的1/3。

创建了一个xoutRgb节点,并设置了该节点对应的输出流名称为"video"。xoutRgb节点将会作为管道的输出节点,用于将视频流传输到其他设备或模块。

通过camRgb.video.link(xoutRgb.input)将颜色摄像头节点的视频输出链接到xoutRgb节点的输入。这样就建立了颜色摄像头节点到xoutRgb节点的数据流连接。

camControlIn = pipeline.create(dai.node.XLinkIn)
camControlIn.setStreamName("camControl")
camControlIn.out.link(camRgb.inputControl)

创建一个camControlIn节点,它代表了XLinkIn节点,用于接收来自其他设备或模块的相机控制指令。

使用camControlIn.setStreamName("camControl")设置了它的流名称为"camControl"。

通过camControlIn.out.link(camRgb.inputControl)camControlIn节点的输出连接到camRgb节点的输入控制引脚(inputControl)上。这样,通过XLinkIn节点可以接收来自其他设备或模块的相机控制指令,并将其传递给颜色摄像头节点。

Setup 7: 连接设备并启动管道

with dai.Device(pipeline) as device:

Setup 8: 创建与DepthAI设备通信的输入队列和输出队列

    videoQ = device.getOutputQueue(name="video", maxSize=4, blocking=False)
    ctrlQ = device.getInputQueue(name="camControl")

创建了两个队列对象:videoQctrlQ。这些队列用于在设备上接收和发送数据。

videoQ是一个输出队列,通过调用device.getOutputQueue(name="video", maxSize=4, blocking=False)来创建。它将从设备上的"video"流接收数据,并最多存储4个数据帧。blocking=False表示在队列为空时,从队列获取数据时不会阻塞。

ctrlQ是一个输入队列,通过调用device.getInputQueue(name="camControl")来创建。它用于发送相机控制指令到设备上的相机控制节点。这里的"name"参数与之前设置的相机控制流名称"camControl"对应。

Setup 9: 定义putText函数

    def putText(frame, text, coords):
        cv2.putText(frame, text, coords, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 0), 4)
        cv2.putText(frame, text, coords, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1)

定义了一个putText函数,它将在图像帧上绘制文本。

函数接受三个参数:

  • frame:要绘制文本的图像帧。
  • text:要绘制的文本内容。
  • coords:文本的起始坐标。

在函数内部,使用cv2.putText函数两次进行文本绘制:

  • 第一次调用用于绘制黑色的文本,具有较大的轮廓(thickness=4),用于创建阴影效果。使用cv2.FONT_HERSHEY_SIMPLEX指定字体,0.5指定字体比例因子,(0, 0, 0)指定文本颜色(黑色)以及thickness=4指定较大的轮廓宽度。
  • 第二次调用用于绘制白色的文本,具有较小的轮廓(thickness=1),用于绘制文本内容。使用相同的参数,但将文本颜色设置为(255, 255, 255)(白色)以及thickness=1指定较小的轮廓宽度。

这样,函数将在图像帧的指定坐标上绘制带有阴影效果的文本。

Setup 10: 主循环

    while True:

获取视频帧

 		videoIn = videoQ.tryGet()
        if videoIn is not None:
            frame = videoIn.getCvFrame()
            putText(frame, f"[E] Effect: {curr_effect}", (10, 20))
            putText(frame, f"[S] Scene: {curr_scene}", (10, 40))
            cv2.imshow("video", frame)

这段代码从输出队列videoQ中获取一个视频帧。

首先,使用videoQ.tryGet()方法尝试获取一个视频帧。如果成功获取到视频帧,则将其赋值给videoIn变量。

然后,使用getCvFrame()方法从视频帧对象videoIn中获取OpenCV格式的图像帧,并将其赋值给frame变量。

接下来,使用putText()函数在图像帧上绘制文本。其中,使用f-string将当前特效(curr_effect)和场景(curr_scene)的值转换为字符串,并绘制在图像上。

最后,使用cv2.imshow("video", frame)显示图像帧,窗口标题为"video"。

这段代码的作用是从输出队列中获取视频帧,并在图像帧上绘制当前特效和场景的文本,最后在窗口中显示图像。

f-string是Python中格式化字符串的一种方式。它允许在字符串中插入变量或表达式的值。

一个f-string的格式为:在字符串前加上字母"f",然后用花括号{}括起需要插入的变量或表达式。

例如,f"[E] Effect: {curr_effect}"中的花括号内的curr_effect表示要插入的变量,而整个字符串中的"[E] Effect: "是固定的文本部分。

当这个f-string被执行时,curr_effect的值会被插入到相应位置来替代花括号内的部分。

这样可以方便地将变量的值插入到字符串中,以构建带有动态内容的文本。在给图像帧添加文本时,可以使用f-string将变量的值插入到文本中来实现动态文本。

等待用户按键输入

		key = cv2.waitKey(1)
        if key == ord('e') or key == ord('E'):
            effect = next(effects)
            print("Switching colorCamera effect:", str(effect))
            curr_effect = str(effect).lstrip("EffectMode.")
            cfg = dai.CameraControl()
            cfg.setEffectMode(effect)
            ctrlQ.send(cfg)
        # Scene currently doesn't work
        elif key == ord('s') or key == ord('S'):
            scene = next(scenes)
            print("Currently doesn't work! Switching colorCamera Scene:", str(scene))
            curr_scene = str(scene).lstrip("SceneMode.")
            cfg = dai.CameraControl()
            cfg.setSceneMode(scene)
            ctrlQ.send(cfg)
        elif key == ord('q'):
            break

这段代码中,cv2.waitKey(1)用于等待用户按键输入,并返回按下键的ASCII码。

使用if语句判断用户按下的键。如果按下键是字母 ‘e’ 或 ‘E’,则执行以下代码块:

  1. 调用next(effects)effects迭代器中获取下一个特效。
  2. 打印信息以指示切换特效,并将特效转换为字符串并去除前缀"EffectMode."。
  3. 创建一个dai.CameraControl()对象,并使用setEffectMode()方法设置特效模式为获取到的特效。
  4. 将配置对象cfg通过控制队列ctrlQ发送出去。

如果按下的键是字母 ‘s’ 或 ‘S’,则执行以下代码块:

  1. 调用next(scenes)scenes迭代器中获取下一个场景。
  2. 打印信息以指示切换场景,并将场景转换为字符串并去除前缀"SceneMode."。
  3. 创建一个dai.CameraControl()对象,并使用setSceneMode()方法设置场景模式为获取到的场景。
  4. 将配置对象cfg通过控制队列ctrlQ发送出去。

如果按下的键是字母 ‘q’,则跳出循环,结束程序的运行。

这段代码的作用是根据用户按键的不同来切换特效、场景,或者结束程序的运行。

Setup 11:运行程序

在终端中输入如下指令运行程序


python main.py

效果如下
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/701599.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot3【① 快速入门 示例+基本框架】

SpringBoot3-特性介绍和快速入门 1、简介 1. 前置知识 Java17Spring、SpringMVC、MyBatisMaven、IDEA 2. 环境要求 环境&工具版本(or later)SpringBoot3.0.5IDEA2021.2.1Java17Maven3.5Tomcat10.0Servlet5.0GraalVMCommunity 22.3Native Build …

2-NumPy如何使用?【视频版】

目录 问题视频解答 问题 视频解答 点击观看: 2-NumPy如何使用?

TypeScript学习(一):快速入门

文章目录 一、TypeScript 简介1、TypeScript 是什么?2、TypeScript 与 JavaScript 的区别3、JavaScript 的缺点4、为什么使用 TypeScript 二、TypeScript 开发环境搭建1、下载Node.js2、安装Node.js3、使用npm全局安装TypeScript4、创建一个ts文件5、使用tsc对ts文件…

ubuntu无法打开edge

vim /usr/bin/microsoft-edge在最后加上 --user-data-dir --no-sandbox

git常用命令之config

14. config 14.1 查看 config 命令作用git config --local -l查看仓库级别git 配置信息git config --global -l查看全局级别git 配置信息git config --system -l查看系统级别git 配置信息git config -l查看所有级别配置信息git config --local --list --show-origingit confi…

【STM32】基于stm32的阿里云智能家居

摘 要 智能家居是一种通过物联网将家里的各种电器设备连接在一起,并由中心控制器统一管理的信息系统。系统的核心是各类家居信息的采集与处理。阿里云能够提供云端的数据存储和分析功能,可以作为智能家居中心控制器的重要平台。 本文主要研究了基于阿里云…

看点小程序是什么,怎么搭建与开发?

看点小程序是做什么的,比如一些短视频剪辑博主,剪辑好的视频直接发布,是没有收益的。于是他们把最后一段视频传到看点小程序上。用户进小程序,看广告来看最后一段。因为看点小程序是可以对接流量主的。 对接流量主方法,在字节小程序开通流量主,把广告id填在后台 填好…

2022(一等奖)C23“城轨促交融,慢行赋新机”—TOD模式下城市慢行接驳与碳减排辅助出行系统

作品介绍 一、需求分析 1.1设计背景 “双碳”战略倡导绿色、环保、低碳的生活方式。加快降低碳排放步伐,有利于引导绿色技术创新,提高产业和经济的全球竞争力。碳中和目标对交通运输领域的可持续发展也提出重要要求。随着城市化的快速推进,…

89C52RC普中单片机-3

1.LCD1602调试工具 main.c #include<regx52.h> #include "lcd1602.h" void main() {lcd1602_init();//LCD1602初始化();while(1){lcd1602_show_string(0,0,"helloworld");lcd1602_show_string(1,1,"123456.0");} } lcd1602.c #include …

单片机-定时器时钟

89C52RC 1.定时器0&#xff0c;lcd1602显示时间。 main.c #include<regx52.h> #include "Timer0.h" #include "lcd1602.h" #include "Delay.h"unsigned char sec55,min40,hour17; void main() { //lcd1602锟酵讹拷时锟斤拷锟斤拷始锟斤拷…

ood解题思路----实物类面向对象

实物类 下面以vending machine为例 5C Clarify What 输入输出是什么&#xff1f;大小是否有限制&#xff1f; 无What items does this vending machine sell? coke、sprite、mountain dewWhat to do when an item sold out?What are the supposed payment methods? 可以使…

89C52RC普中单片机

1.静态数码管显示 数组函数 #include<regx52.h> void Delay(unsigned int xms);//带参延时函数ms /*静态数码管 P0&#xff1a;表示数码管的abcdefg dp P2.234表示位选 P21110 0011是第0号数码管 */ unsigned char NixieTable[]{0x3f,0x06,0x5b,0x4f,0x66,0x6d,0x7d,0x…

Arduino Proteus仿真出租车计价器起步价白天黑夜区分LCD1602光电测速-0047

Arduino Proteus仿真出租车计价器起步价白天黑夜区分LCD1602光电测速-0047 Proteus仿真小实验&#xff1a; Arduino Proteus仿真出租车计价器起步价白天黑夜区分LCD1602光电测速-0047 功能&#xff1a; 硬件组成&#xff1a;ARDUINO 开发板、 LCD1602 、信号发生器、多个电…

CVE-2022-31325

文章目录 CVE-2022-30887一、漏洞介绍二、渗透步骤1、打开网站2、查找注入点3、截取数据包4、SQL注入&#xff08;1&#xff09;、探测数据库&#xff08;2&#xff09;、探测数据表&#xff08;3&#xff09;、探测列名&#xff08;4&#xff09;、查看flag值 CVE-2022-30887 …

Modbus协议在TCP/IP上的运用

文章目录 1 Modbus规约2 Modbus TCP/IP2.1 概要2.2 0x01读线圈2.3 0x03读保持寄存器2.4 0x05写单个寄存器2.5 0x06写单个寄存器2.6 0x10写多个寄存器 3 实例&#xff08;ADU&#xff09; 1 Modbus规约 Modbus规约是典型的一问一答的通信规约&#xff0c;支持多种电气接口&#…

android checkBox的使用

一、前言&#xff1a;之前工作中遇到的checkbox的使用是左边一个复选框&#xff0c;右边一个text。系统学完之后发现那样做的话有点别扭&#xff0c;还是中规中矩的舒坦。记录一下学习经过。 二、代码展示&#xff1a; 1.使用系统自带的checkbox插件。 创建一个CheckBoxActiv…

【Spring -02学习】

Spring 笔记记录 1. spring整合mybatis 注解开发2. spring整合junit3. IOC底层核心原理3.1 层次结构3.2 组件扫描器3.3 自定义导入器3.4 自定义注册器3.5 bean初始化过程解析 4.AOP配置4.1 AOP核心概念4.2 AOP入门案例4.2.1 XML方式4.2.2 注解方式 4. 3 切入点的三种形式4.4 五…

基于Python爬虫+K-means机器学习算法今日热点新闻推荐系统——热点推荐、热词呈现及个性化分析(含全部工程源码)

目录 前言总体设计系统整体结构图系统流程图 运行环境Python 环境Pycharm 环境相关库下载 模块实现1. 数据爬取2. 新闻处理与聚类3. 新闻推荐 系统测试1. 数据准备2. 文本聚类3. 热点新闻推荐 工程源代码下载其它资料下载 前言 本项目基于网络爬虫技术&#xff0c;用于爬取新闻…

01-创建项目-工具使用备忘录

创建项目 Keil5 &#xff08;编写程序工具&#xff09;生成输出hex文件 STC-ISP &#xff08;下载程序辅助工具&#xff09;辅助功能生成代码下载程序到单片机中运行 Keil5 &#xff08;编写程序工具&#xff09; 创建项目 创建好目录文件夹 选择对应芯片型号 不用自动生成启…

VMware虚拟机迁移到阿里云

1. 前言 最近公司内部研发部门有几台jenkins build机器运行在VMware平台上面&#xff0c;由于本地VMware平台底层计算资源不足导致虚拟机运行速度特别慢&#xff0c;每次版本发布都要build好久&#xff0c;而且VMware有时候计算资源不足&#xff0c;还会自动给占用资源大的机器…