[Vision Board创客营]--使用openmv识别阿尼亚

news2024/11/17 10:01:14

文章目录

[Vision Board创客营]使用openmv识别阿尼亚
- 介绍
- 环境搭建
- 训练模型
- - 上传图片
  - 生成模型
- 使用
- 结语

[Vision Board创客营]使用openmv识别阿尼亚

🚀🚀五一和女朋友去看了《间谍过家家代号：白》，入坑二刺螈（QQ头像也换阿尼亚了😄 😆 😊 😃），刚好不知道做什么项目来交作业，突然想到可以做一个阿尼亚识别器，于是有了这篇文章。

🚀🚀水平较菜，大佬轻喷。😰😰😰

介绍

🚀🚀Vision-Board 开发板是 RT-Thread 推出基于瑞萨 Cortex-M85 架构 RA8D1 芯片，为工程师们提供了一个灵活、全面的开发平台，助力开发者在机器视觉领域获得更深层次的体验。

🚀🚀Vision Board搭载全球首颗 480 MHz Arm Cortex-M85芯片，拥有Helium和TrustZone技术的加持。SDK包里集成了OpenMV机器视觉例程，配合MicroPython 解释器，使其可以流畅地开发机器视觉应用。

环境搭建

🚀🚀环境搭建可以查看这个Vision Board 环境搭建文档(https://docs.qq.com/doc/DY2hkbVdiSGV1S3JM)，特别需要注意的就是，版本一定要新，我使用之前老版的RASC是不行的，如果开发过程中遇到奇奇怪怪的问题，可以首先检查自己版本的问题。

🚀🚀我们使用openmv只需要烧录官方的openmv demo就好了，官方视频教程以及文档已经很详细了，我就不重复介绍了，只需要把demo烧录进来就好了。

训练模型

🚀🚀训练模型我们使用的是edge impulse （https://studio.edgeimpulse.com/），首先准备大量的阿尼亚图片作为数据集，这里我测试的时候只选了11张，肯定是太少了，大家可以多几张，这样效果会更准确，识别精度更高，我这里只是测试学习用的，大家请勿模仿。

在这里插入图片描述

🚀🚀然后我们还需要准备一份其他的图片用来训练，因为训练模型必须两类及以上，这里我选择了几张花园宝宝的图片（就不一一展示了），大家可以自己更换其他的：

在这里插入图片描述

🚀🚀之后我们进入edge impulse，进行简单的设置，选择One label per data item（每个数据项一个标签）以及M7，然后就可以上传图片进行训练了。

在这里插入图片描述

上传图片

🚀🚀选择图片进行上传，我们先上传阿尼亚的图片。

🚀🚀这个地方注意，如果上传失败，大概率网络问题，要关闭加速器（神奇，我特地开的加速器😰）。

在这里插入图片描述

🚀🚀再上传其他的，如下所示：

在这里插入图片描述

生成模型

🚀🚀之后就到impulse design里面训练模型，差不多一直默认就好，比较简单。

在这里插入图片描述

🚀🚀训练结束就好了，然后直接生成模型。

在这里插入图片描述

🚀🚀就会有一个压缩包下载，我们打开压缩包就能发现模型，到这里，训练模型部分就结束了。

在这里插入图片描述

使用

🚀🚀然后我们把labels.txt和trained.tflite放入openmv的SD里面去，同时需要新建一个captures文件夹用来存放图片，复制py文件到openmv IDE 里面去，就可以直接运行了，这里我对自动生成的程序做了一点修改，加上了LED灯，拍摄以及红框，结果如下（简陋的代码，甚至没封装，太懒了😭😭😭）：

# This work is licensed under the MIT license.
# Copyright (c) 2013-2023 OpenMV LLC. All rights reserved.
# https://github.com/openmv/openmv/blob/master/LICENSE
#
# Hello World Example
#
# Welcome to the OpenMV IDE! Click on the green run arrow button below to run the script!

import sensor, image, time, os, tf, uos, gc
from machine import LED


sensor.reset()                         # Reset and initialize the sensor.
sensor.set_pixformat(sensor.RGB565)    # Set pixel format to RGB565 (or GRAYSCALE)
sensor.set_framesize(sensor.QVGA)      # Set frame size to QVGA (320x240)
sensor.set_windowing((240, 240))       # Set 240x240 window.
sensor.skip_frames(time=2000)          # Let the camera adjust.

net = None
labels = None
led = LED("LED_BLUE")

try:
    # load the model, alloc the model file on the heap if we have at least 64K free after loading
    net = tf.load("trained.tflite", load_to_fb=uos.stat('trained.tflite')[6] > (gc.mem_free() - (64*1024)))
except Exception as e:
    print(e)
    raise Exception('Failed to load "trained.tflite", did you copy the .tflite and labels.txt file onto the mass-storage device? (' + str(e) + ')')

try:
    labels = [line.rstrip('\n') for line in open("labels.txt")]
except Exception as e:
    raise Exception('Failed to load "labels.txt", did you copy the .tflite and labels.txt file onto the mass-storage device? (' + str(e) + ')')

clock = time.clock()

last_capture_time = time.time()
while(True):
    clock.tick()

    img = sensor.snapshot()

    for obj in net.classify(img, min_scale=1.0, scale_mul=0.8, x_overlap=0.5, y_overlap=0.5):


        img.draw_rectangle(obj.rect())
        # This combines the labels and confidence values into a list of tuples
        predictions_list = list(zip(labels, obj.output()))

        x1, y1, w1, h1 = obj.rect()

        margin = 10  # 设置一个边距，避免紧贴头像边缘
        x1 += margin
        y1 += margin
        w1 -= margin * 2
        h1 -= margin * 2

    if (predictions_list[0][1] > 0.95):
        img.draw_rectangle((x1, y1, w1, h1), color=(255, 0, 0))  # 在检测到的对象周围绘制红色矩形框
        led.on()
        print("Anya")
        print("********")

        if time.time() - last_capture_time >= 2:  # 检查距离上次拍照是否已经超过两秒
            img.save("/captures/Anya_capture_%s.jpg" % str(time.time()))  # 使用时间戳作为文件名保存图片
            last_capture_time = time.time()  # 更新上次拍照时间
            print("Shooting a photo of Anya was successful")
    else:
        led.off()
        print("Other")
        print("********")