小智物联网开发:为小智安装“机械臂“(其实就是加个舵机进行语音控制)

news2025/3/25 16:44:21

小智物联网开发:打造专属智能助手,开启智能生活新纪元

在物联网蓬勃发展的今天,小智物联网开发正引领着一股创新浪潮,为我们的生活和工作带来前所未有的便利与智能体验。今天,就让我们一起深入探索小智物联网开发的魅力所在。

项目概述

小智物联网开发是一个专注于打造智能、便捷生活体验的创新项目。它以ESP32开发板为核心,融合了先进的语音识别、人工智能以及物联网技术,旨在为用户提供一个可定制化的智能助手解决方案。通过简单的硬件搭建和软件配置,用户能够轻松实现智能家居控制、语音交互等多种功能,让科技真正融入日常生活。

基于小智当前的代码开发属于自己的小智机器人

第一步:关闭小智的自我更新机制

为了确保我们烧入的自定义代码不会被小智的自我更新机制所覆盖,我们需要先关闭其自我更新功能。具体操作是注释掉xiaozhi-esp32-main\main\application.cc中的以下代码:

	ota_.SetCheckVersionUrl(CONFIG_OTA_VERSION_URL);
    ota_.SetHeader("Device-Id", SystemInfo::GetMacAddress().c_str());
    ota_.SetHeader("Client-Id", board.GetUuid());
    ota_.SetHeader("X-Language", Lang::CODE);

    xTaskCreate([](void* arg) { // 创建检查新版本的任务
        Application* app = (Application*)arg;
        app->CheckNewVersion();
        vTaskDelete(NULL);
    }, "check_new_version", 4096 * 2, this, 1, nullptr);

完成上述操作后,重新为ESP32S3烧录版本,这样小智就不会再进行自动更新了。

第二步:添加自己的物联网设备——以添加舵机为例

为了让小智具备更多的功能,我们可以为其添加物联网设备。这里以添加舵机作为小智的手臂为例,详细说明操作步骤。

1. 创建舵机控制文件

在路径xiaozhi-esp32-main\main\iot\things下添加一个名为arm.cc的文件,其内容如下:

#include "iot/thing.h"
#include "board.h"
#include <driver/gpio.h>
#include <esp_log.h>
#include "esp_err.h"
#include "freertos/FreeRTOS.h"
#include "freertos/task.h"
#include "freertos/semphr.h"
#include "driver/mcpwm_prelude.h"

#define TAG "Arm"

#define SERVO_MIN_PULSEWIDTH_US 500  // Minimum pulse width in microsecond
#define SERVO_MAX_PULSEWIDTH_US 2500  // Maximum pulse width in microsecond
#define SERVO_MIN_DEGREE        -90   // Minimum angle
#define SERVO_MAX_DEGREE        90    // Maximum angle

#define SERVO_PULSE_GPIO             19        // GPIO connects to the PWM signal line
#define SERVO_TIMEBASE_RESOLUTION_HZ 1000000  // 1MHz, 1us per tick
#define SERVO_TIMEBASE_PERIOD        20000    // 20000 ticks, 20ms

static inline uint32_t example_angle_to_compare(int angle)
{
    return (angle - SERVO_MIN_DEGREE) * (SERVO_MAX_PULSEWIDTH_US - SERVO_MIN_PULSEWIDTH_US) / (SERVO_MAX_DEGREE - SERVO_MIN_DEGREE) + SERVO_MIN_PULSEWIDTH_US;
}

namespace iot {

// 这里仅定义 Arm 的属性和方法,不包含具体的实现
class Arm : public Thing {
private:
    bool power_ = false;
    mcpwm_cmpr_handle_t comparator = NULL;
    void example_ledc_init(void) {
        ESP_LOGI(TAG, "Create timer and operator");
        mcpwm_timer_handle_t timer = NULL;
        mcpwm_timer_config_t timer_config = {
            .group_id = 0,
            .clk_src = MCPWM_TIMER_CLK_SRC_DEFAULT,
            .resolution_hz = SERVO_TIMEBASE_RESOLUTION_HZ,
            .count_mode = MCPWM_TIMER_COUNT_MODE_UP,
            .period_ticks = SERVO_TIMEBASE_PERIOD,
        };
        ESP_ERROR_CHECK(mcpwm_new_timer(&timer_config, &timer));

        mcpwm_oper_handle_t oper = NULL;
        mcpwm_operator_config_t operator_config = {
            .group_id = 0, // operator must be in the same group to the timer
        };
        ESP_ERROR_CHECK(mcpwm_new_operator(&operator_config, &oper));

        ESP_LOGI(TAG, "Connect timer and operator");
        ESP_ERROR_CHECK(mcpwm_operator_connect_timer(oper, timer));

        ESP_LOGI(TAG, "Create comparator and generator from the operator");
        
        mcpwm_comparator_config_t comparator_config = {
            0, // intr_priority
            {true} // flags.update_cmp_on_tez
        };
        ESP_ERROR_CHECK(mcpwm_new_comparator(oper, &comparator_config, &comparator));

        mcpwm_gen_handle_t generator = NULL;
        mcpwm_generator_config_t generator_config = {
            .gen_gpio_num = SERVO_PULSE_GPIO,
        };
        ESP_ERROR_CHECK(mcpwm_new_generator(oper, &generator_config, &generator));

        // set the initial compare value, so that the servo will spin to the center position
        ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(0)));

        ESP_LOGI(TAG, "Set generator action on timer and compare event");
        // go high on counter empty
        ESP_ERROR_CHECK(mcpwm_generator_set_action_on_timer_event(generator,
                                                                MCPWM_GEN_TIMER_EVENT_ACTION(MCPWM_TIMER_DIRECTION_UP, MCPWM_TIMER_EVENT_EMPTY, MCPWM_GEN_ACTION_HIGH)));
        // go low on compare threshold
        ESP_ERROR_CHECK(mcpwm_generator_set_action_on_compare_event(generator,
                                                                    MCPWM_GEN_COMPARE_EVENT_ACTION(MCPWM_TIMER_DIRECTION_UP, comparator, MCPWM_GEN_ACTION_LOW)));

        ESP_LOGI(TAG, "Enable and start timer");
        ESP_ERROR_CHECK(mcpwm_timer_enable(timer));
        ESP_ERROR_CHECK(mcpwm_timer_start_stop(timer, MCPWM_TIMER_START_NO_STOP));
    }

public:
    Arm() : Thing("Arm", "你的手臂,可以运动"), power_(false) {
        // Set the LEDC peripheral configuration
        example_ledc_init();

        // 定义设备的属性
        properties_.AddBooleanProperty("power", "手臂是否运动", [this]() -> bool {
            return power_;
        });

        // 定义设备可以被远程执行的指令
        methods_.AddMethod("TurnOn", "手臂运用", ParameterList(), [this](const ParameterList& parameters) {
            power_ = true;
            int angle = 0;
                ESP_LOGI(TAG, "Angle of rotation: %d", angle);
                ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(angle)));
                //Add delay, since it takes time for servo to rotate, usually 200ms/60degree rotation under 5V power supply
                vTaskDelay(pdMS_TO_TICKS(500));
                angle = 20;
                ESP_LOGI(TAG, "Angle of rotation: %d", angle);
                ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(angle)));
                vTaskDelay(pdMS_TO_TICKS(500));
                angle = 40;
                ESP_LOGI(TAG, "Angle of rotation: %d", angle);
                ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(angle)));
                vTaskDelay(pdMS_TO_TICKS(500));
                angle = 60;
                ESP_LOGI(TAG, "Angle of rotation: %d", angle);
                ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(angle)));
                vTaskDelay(pdMS_TO_TICKS(500));
                angle = -60;
                ESP_LOGI(TAG, "Angle of rotation: %d", angle);
                ESP_ERROR_CHECK(mcpwm_comparator_set_compare_value(comparator, example_angle_to_compare(angle)));
        });

        methods_.AddMethod("TurnOff", "手臂返回原来的位置", ParameterList(), [this](const ParameterList& parameters) {
            power_ = false;
            // ****
        });
    }
};

} // namespace iot

DECLARE_THING(Arm);
2. 更新JSON配置文件

main\iot\sample_interface.json文件中添加舵机的相关说明:

    {
        "name": "arm",
        "description": "AI机器人的手臂",
        "properties": {
            "power": {
                "type": "boolean",
                "description": "当前手臂是否在运动"
            }
        },
        "methods": {
            "TurnOn": {
                "description": "手臂在运动"
            }
        }
    },
3. 初始化舵机设备

main\boards\bread-compact-wifi\compact_wifi_board.cc(根据自己的板子适配的文件)中的物联网初始化函数中添加舵机的初始化函数:

    // 物联网初始化,添加对 AI 可见设备
    void InitializeIot() {
        auto& thing_manager = iot::ThingManager::GetInstance();
        thing_manager.AddThing(iot::CreateThing("Speaker"));
        thing_manager.AddThing(iot::CreateThing("Lamp"));
        thing_manager.AddThing(iot::CreateThing("Arm")); // 添加物联网things中的Arm类(为新加)
    }

完成以上步骤后,重新编译工程并为小智刷入新的版本,现在你就可以通过语音指令呼唤小智动手臂了。
小智输出结果展示:

I (573923) LS_learner: ****>> start
I (573923) LS_learner: 麦克风输入>> 动一下手臂。
I (573923) LS_learner: 麦克风输入>> {
        "type": "stt",
        "text": "动一下手臂。",
        "session_id":   "b30cf390"
}
I (573943) LS_learner: STATE: speaking
I (574223) LS_learner: 物联网情况<< {
        "type": "iot",
        "commands":     [{
                        "name": "Arm",
                        "method":       "TurnOn",
                        "parameters":   {
                        }
                }],
        "session_id":   "b30cf390"
}
I (574233) LS_learner: COMMAND<< [{
                "name": "Arm",
                "method":       "TurnOn",
                "parameters":   {
                }
        }]
I (574263) Arm: Angle of rotation: 0
I (574533) LS_learner: 物联网情况<< {
        "type": "iot",
        "commands":     [{
                        "name": "Arm",
                        "method":       "TurnOff",
                        "parameters":   {
                        }
                }],
        "session_id":   "b30cf390"
}
I (574543) LS_learner: COMMAND<< [{
                "name": "Arm",
                "method":       "TurnOff",
                "parameters":   {
                }
        }]
I (574593) LS_learner: 表情输出情况<< {
        "type": "llm",
        "text": "😊",
        "emotion":      "happy",
        "session_id":   "b30cf390"
}
I (574763) Arm: Angle of rotation: 20
I (574863) LS_learner: 扬声器输出<< 好的,我动了动手臂,感觉挺好玩的!
I (574863) LS_learner: 扬声器输出<< {
        "type": "tts",
        "state":        "sentence_start",
        "text": "好的,我动了动手臂,感觉挺好玩的!",
        "session_id":   "b30cf390"
}
I (575263) Arm: Angle of rotation: 40
I (575763) Arm: Angle of rotation: 60
I (576263) Arm: Angle of rotation: -60
I (579173) LS_learner: 扬声器输出<< 你今天过得怎么样呢?
I (579173) LS_learner: 扬声器输出<< {
        "type": "tts",
        "state":        "sentence_start",
        "text": "你今天过得怎么样呢?",
        "session_id":   "b30cf390"
}
I (582033) LS_learner: ****>> stop

总结与展望

小智物联网开发以其强大的功能、开放的架构和低成本的优势,为物联网爱好者和开发者提供了一个广阔的创作平台。通过简单的硬件搭建和软件配置,我们能够轻松打造出属于自己的智能生活助手,让科技真正融入日常生活。未来,随着技术的不断进步和创新,小智物联网开发将为我们带来更多的惊喜和可能,让我们共同期待它在智能时代的精彩表现!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2320718.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Dive Into Stable Diffusion v3.5】2:Stable Diffusion v3.5原理介绍

【Dive Into Stable Diffusion v3.5】系列博文&#xff1a; 第1篇&#xff1a;开源项目正式发布——深入探索SDv3.5模型全参/LoRA/RLHF训练第2篇&#xff1a;Stable Diffusion v3.5原理介绍 目录 1 前言1.1 扩散模型的原理1.2 损失函数1.3 加噪流程1.4 推理流程1.5 negative pr…

英伟达黄仁勋2025GTC演讲深度解析:液冷GPU、AI工厂、机器人AI…...

目录 一、技术产品与架构升级&#xff1a;从芯片到算力工厂1. 新一代GPU与计算架构2. AI工厂与算力操作系统 二、AI技术演进&#xff1a;从生成式到物理AI1. AI发展的三大阶段2. 推理算力需求爆炸式增长 三、生态合作与行业落地1. CUDA生态与开源工具2. 跨行业合作案例 四、未来…

嵌入式项目:利用心知天气获取天气数据实验方案

【实验目的】 1、利用心知天气服务器获取指定位置天气数据 2、将天气数据解析并可视化显示到OLED屏幕 【实验原理】 【实验步骤】 官网注册

Ubuntu下用QEMU模拟运行OpenBMC

1、前言 在调试过程中&#xff0c;安装了很多依赖库&#xff0c;具体没有记录。关于kvm&#xff0c;也没理清具体有什么作用。本文仅记录&#xff0c;用QEMU成功的将OpenBMC跑起来的过程&#xff0c;做备忘&#xff0c;也供大家参考。 2、环境信息 VMware Workstation 15 Pro…

专题|Python贝叶斯网络BN动态推理因果建模:MLE/Bayes、有向无环图DAG可视化分析呼吸疾病、汽车效能数据2实例合集

原文链接&#xff1a;https://tecdat.cn/?p41199 作为数据科学家&#xff0c;我们始终在探索能够有效处理复杂系统不确定性的建模工具。本专题合集系统性地解构了贝叶斯网络&#xff08;BN&#xff09;这一概率图模型在当代数据分析中的创新应用&#xff0c;通过开源工具bnlea…

Java单例模式中的饿汉模式和懒汉模式

Java单例模式中的饿汉模式和懒汉模式 一、单例模式的显著特点单一实例全局访问 二、饿汉模式&#xff1a;急切的实例创建者三、懒汉模式&#xff1a;延迟的实例构建者1. 不考虑线程安全的初始版本2. 引入同步机制解决线程安全问题3. 优化性能&#xff1a;避免重复进入同步块4. …

理解操作系统(一)冯诺依曼结构和什么是操作系统

认识冯诺依曼系统 操作系统概念与定位 深⼊理解进程概念&#xff0c;了解PCB 学习进程状态&#xff0c;学会创建进程&#xff0c;掌握僵⼫进程和孤⼉进程&#xff0c;及其形成原因和危害 1. 冯诺依曼体系结构 我们常⻅的计算机&#xff0c;如笔记本。我们不常⻅的计算机&am…

Git的认识安装及创建配置本地仓库

目录 Git的作用安装Git创建Git仓库配置本地仓库git config user.name/email(添加配置)以及git config --unset.name/email(删除配置)git config --global user.name/email以及git config --global --unset user.name/email(name和email适用于当前机器的所有Git仓库中) 感谢各位…

【el-upload】el-upload组件 - list-type=“picture“ 时,文件预览展示优化

目录 问题图el-upload预览组件 PicturePreview效果展示 问题图 el-upload <el-uploadref"upload"multipledragaction"#":auto-upload"false":file-list"fileList"name"files":accept".png,.jpg,.jpeg,.JGP,.JPEG,.…

Uthana,AI 3D角色动画生成平台

Uthana是什么 Uthana 是专注于3D角色动画生成的AI平台。平台基于简单的文字描述、参考视频或动作库搜索&#xff0c;快速为用户生成逼真的动画&#xff0c;支持适配任何骨骼结构的模型。Uthana 提供风格迁移、API集成和定制模型训练等功能&#xff0c;满足不同用户需求。平台提…

面试常问系列(二)-神经网络参数初始化之自注意力机制

目录 &#xff08;一&#xff09;、transformer中的自注意力机制为什么要除以根号d&#xff1f; 1. 点积的方差问题 2. 缩放的作用 3. 类比初始化方法 4. 实验验证 5.总结 &#xff08;一&#xff09;、transformer中的自注意力机制为什么要除以根号d&#xff1f; 在Tra…

Linux冯诺依曼体系与计算机系统架构认知(8)

文章目录 前言一、冯诺依曼体系冯•诺依曼体系结构推导内存提高冯•诺依曼体系结构效率的方法你用QQ和朋友聊天时数据的流动过程与冯•诺依曼体系结构相关的一些知识 二、计算机层次结构分析操作系统(Operator System)驱动层的作用与意义系统调用接口(system call)用户操作接口…

LLM之RAG理论(十四)| RAG 最佳实践

RAG 的过程很复杂&#xff0c;包含许多组成部分。我们如何确定现有的 RAG 方法及其最佳组合&#xff0c;以确定最佳 RAG 实践&#xff1f; 论文 《Searching for Best Practices in Retrieval-Augmented Generation》给出了回答。 本文将从以下三方面进行介绍&#xff1a; 首先…

[RoarCTF 2019]Easy Calc-3.23BUUCTF练习day5(2)

[RoarCTF 2019]Easy Calc-3.23BUUCTF练习day5(2) 解题过程 查看源码 发现calc.php页面&#xff0c;访问一下 分析代码 首先获取$_GET[num]的值并赋给变量$str。然后定义了一个黑名单数组$blacklist&#xff0c;包含了一系列被禁止的字符或转义字符&#xff0c;如空格、制表…

hadoop集群配置-ssh无密登录

1.ssh-keygen -t rsa 2.ssh-copy-id hadoop1 3.ssh roothadoop1 退出 exit

MinGW与使用VScode写C语言适配

压缩包 通过网盘分享的文件&#xff1a;MinGW.zip 链接: https://pan.baidu.com/s/1QB-Zkuk2lCIZuVSHc-5T6A 提取码: 2c2q 需要下载的插件 1.翻译 找到VScode页面&#xff0c;从上数第4个&#xff0c;点击扩展&#xff08;以下通此&#xff09; 搜索---Chinese--点击---安装--o…

openharmony中hilog实证记录说明(3.1和5.0版本)

每次用这个工具hilog都有一些小用法记不清&#xff0c;需要花一些时间去查去分析使用方法&#xff0c;为了给丰富多彩的生活留出更多的时间&#xff0c;所以汇总整理共享来了&#xff0c;它来了它来了~~~~~~~~~ 开始是想通过3.1来汇总的&#xff0c;但实际测试发现openharmony…

算法刷题整理合集(七)·【算法赛】

本篇博客旨在记录自已的算法刷题练习成长&#xff0c;里面注有详细的代码注释以及和个人的思路想法&#xff0c;希望可以给同道之人些许帮助。本人也是算法小白&#xff0c;水平有限&#xff0c;如果文章中有什么错误或遗漏之处&#xff0c;望各位可以在评论区指正出来&#xf…

Android Studio控制台中文乱码解决方案

前些天发现了一个蛮有意思的人工智能学习网站,8个字形容一下"通俗易懂&#xff0c;风趣幽默"&#xff0c;感觉非常有意思,忍不住分享一下给大家。 &#x1f449;点击跳转到教程 前言&#xff1a; 在项目调试过程中&#xff0c;用华为手机调试控制台没任何问题&#x…

Cherry Studio搭建本地知识库,结合DeepSeek实现RAG

Cherry Studio搭建本地知识库&#xff0c;结合DeepSeek实现RAG CherryStudioCherryStudio 简介环境准备 模型配置本地知识创建1、新建知识库2、添加文件3、添加网址或者网站4、搜索知识库 结合DeepSeek实现RAG1、选择知识库2、进行提问 常见问题与解决方案 CherryStudio Cherr…