聆思CSK6大模型语音视觉开发板接入AIUI技能实操（控制风扇开关）

前言

本文以大模型语音控制灯的开关为例,讲解如何通过LSPlatform的云端编排功能在大模型语音交互流程中加入AIUI技能，实现更丰富的产品功能。

大模型语音模板加入AIUI技能节点后的数据流程如下图所示：

大模型语音控制AIUI之风扇

硬件准备工作

聆思CSK6大模型开发板
风扇

注意事项：

开发板引脚电压电流有限，风扇必须单独外接电池或电源进行供电
使用续流二极管提供一条低阻抗路径，使电流能够继续流动并保护其他元器件和电路免受反向电压冲击和电感储能释放的影响。

连接方式：从续流二极管引出两根导线一根接GND(地线），一根接用于上下电的GPIO接口来模拟风扇的开关。本例中使用的GPIO接口为PA2（扩展GPIOA2)

聆思CSK6大模型开发板端侧新增风扇控制配置

准备工作

部署开发环境以及SDK工程拉取到本地目录，可以参考聆思文档中心环境搭建 | 聆思文档中心与获取大模型套件SDK | 聆思文档中心。SDK下载完成后，通过VScode打开LLM-pic示例模板（D:\LISTENAI\duomotai_ap\apps\LLM-pic）根据自己的SDK保存路径打开

然后打开LLM-pic目录下的src\app_chat\app_music_ctrl.c文件

代码修改

开发板使用的是zepher-RTOS系统，SDK已经包含了控制意图，因此代码只需要修改两个地方：

新增用于控制风扇的gpio引脚，使用扩展IO芯片的pa2引脚，文件路径在LLM-pic\boards\csk6_duomotai_devkit.overlay
增加控制风扇意图的逻辑代码流程，文件路径： LLM-pic\src\app_chat\app_music_ctrl.c

1.在设备树中新增用于控制风扇的gpio引脚（扩展IOa2）

点击LLM-pic\boards\csk6_duomotai_devkit.overlay

在图中对应位置分别增加

fan-ctrl = &fan_ctrl;

  fan_ctrl: fan_ctrl {
          gpios = <&exgpioa 2 GPIO_ACTIVE_HIGH>;
};

2.src\app_chat\app_music_ctrl.c目录下

在图中对应位置分别增加头文件与宏定义

#include <zephyr/drivers/gpio.h>

#define GPIOA_2_NODE  DT_ALIAS(fan_ctrl)
static const struct gpio_dt_spec gpioa2=GPIO_DT_SPEC_GET(GPIOA_2_NODE, gpios);

3.在图中位置新增定义fan_ret函数

int fan_ret;
	app_chat_evt_msg_t msg;
		if (!gpio_is_ready_dt(&gpioa2)) {
		return 0;
	}
	fan_ret = gpio_pin_configure_dt(&gpioa2, GPIO_OUTPUT_ACTIVE);
	if (fan_ret < 0) {
		return 0;
	}
	LOG_INF("Mumu------app_player_ctrl_thread");

4.在图中AIUI意图控制下新增风扇控制的指令意图

 } else if (!strcmp(aiui_ctrl_strings, "1")) {//打开风扇
				LOG_INF("-----------------------------Open fan!");
				fan_ret=gpio_pin_set_dt(&gpioa2, 1);
			
} else if (!strcmp(aiui_ctrl_strings, "0")) { //关闭风扇
			   LOG_INF("-----------------------------Close fan!");
             fan_ret=gpio_pin_set_dt(&gpioa2, 0);

5.(可选）我们如果想要从日志判断云端是否下发到端侧，可以在duomotai_ap\.sdk\modules\lschat\sessions\session_core.c

图中所示位置新增日志打印解析到云端cjson的数据模板函数

	LISA_NLOGI("--- %s", cJSON_Print(intent));

新增日志打印之后的效果：

与云端对应，说明端侧成功解析到云端cjson。

AIUI.control的cjson拆包逻辑可以看这部分

至此，端侧配置完成。

编译与烧录

打开 windows powershell/cmd

2、在LISTENAI\duomotai_ap路径下输入，开始编译固件

lisa zep build -b csk6_duomotai_devkit apps\LLM-pic -p

3、固件编译成功之后，输入进行烧录

lisa zep exec cskburn -s \\.\COM串口号 -C 6 -b 1500000 0x000000 --verify-all .\build\zephyr\zephyr.bin

大模型语音接入AIUI实现风扇控制功能的云端配置

创建应用

登录LSplatform，创建新应用

创建成功后在弹出的界面进入应用编排服务

示例工程文件下载地址：大模型语音控制风扇

点击之后选择”导入节点文件”，导入下载的”大模型语音控制风扇.json“示例工程文件

示例工程讲解

本示例用的模板为“大模型语音交互与识图示例”

该流程实现了图生文、文生图、风扇控制、知识库问答、兜底闲聊等功能。

具体流程如下

流程解析如下：

首先根据最近3轮历史对话判断用户在图生文对话中，若存在则继续图生文对话，调用大模型进行图片理解并下发流式TTS和流式文本。
若最近3轮对话没有包含图生文对话内容，则走大模型意图落域，判断用户是否想要进行“画画”，若落域结果为“画画”，则走文生图的逻辑，包括生成用户期望的图片以及TTS合成等
我们新增了一条意图，为风扇控制，若用户意图为风扇控制，则走AIUI控制的逻辑，端侧增加nlp帧，若命中AIUI技能，则成功下发指令，反之则失败。
若用户的意图不是画画，也不是风扇控制。则调用知识点检索，若存在知识点，则调用大模型进行知识点的回复，包括流式TTS和流式文本下发。
若用户的意图不是画画，也不是风扇控制，且调用知识点检索也没有结果，则调用大模型进行兜底闲聊回复，包括流式TTS和流式文本下发。