基于大模型的智慧零售教育科研平台——技术方案

news2024/11/25 11:27:28

一、概述

1.1背景

        随着数字经济的快速发展和全社会数字化水平的升级,人工智能的积极作用越来越凸显,人工智能与各个行业的深度融合已成为促进传统产业转型升级的重要方式之一。ChatGPT的出现掀起了又一波人工智能发展热潮,人工智能行业发展势头强劲,市场规模持续上升,正逐步进入效率化生产阶段,为用户带来了更加个性化的服务和产品

        近年来,中国人工智能行业受到各级政府的高度重视和国家产业政策的重点支持,国家陆续出台了多项政策,鼓励人工智能行业发展与创新,《关于支持建设新一代人工智能示范应用场景的通知》《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》《新型数据中心发展三年行动计划(2021-2023年)》等产业政策为我国人工智能产业发展提供了长期保障。而人工智能结合机器人,成为产业发展风向标,使机器人具有“智慧”,服务日常生活,成为机器人产业发展的流行趋势。

        2023年1月《“机器人+”应用行动实施方案》指出,当前,机器人产业蓬勃发展,正极大改变着人类生产和生活方式,为经济社会发展注入强劲动能。预计到2025年,制造业机器人密度较2020年实现翻番,服务机器人、特种机器人行业应用深度和广度显著提升,机器人促进经济社会高质量发展的能力明显增强。

        在智慧零售领域,大模型技术具有数据处理能力强、预测准确度高、智能化水平高等显著优势。通过构建庞大的数据集和复杂的算法模型,大模型能够实现对市场趋势的准确预测以及商品库存的智能管理,同时能够根据消费者的购物历史和偏好,提供定制化的购物体验,从而提高销售额和顾客满意度。

1.2简介

        以大模型技术与机器人技术在“智慧零售”这一垂直领域应用的实际需求为应用背景,模拟在无人零售店等新型零售模式场景中,大模型通过分析消费者行为数据,提供个性化的商品推荐;通过图生文技术和自然语言处理技术,提高交互效率和便捷性;通过智能机械臂完成对商品的识别、定位与抓取,通过图像识别技术实现商品识别和结算,提高购物体验,最终实现协助零售商户智能识别客户需求。功能如下:

  1. 智慧视觉辨识:利用大模型的强大计算能力和视觉识别技术,系统能够实现对货架上商品的高精度识别,确保每一个商品都能被精确地辨识和分类。
  2. 环境感知物体跟踪:结合大模型与深度学习算法,本功能可实时检测并追踪货架上商品的位置和状态,为智能物流和库存管理提供实时数据。
  3. 互动式语音交互:通过大模型集成的自然语言处理能力,平台可通过自然且友好的语音交互与用户沟通,提供即时信息反馈和导购服务。
  4. 洞察消费者辅助决策:利用大模型根据顾客行为、面部表情分析,生成消费者洞察报告,帮助零售商理解顾客需求,优化商品组合。
  5. 智能精准操控:以大模型技术为支撑,智能机械臂能够自动精准地识别目标商品,并完成复杂的抓取与搬运任务,展现了先进的自动化操作能力。
  6. 智能化结算分析:此功能集结大模型的数据分析和图像识别技术,能够在短时间内完成对结算区商品的自动识别和计价,提供一站式智能结算解决方案。​​​​​​​

 图1 .基于大模型的智慧零售教育科研平台

1.3特点

1.3.1

        基于大模型的智慧零售教育科研平台集主控与执行机构与一体,主控中采用目前主流的大模型与图文生成技术,通过自然语言处理,实现对外部环境的感知与分析;执行机构使用超轻量仿人机械臂,基于目标检测技术,通过机械臂运动规划等功能,完成任务执行与环境交互功能。基于大模型的智慧零售教育科研平台同时具备商业应用、教学实训及科研实验的特性,是融合应用与科教一体的平台,因此其支持各类型高校专业实训、课程设计、毕业设计等实训环节的教学,也满足各科研院所基础实验测试及二次开发需求,实训平台主要有以下优势:

  • 多功能性:基于大模型的智慧零售教育科研平台可以执行多种任务,包括语音交互、视觉抓取等。
  • 智能化技术支持:基于大模型的智慧零售教育科研平台集成了人工智能技术,例如机器视觉、深度学习及大模型等前沿技术,能够实现环境感知和自主决策,提升实验的智能化水平,并且对于前沿的人工智能技术具备良好的适配性,各类最新智能算法及AI解决方案能够轻松在平台上验证,对于高层次人才培养和深度科研探索有坚实的基础支撑。
  • 灵活性:平台结构设计灵活,可以在不同工作场景下自由移动和操作,适用于多种实验和项目需求。
  • 自动化程度高:基于大模型的智慧零售教育科研平台具备自动化控制功能,能够通过编程实现自动化操作和任务执行,提高实验效率和精度。
  • 跨学科应用:基于大模型的智慧零售教育科研平台涵盖了人工智能、控制工程、计算机等多个学科领域的知识和技术,可以为跨学科的实验和项目提供支持。
  • 实践创新教学:基于大模型的智慧零售教育科研平台为学生提供了实践创新的平台,可以进行项目设计、编程控制、系统集成等实践操作,培养学生的创新能力和实践技能。
  • 设备迭代更新:基于大模型的智慧零售教育科研平台采用模块化组成思想,每个组成部分都能够单独运行使用,因此后续升级与适配十分方便,用户无需整套返厂更新,使用配套器件即可更新硬件与软件。
  • 教学资料配套:基于大模型的智慧零售教育科研平台教学科研平台配套各类型教学资料,包括实训文档、开发文档、实训讲解视频、二次开发实践视频以及实践讲师现场教学等全面的教学支撑,为客户群体提供人性化与定制化的使用与开发服务。
  • 实训平台生态圈:基于大模型的智慧零售教育科研平台教学科研平台提供全方位的生态圈,用户可自行定制与替换各部件,以便完成特定的场景需求,并且基于大模型的智慧零售教育科研平台教学科研平台拥有独立的产品生态论坛,用户可以随时在论坛查找相关生态产品资料以及开发资料,极大地减少客户二次开发应用难度及周期。

1.3.2竞赛支持

        “中国机器人及人工智能大赛(CAAI)”是国内首个提出在机器人及人工智能领域,将关键技术的研发与应用有机结合的比赛。自1999年至2023年,中国机器人及人工智能大赛已成功举办了25届,已有600多所高校参与,累计超27万高校学生参赛是目前国内规模最大,影响力最强,专业水平最高的机器人竞赛。参赛院校及师生均可享受A类赛事奖励政策,其涉及计算机、电子、机械、信息、无人机、人工智能等方面,是多学科知识的本融合型大赛。产品能全面支撑师生参与CAAI的基于大模型的智慧零售赛项。

        智慧零售竞赛场景设置如下图所示,货架上摆放有矿泉水、可乐、薯片、牛奶等日常零售柜商品,直线导轨台放置在货架前方,机械臂固定在直线导轨台上,可水平移动。具体尺寸、商品类型、商品价格以后续赛事群公布为准。

1.4资源

        基于大模型的智慧零售教育科研平台配套全面的实训内容与资料,为教育客户群体提供涵盖机器人工程、人工智能、自动化、计算机、通信工程、电子信息等专业的课程教学与实训实验资源,并且提供产品论坛,用户可在论坛中交流与查找相关资料,产品的更新资料也会同步至论坛中,方便用户查收。

1.4.1课程

        基于大模型的智慧零售教育科研平台提供系统性的教学实验实训内容,包括实训文档及实训视频,深入浅出的讲解基于大模型的智慧零售教育科研平台相关原理与开发流程,以下是部分课程资源概览:

主题

课程

内容(简述)

课时

中控系统教学实训

Linux系统基础

  1. Linux系统说明;
  2. Linux系统安装;
  3. 常用Linux命令说明;

4

Python基础

  1. Python语言说明;
  2. Python环境搭建;
  3. Python基础语法;
  4. Python数据类型;
  5. Python函数说明;
  6. Python中Socket网络编程;

4

ROS操作系统

  1. ROS简介及ROS总体框架;
  2. ROS安装及测试;
  3. ROS中话题topic、服务Service、消息等介绍;
  4. 基于C++编写各节点;
  5. Launch文件说明及使用;
  6. TF变换说明;
  7. Rqt、RVIZ、Gazebo、Cvbridge工具介绍;

16

物联网平台

  1. 物联网简介及设备说明;
  2. 物联网通讯协议说明;
  3. 物联网传感器数据包获取及解读;

8

主题

课程

内容(简述)

课时

视觉系统教学实训

视觉传感器认知

  1. 视觉传感器简介及分类;
  2. 视觉传感器优缺点分析;
  3. 视觉传感器应用场景分析;

4

深度相机技术应用

  1. 深度相机简介及基础使用;
  2. 深度相机获取三维坐标;

4

深度学习及视觉识别技术

  1. 深度学习简介;
  2. YOLO5框架介绍及使用;
  3. 物体识别应用;
  4. 输出识别物体的坐标信息;

8

视觉识别二维码及颜色

  1. Opencv简介及环境安装;
  2. 基于Opencv的颜色识别实践;
  3. 基于Opencv的二维码识别实践;

6

手眼标定

  1. 手眼标定的意义;
  2. 使用Python实现基于六轴机械臂的手眼标定;

2

主题

课程

内容(简述)

课时

操作机构系统教学实训

执行机构本体

1.六轴机械臂简介及本体认知;

2.六轴机械臂通讯方法;

3.六轴机械臂示教器使用基础;

4.六轴机械臂示教器编程;

8

机械臂仿真系统

1.ROS机器人操作系统简介及认知;

2.RVIZ中显示机械臂模型;

3.使用Moveit工具编程;

4.Moveit控制Gazebo中的仿真机械臂;

5.Moveit仿真避障规划;

16

执行机构二次开发

1.JSON协议应用;

2.机械臂API应用;

3.机械臂透传移动控制;

4.在线编程及拖动轨迹文件编程;

16

执行机构集成技术

1.机械臂控制器对外接口应用;

2.机械臂末端对外接口应用;

3.机械臂集成2指夹爪及五指灵巧手应用;

4.机械臂集成真空吸盘应用;

8

主题

课程

内容(简述)

课时

智慧零售竞赛套件应用实训内容

机器人组成原理

1.机器人系统理论介绍;

2.机械臂运动规划详解及应用;

4

ROS机器人

操作系统

1.ROS通信原理;

2.moveit轨迹规划实践应用;

3.Gazebo仿真实践;

4

视觉抓取

  1. 3D视觉识别定位原理;
  2. 深度学习物体识别原理;
  3. 视觉抓取;

8

二次开发实训

  1. 语音语义识别实践;
  2. 人机交互实践;
  3. 具身智能应用实践;
  4. 大模型应用实践

8

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1718049.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

每日练习之广义搜索——小红的素数合并

小红的素数合并 题目描述 运行代码 #include <iostream> #include<algorithm> using namespace std; typedef long long LL;// 定义一个常量表示数组最大长度 const int N 1e5 10; int n, a[N]; // 解决问题的函数 void solve() {// 输入数组长度cin >> …

【Python】浅析Python内存管理与GC机制

【Python】浅析Python内存管理与GC机制 从C语言引入&#xff1a;内存管理的挑战 C语言是一个强大的编程语言&#xff0c;它允许开发者直接控制内存。这种控制是通过以下方式实现的&#xff1a; 内存分配&#xff1a;使用 malloc、calloc 或 realloc 等函数分配内存。内存释放…

C++系列-类模板

&#x1f308;个人主页&#xff1a;羽晨同学 &#x1f4ab;个人格言:“成为自己未来的主人~” 类模板的定义格式&#xff1a; #define _CRT_SECURE_NO_WARNINGS #include<iostream> using namespace std; template<class T> class Stack { public:Stack(size_…

Mariadb操作命令指南

MariaDB简介 ​ 以下内容仅是站长或网友个人学习笔记、总结和研究收藏。不保证正确性&#xff0c;因使用而带来的风险与本站无关&#xff01; 数据库应用程序与主应用程序分开存在&#xff0c;并存储数据集合。 每个数据库都使用一个或多个API来创建&#xff0c;访问&#xf…

恒创科技:无法与服务器建立安全连接怎么解决?

在使用互联网服务时&#xff0c;有时会出现无法与服务器建立安全连接的问题&#xff0c;此错误消息通常出现在尝试访问需要安全连接的网站(例如使用 HTTPS 的网站)时&#xff0c;这可能是由于多种原因造成的&#xff0c;以下是一些常见的解决方法&#xff0c;帮助你解决问题。 …

svg实现一个圆形以及方形的环形进度条

1. svg实现圆形进度条 效果图&#xff1a; 1. 写个假接口&#xff1a; let res {curLegendList: [{ progress: "87", name: "进度1",color:"#00fe41" },{ progress: "66", name: "进度2" ,color:"orange"},{ p…

看到大厂工时爆料,我沉默了。。

大厂工时爆料 今天逛脉脉的时候&#xff0c;看到一篇名为「一人一句&#xff0c;大厂工时爆料」的帖子&#xff1a; 点开之后&#xff0c;我沉默了 ... 出来爆料的基本上都是 10 小时。 好奇心之下&#xff0c;我搜索了一下去年很热的排行榜&#xff1a; 2023 年最新互联网公司…

if constexpr实现条件编译

#include <iostream>// 利用if constexpr实现了条件编译 template<typename T1, typename T2> void test_func() {if constexpr (std::is_same_v<T1, T2>) {std::cout << "hit stage\n";} else {std::cout << "miss\n";} }i…

IDEA 常用技巧

1、代码块整体移动 选中&#xff0c;tab整体右移选中&#xff0c;shifttab整体左 移 2、统一修改变量 3.方法分割线 seting >> editor >> apperance >> show method separators 4、快捷键 构造器、set与get方法、方法重写、toString 等快捷操 鼠标停留在…

启智CV机器人,ROS, ubuntu 18.04

资料&#xff1a; https://wiki.ros.org/kinetic/Installation/Ubuntu https://blog.csdn.net/qq_44339029/article/details/120579608 http://wiki.ros.org/melodic/Installation/Ubuntu https://github.com/6-robot/wpb_cv 一、安装ros环境 装VM。 装ubuntu18.04 desktop.…

数字化的本质是什么?

数字化的本质其实就是把日常生活、工作等各个方面的信息、操作、交流等转化成数字形式&#xff0c;让它们更加便于存储、传输、分析和处理。简单说就是把各种各样的东西变成了0和1&#xff0c;让计算机能够更好地理解和运用这些信息。但数字化的本质并不只是简单地把事物变成数…

广告联盟四大家

国内四大广告承接商&#xff1a;①抖音旗下-穿山甲②快手旗下-快手联盟③百度旗下-百青藤④腾讯旗下-优量汇 我们目前在互联网上能看到的所有广告都是由他们发放的&#xff0c;在其中我们打小游戏复活看广告&#xff0c;获得道具看广告&#xff0c;看剧看广告&#xff0c;这…

springboot + Vue前后端项目(第十四记)

项目实战第十三记 写在前面1. 建立字典表2. 后端DictController3. Menu.vue4. 建立sys_role_menu中间表5.分配菜单接口6. 前端Role.vue改动总结写在最后 写在前面 本篇主要讲解动态分配菜单第二章节 菜单页面优化 引入图标 角色界面优化 角色自主分配菜单&#xff0c;并保存至…

透明度技术在AI去衣中的双刃剑作用

引言&#xff1a; 在当今这个数字化时代&#xff0c;人工智能&#xff08;AI&#xff09;已经成为我们生活中不可或缺的一部分。它不仅改变了我们的工作方式&#xff0c;还影响了我们的娱乐和社交活动。然而&#xff0c;随着AI技术的不断发展&#xff0c;一些伦理问题也逐渐浮出…

Linux:subshell(子shell)和childprocess(子进程)

相关阅读 Linuxhttps://blog.csdn.net/weixin_45791458/category_12234591.html?spm1001.2014.3001.5482 一、预备知识 在进行这个话题之前&#xff0c;首先要了解Linux系统中一个进程是如何创建的&#xff0c;当一个命令被执行时&#xff0c;首先会在当前进程创建一个子进程…

SpringBoot发送Gmail邮件

1. 登录Gmail Gmail网址 点击右上角“小齿轮”&#xff0c;然后点击"查看所有设置" 点击“转发和 POP/IMAP”&#xff0c;按图中设置&#xff0c;然后点击保存&#xff1a; 2. 启用两步验证(https://myaccount.google.com/security) 登录上述网址&#xff0c;找…

msvcp100.dll丢失怎样修复?几种快速有效修复msvcp100.dll丢失的方法

在使用电脑时是不是遇到过关于msvcp100.dll丢失文件丢失的情况&#xff1f;出现这样的情况有什么办法可以将丢失的msvcp100.dll文件快速恢复&#xff1f;今天的这篇文章就将教大家几种能够有效的解决msvcp100.dll丢失问题的方法。 方法一&#xff1a;重启电脑 重启电脑是一种简…

jmeter多用户登录并退出教程

有时候为了模拟更真实的场景&#xff0c;在项目中需要多用户登录并退出操作&#xff0c;大致参考如下 多用户登录前面已经实现&#xff1a;参考博文 多用户登录并退出jmx文件&#xff1a;百度网盘 提取码&#xff1a;0000 一、多用户退出操作 添加一个setUp线程组&#xff0…

基恩士激光 速度 曝光等关系

一、基恩士 CtrlN 二、速度设置 计算扫描速度 曝光时间&#xff1a; 1:1 相机点间隔是0.025 &#xff0c;我们要扫描的图像也是1&#xff1a;1的话&#xff0c;速度可以为 采样周期我们设定为3K&#xff0c;假如我们的7000行就够了 速度V0.025&#xff08;线间隔&#xff0…

YOLOv10全网最新创新点改进系列:YOLOv10改进加入新型高效的多尺度注意力(EMA)模块保留每个通道的信息并减少计算成本!助力v10检测性能遥遥领先!

YOLOv10全网最新创新点改进系列&#xff1a;YOLOv10改进加入新型高效的多尺度注意力&#xff08;EMA&#xff09;模块保留每个通道的信息并减少计算成本&#xff01;助力v10检测性能遥遥领先&#xff01; 所有改进代码均经过实验测试跑通&#xff01; 此项目不低于30种改进&am…