【RAG】浅谈NVIDIA AI-AGENT在游戏中的应用

news2024/9/27 17:25:12

前言

2023-11-10 openai首发 多模态视觉模型 GPT 4 Turbo Vision preview,可以从图片中理解,但价格昂贵,只解析了5秒低分辨率视频就5美分,应用在游戏行业需要数十万美元。
在这里插入图片描述
2024-8-16 游戏行业已经注意到人工智能的水平发展可以做更高水平更human-like的机器人
在这里插入图片描述
如今,仅仅过去不到一年时间,微软AI研究院推出的phi-3 vision模型能力可能未超过GPT4 Turbo但部署成本直接忽略不计,并且可本地部署!并且有幸参与NVIDIA社区与开发者关系部门组织夏季训练营推广NIM平台,真实在感受到了大模型的威力和便利的调用,为下一步爆发式应永落地提供了可能。
在这里插入图片描述

NVIDIA AI-AGENT夏季训练营

项目名称:AI-AGENT在游戏拟人性上的检测
报告日期:2024年8月18日
项目负责人:clarkbai

项目概述

传统FPS类型游戏中设计的AI中,不论是基于行为树,状态机,还是强化学习,目标只有一个就是拟人,只有高度human-like的机器人才能在匹配中让玩家不易察觉。如何检测AI拟人性目前业内没有很好的手段,基本上都还是策划或QA主观体验感觉。没法量化,没法自动化测试。此次项目旨在通过大模型对视频的理解能力,太判断视频角色操作是否拟人,也可以应用在反外挂方面。
在这里插入图片描述

技术方案与实施步骤

模型选择

Phi-3-vision-128k-instruct 4.2B 参数多模态模型
该模型在5,000亿个视觉和文本tokens上进行了训练,使用了512个H100 GPU进行了1.5天的训练。模型的训练方法包括预训练、监督微调和对齐调整等步骤,使用了合成数据以提高训练效果。
https://github.com/microsoft/Phi-3CookBook/blob/main/md/03.Inference/Vision_Inference.md

数据的构建:

在这里插入图片描述

RAG结合了检索和生成的优点,增强了生成模型的知识覆盖面,减少了模型参数的依赖:RAG 模型同时利用了检索模型和生成模型的优点。检索模型可以从大量文档或知识库中找到与输入问题相关的内容,而生成模型可以在这些相关内容的基础上生成更加流畅、连贯的自然语言输出。通过检索外部知识库,能够实时获取最新的或未在训练数据中出现的知识,从而增强了模型对新信息的处理能力。同时补充生成模型的知识,从而在一定程度上减少了对超大模型参数的依赖,节约成本。

功能整合 :

游戏视频 切割为 图片 -> 图片 input Phi3-vision 识别为文本 -> 对比多图 提示工程 + RAG 从游戏获取数据(待实装)

实施步骤

环境搭建:

Phi-3-vision 本地部署

python --version
Python 3.12.4
WIn10 或 Win11

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia

重点flash_attn的安装:
pip install flash-attn --no-build-isolation
但在win下要注意nvidia drivier版本
https://github.com/bdashore3/flash-attention/releases
flash_attn-2.6.3+cu123torch2.3.1cxx11abiFALSE-cp312-cp312-win_amd64.whl


pip install transformers
pip install datasets
pip install jupter

通过NIM部署

pip install faiss-cpu
pip install langchain-community
pip install langchain-nvidia-ai-endpoints
pip install langchain
pip install openai

代码实现:

分割视频
在这里插入图片描述
远程调用 NIM
在这里插入图片描述
本地调用在这里插入图片描述
在这里插入图片描述从UI界面读取
在这里插入图片描述在这里插入图片描述

测试与调优:

在这里插入图片描述

集成与部署:

在这里插入图片描述

项目成果与展示:

应用场景展示(必写): 描述对话机器人的具体应用场景,如客户服务、教育辅导等。

功能演示:

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

问题与解决方案:

问题分析:

  1. 图片分辨率和数量可能导致显存不够,测试在20多张时24G显存用光,有优化空间
  2. 关键帧分析不准,游戏通常在30FPS到60FPS,现在5FPS缺失信息
  3. 提示工程需优化

解决措施:

  1. RAG图片绑定再看下

项目总结与展望:

项目评估:

在游戏领域使用大模型还是很有想象力和潜力的,但是工程上有较大优化空间

未来方向:

  1. 游戏拟人化分析
  2. 游戏对局策略分析

附件与参考资料

NIM
https://developer.nvidia.com/nim
Phi-3
https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2067206.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CDGA|数据治理落地实践指南:构建高效、安全的数据管理体系

在数字化转型的大潮中,数据已成为企业最宝贵的资产之一,而数据治理作为确保数据质量、提升数据价值、保障数据安全的关键环节,其重要性日益凸显。然而,数据治理并非一蹴而就,它需要系统性的规划、精细化的管理和持续性…

6款开麦即变声的电脑变声器,秒变声音只需一键!

在当今数字化时代,电脑变声器已成为许多用户在游戏、直播和社交互动中的重要工具。然而,传统变声器往往存在音效不真实、操作复杂、延迟高等问题,无法满足用户对于实时性和多样化的需求。为了解决这些问题,电脑AI变声器应运而生。…

Postman接口自动化测试:从入门到实践!

前言 在软件开发过程中,接口测试是确保软件各组件之间正确交互的关键环节。Postman作为一款强大的API开发工具,不仅支持接口请求的发送与调试,还提供了丰富的自动化测试功能,使得接口自动化测试变得更加高效和便捷。本文将从Post…

Excel的使用总结3

1、选择一列数据,除了表头 点击表头下的第一个数据,点击快捷键CTRLSHIFT ↓ 2、如何将00001,这样的数据前面的0去掉(前提是单元格格式已经是文本了) 可以直接使用text公式

微软RDL远程代码执行超高危漏洞(CVE-2024-38077)漏洞检测排查方式

漏洞名称:微软RDL远程代码执行超高危漏洞(CVE-2024-38077) CVSS core: 9.8 漏洞描述: CVE-2024-38077 是微软近期披露的一个极其严重的远程代码执行漏洞。该漏洞存在于Windows远程桌面许可管理服务(RDL&#xff09…

移情别恋c++ ദ്ദി˶ー̀֊ー́ ) ——6.vector(模拟实现)

1.存储结构 namespace zone {template<class T> //需要模板class vector{public:private:iterator _start;iterator _finish;iterator _endofstorage;}; } 可见&#xff0c;vector内核是由三个指针实现的 2.默认成员函数 2.1.构造函数 1.初始化列表 vector() :_star…

【算法】粒子群优化

一、引言 粒子群优化算法&#xff08;Particle Swarm Optimization, PSO&#xff09;是一种基于群体智能的优化技术&#xff0c;由Eberhart和Kennedy在1995年提出。它模拟鸟群觅食行为&#xff0c;通过个体与群体的协作来寻找最优解。通过模拟一群粒子的运动来寻找最优解。每个…

uniapp微信小程序 分享功能

uniapp https://zh.uniapp.dcloud.io/api/plugins/share.html#onshareappmessage export default {onShareAppMessage(res) {if (res.from button) {// 来自页面内分享按钮console.log(res.target)}return {title: 自定义分享标题,path: /pages/test/test?id123}} }需要再真机…

通过运动延寿:对于普通人最佳的延寿运动是球拍类运动

文章目录 I 通过运动延寿1. 练多久?一周锻炼几次?——45~60 分钟,一周 3~5 次2. 练什么?重点锻炼什么?——有氧运动+力量训练3. 怎么练?锻炼到什么强度?——要达到中等强度运动II 运动类型与寿命之间的关联在男性中在女性中普通人最佳的延寿运动: 球拍类I 通过运动延…

使用shell命令写一个简单的购物小票

1、代码实现 #!/bin/bash goodName1"钢笔" goodName2"泡面" echo "请输入$goodName1的价格?" read price1 echo "请输入$goodName1的数量?" read num1 total$(expr $price1 \* $num1) echo $total echo "$goodName1:价格…

【Oracle点滴积累】Oracle 19c安装Critical Patch Update for January 2023

广告位招租&#xff01; 知识无价&#xff0c;人有情&#xff0c;无偿分享知识&#xff0c;希望本条信息对你有用&#xff01; 今天和大家分享如何为Oracle 19c(未启用RMAN的单实例)安装Critical Patch Update(Patch Number:34771828)&#xff0c;本指引不包含Roll Back部分&a…

连锁店收银系统源码-线下收银多端视频展示

千呼新零售2.0系统由零售行业连锁店一体化收银系统和多商户入驻平台商城两个板块组成&#xff0c;打造门店平台的本地生活即时零售模式。 其中连锁店收银系统包括线下收银私域商城连锁店管理ERP管理商品管理供应商管理会员营销等功能为一体&#xff0c;线上线下数据全部打通。…

如何完美备份自己的微博,即使是封号之后

感谢 https://github.com/Chilfish/Weibo-archiver 工具和环境 可以用chrome插件的浏览器&#xff0c; 比如opera安装篡改猴插件安装nodejsvscode 第一步&#xff0c;安装浏览器插件 安装Tampermonkey 然后打开https://raw.githubusercontent.com/Chilfish/Weibo-archiver/m…

拼车系统开发方案

一、项目背景 随着城市化进程的加快和私家车数量的激增&#xff0c;交通拥堵和环境污染问题日益严峻。拼车作为一种绿色、经济的出行方式&#xff0c;逐渐成为缓解这些问题的重要途径。开发一个高效、安全、便捷的拼车系统不仅有助于提升出行效率&#xff0c;还能减少交通拥堵…

roles、通过roles实现lamp及lnmp、数据库的高可用和负载均衡的实现

roles(难点) 1、介绍 roles(⻆⾊): 就是通过分别将variables, tasks及handlers等放置于单独的⽬录中,并可以便捷地调⽤它们的⼀种机制。假设我们要写⼀个playbook来安装管理lamp环境&#xff0c;那么这个playbook就会写很⻓。所以我们希望把这个很⼤的⽂件分成多个功能拆分, …

Android SDK 遇到的坑之 AIUI(星火大模型)

目录 一、AIUI 二、常见错误 2.1 唤醒无效 2.2 错误码:600103 1、存放唤醒词等资源的路径 2、aiui_phone.cfg 文件配置 3、vtn.ini 文件配置 2.3 错误码:600022 相关推荐 一、AIUI 需要给桌面机器人(医康养)应用做语音指引/控制/健康咨询等功能&#xff0c;根据调研选择A…

【Midjourney】Midjourney全面开放网站版,所有用户每天可免费生成25次

Midjourney一直作为AI文生图领域的龙头老大&#xff0c;最近对面对市场上日益增长的竞争压力&#xff0c;尤其是来自 Flux 的挑战&#xff0c;终于向所有用户开放官方网站。尽管还处于早期阶段&#xff0c;但为了吸引更多用户体验&#xff0c;它暂时是完全免费的。 下面是Midj…

河道非法采砂智能检测系统:采砂船识别监测系统

一、引言 随着科技的不断发展&#xff0c;河道非法采砂问题日益严重&#xff0c;不仅破坏了河床生态平衡&#xff0c;还危及河道沿岸人民的生命财产安全。因此&#xff0c;建立一个高效、智能的河道非法采砂检测系统势在必行。本文将重点介绍一种基于智能识别的河道非法采砂检…

Autosar(Davinci) --- 新增一帧CAN报文

前言 这里我们简单讲解以下如何通过DBC配置,新增一帧CAN报文,并发送到上位机。 一、修改DBC 首先在Demo工程dbc的基础上,我们新增一个Signal,Message, 然后将这个Message绑定到某一个Network node下,这里我放在了MyECU这个节点下。 这里dbc怎么新建Signal,Message什么的,…

并行程序设计基础——组通信(2)

目录 一、组收集 二、全互换 三、同步 四、规约 五、预定义的归约操作 上一节内容我们介绍了MPI组通信的基本概念和广播、收集、散发接口调用。本节我们继续介绍其余的组通信接口。 一、组收集 MPI_GATHER是将数据收集到ROOT进程,MPI_ALLGATHER相当于每一个进程…