概述
和平精英人物检测,可以识别游戏中所有人物角色,并通过绘制框将人物选中,训练的模型仅仅具有识别功能,可以识别游戏中的视频、图片等文件,搭配Autox.js可以推理,实现实时绘制,但是对手机性能有要求,低配手机会有卡顿现象;本文仅提供一个在手机实时检测推理的思路具体如何去实现需要自己动手
演示效果
基于YoloV8使用飞桨AI studio训练和平精英人物检测模型:autox.js实时游戏检测(2
核心逻辑
通过yolov8训练得到识别模型,进行识别图片或视频应用,如果需要手机进行推理,则需要将模型转换为ncnn,搭配Autox.js推理源代码完成实时绘制
训练方式
下载附件,删除里面多余的 "部署工具及模型文件"即可(项目内已包含Yolov8n.pt)
安装
pip install ultralytics
推理
yolo task=detect mode=predict model=yolov8n.pt conf=0.25 source='ultralytics/assets/bus.jpg'
训练代码
yolo task=detect mode=train model=yolov8n.pt data=hpjys.yaml epochs=100 imgsz=640 device=cpu
恢复训练
yolo train resume model=runs/detect/train/weights/last.pt
部署方式
1、用于识别图片:下载已完成训练的pt模型,读取模型(或者直接运行demo文件即可)
import cv2
# 加载模型
model = YOLO("best.pt")
# 读取图片
img_path = "C:\\Users\\Administrator\\Desktop\\test\\2.jpg"
img = cv2.imread(img_path)
# 检测
results = model(img) # 也可以用 model.predict(img)
# 可视化结果
annotated_img = results[0].plot() # 绘制检测框
cv2.imshow("Detection", annotated_img)
cv2.waitKey(0) # 按任意键关闭窗口
cv2.destroyAllWindows()
运行结果
2、用于手机端游戏实时绘制:
解压ultralytics-main\部署工具及模型文件\autoxjs游戏实时推理模型
下的ncnn转化后的模型best.param和best.bin,下载autox.jsv7,将两个数据替换到源代码中即可
附件包含
- 和平精英数据集(存放位置:ultralytics-main\部署工具及模型文件\adatasets)
- autoxjs手机实时推理ncnn模型(存放位置:ultralytics-main\部署工具及模型文件\autoxjs手机实时推理模型)
- 电脑端图片视频检测pt模型(存放位置:ultralytics-main\部署工具及模型文件\电脑端图片视频检测模型)
- autox.jsV7安装包(存放位置:ultralytics-main\部署工具及模型文件\autox.js安装包和推理源代码)
- autox.js配套推理代码(存放位置:ultralytics-main\部署工具及模型文件\autox.js安装包和推理源代码)
评估
视频部分
基于YoloV8使用飞桨AI studio训练和平精英人物检测模型:搭配autox.js实时游戏检测(1
该视频演示了如何在飞桨studio完成训练过程,也可以自己在本地环境训练
基于YoloV8使用飞桨AI studio训练和平精英人物检测模型:搭配autox.js实时游戏检测(2
该视频演示了有意过程,后部分主要介绍如何使用autos.js进行推理