多目标追踪+实例分割+目标检测
YOLO (You Only Look Once) 是一个流行的目标检测算法,它能够在图像中准确地定位和识别多个物体。
本项目是基于 YOLO 算法的目标跟踪系统,它将 YOLO 的目标检测功能与目标跟踪技术相结合,实现了实时的多目标跟踪。
在 目标追踪+语义分割+目标检测项目中,主要做了以下工作:
-
目标检测:利用 YOLO 算法进行目标检测,识别图像或视频中的各种物体,并确定它们的位置和类别。
-
目标跟踪j:通过使用跟踪算法(如卡尔曼滤波器、光流法等),对检测到的目标进行跟踪,以实现目标在视频序列中的持续跟踪。
-
实例分割:对目标检测后的目标进行mask,做到实例分割
跟踪算法大集合
-
deepsort:
深度学习框架下的追踪算法,可以有效地处理遮挡、尺度变化和外观变化等问题。 通过深度特征提取和匹配,能够在复杂场景下实现高准确度的目标追踪。
-
strongsort:
具有较强的鲁棒性和稳定性,对于复杂背景和光照变化的环境有较好的适应能力。 在处理大量目标时,能够保持较高的追踪质量。
-
ocsort:
基于外观特征的追踪算法,对目标外观的描述准确度较高,适用于需要精确目标识别的场景。
在多目标追踪时,能够有效地区分不同目标并保持稳定的追踪状态。 -
bytetrack:
采用了高效的特征提取和匹配策略,具有较快的处理速度和较低的计算成本。
在资源受限的环境下,能够提供良好的追踪性能,适用于嵌入式和移动设备等场景。 -
botsort:
具有较好的可扩展性和灵活性,可以根据具体需求进行定制和优化。
在复杂多变的追踪场景中,能够通过参数调整和模型配置进行有效适配,提供高度定制化的追踪解决方案。
优越性
- 实时性能优化:针对目标跟踪系统的实时性能进行优化,使其能够在实时视频流中高效地进行目标检测和跟踪。
姿态估计
-
人体关键点检测:通过图像或视频数据,识别并定位出人体的关键点,例如头部、肩膀、手肘、手腕、膝盖、脚踝等关键部位的位置。通常使用的是基于深度学习的关键点检测算法
-
多目标处理:实现了多目标跟踪功能,能够同时跟踪并管理多个目标,并在复杂场景下保持良好的跟踪性能。
-
应用场景:将 Y项目应用于实际场景,如智能监控、自动驾驶、无人机跟踪等领域,验证其在实际应用中的效果和可靠性。
代码部署
- requirements,txt列表(优选Linux环境),成功运行的包,兼容性能良好。
- 并且将yolov8.pt 和yolov8_seg.pt。放在根目录下。
- 或者直接运行脚本,也会在线下载权重文件!
_libgcc_mutex=0.1=main
_openmp_mutex=5.1=1_gnu
absl-py=2.0.0=pypi_0
beautifulsoup4=4.12.2=pypi_0
boxmot=10.0.43=dev_0
ca-certificates=2023.08.22=h06a4308_0
cachetools=5.3.2=pypi_0
certifi=2023.7.22=pypi_0
cfgv=3.4.0=pypi_0
charset-normalizer=3.3.2=pypi_0
contourpy=1.1.1=pypi_0
cycler=0.12.1=pypi_0
cython=3.0.5=pypi_0
dataclasses=0.6=pypi_0
distlib=0.3.7=pypi_0
filelock=3.13.1=pypi_0
filterpy=1.4.5=pypi_0
fonttools=4.43.1=pypi_0
ftfy=6.1.1=pypi_0
future=0.18.3=pypi_0
gdown=4.7.1=pypi_0
gitdb=4.0.11=pypi_0
gitpython=3.1.40=pypi_0
google-auth=2.23.4=pypi_0
google-auth-oauthlib=1.0.0=pypi_0
grpcio=1.59.2=pypi_0
identify=2.5.31=pypi_0
idna=3.4=pypi_0
importlib-metadata=6.8.0=pypi_0
importlib-resources=6.1.0=pypi_0
joblib=1.3.2=pypi_0
kiwisolver=1.4.5=pypi_0
lapx=0.5.5=pypi_0
ld_impl_linux-64=2.38=h1181459_1
libffi=3.4.4=h6a678d5_0
libgcc-ng=11.2.0=h1234567_1
libgomp=11.2.0=h1234567_1
libstdcxx-ng=11.2.0=h1234567_1
loguru=0.7.2=pypi_0
markdown=3.5.1=pypi_0
markupsafe=2.1.3=pypi_0
matplotlib=3.7.3=pypi_0
ncurses=6.4=h6a678d5_0
nodeenv=1.8.0=pypi_0
numpy=1.24.4=pypi_0
oauthlib=3.2.2=pypi_0
opencv-python=4.8.1.78=pypi_0
openssl=3.0.11=h7f8727e_2
packaging=23.2=pypi_0
pandas=2.0.3=pypi_0
pillow=10.1.0=pypi_0
pip=23.3=py38h06a4308_0
platformdirs=3.11.0=pypi_0
pre-commit=3.5.0=pypi_0
protobuf=4.25.0=pypi_0
psutil=5.9.6=pypi_0
py-cpuinfo=9.0.0=pypi_0
pyasn1=0.5.0=pypi_0
pyasn1-modules=0.3.0=pypi_0
pyparsing=3.1.1=pypi_0
pysocks=1.7.1=pypi_0
python=3.8.18=h955ad1f_0
python-dateutil=2.8.2=pypi_0
pytz=2023.3.post1=pypi_0
pyyaml=6.0.1=pypi_0
readline=8.2=h5eee18b_0
regex=2023.10.3=pypi_0
requests=2.31.0=pypi_0
requests-oauthlib=1.3.1=pypi_0
rsa=4.9=pypi_0
scikit-learn=1.3.2=pypi_0
scipy=1.10.1=pypi_0
seaborn=0.13.0=pypi_0
setuptools=68.0.0=py38h06a4308_0
six=1.16.0=pypi_0
smmap=5.0.1=pypi_0
soupsieve=2.5=pypi_0
sqlite=3.41.2=h5eee18b_0
tabulate=0.9.0=pypi_0
tensorboard=2.14.0=pypi_0
tensorboard-data-server=0.7.2=pypi_0
thop=0.1.1-2209072238=pypi_0
threadpoolctl=3.2.0=pypi_0
tk=8.6.12=h1ccaba5_0
torch=1.7.0=pypi_0
torchvision=0.8.1=pypi_0
tqdm=4.66.1=pypi_0
typing-extensions=4.8.0=pypi_0
tzdata=2023.3=pypi_0
ultralytics=8.0.146=pypi_0
urllib3=2.0.7=pypi_0
virtualenv=20.24.6=pypi_0
wcwidth=0.2.9=pypi_0
werkzeug=3.0.1=pypi_0
wheel=0.41.2=py38h06a4308_0
xz=5.4.2=h5eee18b_0
yacs=0.1.8=pypi_0
yolox=0.3.0=pypi_0
zipp=3.17.0=pypi_0
zlib=1.2.13=h5eee18b_0
你只需要输入以下指令:即可配置好环境!!!
conda create --name yolo_track --file requiremnts.txt
目标检测运行
运行脚本:
$ python examples/track.py --yolo-model yolov8n # bboxes only
python examples/track.py --yolo-model yolo_nas_s # bboxes only
python examples/track.py --yolo-model yolox_n # bboxes only
yolov8n-seg # bboxes + segmentation masks
yolov8n-pose # bboxes + pose estimation
目标跟踪
目标跟踪 脚本:
$ python examples/track.py --tracking-method deepocsort
strongsort
ocsort
bytetrack
botsort
ReID 模型
在追踪过程中,一些跟踪方法结合外观描述和运动信息。对于那些使用外观描述的方法,你可以根据自己的需求从 ReID 模型库中选择一个 ReID 模型。这些模型可以通过 reid_export.py 脚本进一步优化以满足你的需求。
$ python examples/track.py --source 0 --reid-model lmbn_n_cuhk03_d.pt # lightweight
osnet_x0_25_market1501.pt
mobilenetv2_x1_4_msmt17.engine
resnet50_msmt17.onnx
osnet_x1_0_msmt17.pt
clip_market1501.pt # heavy
clip_vehicleid.pt
...
结果展示
下文展示了具体的视频实现效果!
qq1309399183
视频展示链接