无人机UAV目标检测与跟踪（代码+数据）

news2024/11/29 9:37:43

前言

近年来，随着无人机的自主性、灵活性和广泛的应用领域，它们在广泛的消费通讯和网络领域迅速发展。无人机应用提供了可能的民用和公共领域应用，其中可以使用单个或多个无人机。与此同时，我们也需要意识到无人机侵入对空域安全造成的潜在威胁。今年早些时候，多次无人机目击事件导致机场停飞，给航空公司带来了巨大的经济损失。

在这里插入图片描述

目前，在计算机视觉社区中，没有一个高质量的反无人机数据集被用于真实动态场景的捕捉。为了弥补这一空白，该项目提出了一个新的数据集、评估指标和基线方法，用于发现、检测、识别和跟踪无人机的领域。该数据集包含高质量的全高清视频序列（包括RGB和IR），涵盖了多种多尺度无人机的多次出现，并且密集注释了每个帧中的边界框、属性和标志，指示目标是否存在。

数据介绍

该数据集包含三个子集，即训练子集、track 1测试子集和track 2测试子集。训练子集由200个热红外视频序列组成，并发布详细的注释文件（包括目标是否存在、目标位置信息和各种挑战）。track 1测试子集也包含200个视频序列，仅提供第一帧中目标的位置信息；track 2测试子集包含200个视频序列，该track不提供任何标记信息，需要参与者通过检测和跟踪来获取目标的存在标志和相应的目标位置信息。以上三个子集之间没有任何重叠部分。我们建议参与者根据训练子集中的多类标签信息训练适合的检测器或跟踪器模型。
在这里插入图片描述

环境要求

运行脚本

> conda activate project_uav
> python detect_tracking.py

project_uav环境主要包括：

pytorch(1.7.1)、
torchvision(0.8.2)、
Cython、tqdm、
PyYAML、
matplotlib、
numpy、Pillow、
opencv、scipy

代码

from __future__ import division



import os
import cv2
import sys
import time
import torch
import struct
import socket
import logging
import datetime
import argparse

import numpy as np
from PIL import Image

import pdb

# sys.path.append(r"C:\Users\aaa\Desktop\DetectionLib\DroneTracker")
# sys.path.append(r"C:\Users\aaa\Desktop\DetectionLib\DroneDetector")


# from detector import DroneDetection
# from trackinguav.evaluation.tracker import Tracker

from detect_wrapper.Detectoruav import DroneDetection
from tracking_wrapper.dronetracker.trackinguav.evaluation.tracker import Tracker

sys.path.append(os.path.join(os.path.dirname(__file__),'detect_wrapper'))
sys.path.append(os.path.join(os.path.dirname(__file__),'tracking_wrapper\\dronetracker'))
sys.path.append(os.path.join(os.path.dirname(__file__),'tracking_wrapper\\drtracker'))


import warnings
warnings.filterwarnings("ignore")



# # import torchvision
# # from torch.utils.data import DataLoader
# # from torchvision import datasets
# from torch.autograd import Variable
#import matplotlib.pyplot as plt
#import matplotlib.patches as patches
#from matplotlib.ticker import NullLocator
#import json


g_init = False
g_detector = None  # 检测器
g_tracker = None   # 跟踪器
g_logger = None
detect_box=None
track_box=None
g_data = None
detect_first =True
g_enable_log = True
repeat_detect=True


count = 0
g_frame_counter = 0
TRACK_MAX_COUNT = 150

Visualization = 1
sendLocation = 0



#全局socket
udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
#目标主机的IP和端口, 用来发送坐标
IP = '192.168.0.171'
Port = '9921'

def safe_log(msg):
    if g_logger:
        g_logger.info(msg)


def send_bbs(bbs):
    global g_logger
    if g_logger:
        g_logger.info('send a box : {}'.format(bbs))

def mono_to_rgb(data):
    w, h = data.shape
    img = np.zeros((w, h, 3), dtype=np.uint8)
    img[:, :, 0] = data
    img[:, :, 1] = data
    img[:, :, 2] = data
    return img

def rgb_to_ir(data):
    w, h, c = data.shape
    img = np.zeros((w, h), dtype=np.uint8)
    img = data[:,:,0]
    return img

def distance_check(bbx1, bbx2, thd):
    cx1 = bbx1[0]+bbx1[2]/2
    cy1 = bbx1[1]+bbx1[3]/2
    cx2 = bbx2[0]+bbx2[2]/2
    cy2 = bbx2[1]+bbx2[3]/2
    dist = np.sqrt((cx1-cx2)**2+(cy1-cy2)**2)
    return dist<thd

def scale_coords(img1_shape, coords, img0_shape):
    # Rescale coords (xyxy) from img1_shape to img0_shape
    gainx = img1_shape[0] / img0_shape[0]
    gainy = img1_shape[1] / img0_shape[1]

    coords[0]= coords[0]/gainx
    coords[1]= coords[1]/gainy
    coords[2]= coords[2]/gainx
    coords[3]= coords[3]/gainy
    coords = [int(x) for x in coords]
    return coords