【官方框架地址】

https://github.com/ultralytics/ultralytics
【算法介绍】

RTDETR，全称“Real-Time Detection with Transformer for Object Tracking and Detection”，是一种基于Transformer结构的实时目标检测和跟踪算法。它在目标检测和跟踪领域中具有广泛的应用，尤其是在需要实时处理和高准确率的场景中。

RTDETR算法的主要特点是采用Transformer结构，这种结构在自然语言处理领域已经取得了巨大成功。通过使用自注意力机制和多头注意力机制，RTDETR能够有效地捕捉图像中目标之间的上下文信息，从而提高了检测和跟踪的准确率。

与传统的目标检测和跟踪算法相比，RTDETR具有更高的准确率和实时性。它采用了新颖的检测和跟踪一体化设计，将目标检测和跟踪任务统一到一个模型中进行处理，减少了计算量和参数数量，从而提高了运行速度。此外，RTDETR还采用了可学习的锚框设计和轨迹推理机制，进一步提高了目标检测和跟踪的准确率。

在实际应用中，RTDETR可以应用于各种场景，如智能监控、自动驾驶、无人机等。在这些场景中，实时性和准确性是非常重要的，而RTDETR算法恰好满足了这些需求。例如，在智能监控场景中，RTDETR可以实时检测和跟踪监控画面中的异常行为或目标，为安全防范提供及时预警；在自动驾驶场景中，RTDETR可以帮助车辆实现实时感知和决策，提高行驶的安全性和稳定性。

总之，RTDETR算法是一种基于Transformer结构的实时目标检测和跟踪算法，具有高准确率和实时性。它可以广泛应用于各种场景中，为实时处理和高准确率的需求提供了有效的解决方案。

【效果展示】

【实现部分代码】

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Diagnostics;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using OpenCvSharp;

namespace FIRC
{
    public partial class Form1 : Form
    {
        Bitmap src = null;
        RtdetrManager detector = null;

        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            OpenFileDialog openFileDialog = new OpenFileDialog();
            openFileDialog.Filter = "图文件(*.*)|*.jpg;*.png;*.jpeg;*.bmp";
            openFileDialog.RestoreDirectory = true;
            openFileDialog.Multiselect = false;
            if (openFileDialog.ShowDialog() == DialogResult.OK)
            {
              
                src = new Bitmap(openFileDialog.FileName);
                pictureBox1.Image = src;


            }


        }

        private void button2_Click(object sender, EventArgs e)
        {
            if(pictureBox1.Image==null)
            {
                return;
            }
            var result = detector.Inference(src);
            var resultImg = detector.DrawImage(src, result);
            pictureBox2.Image = resultImg;
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            detector = new RtdetrManager(Application.StartupPath+"\\weights\\rtdetr-l.onnx", Application.StartupPath + "\\weights\\labels.txt");
        }

        private void button3_Click(object sender, EventArgs e)
        {
            VideoCapture capture = new VideoCapture(0);
            if (!capture.IsOpened())
            {
                Console.WriteLine("video not open!");
                return;
            }
            Mat frame = new Mat();
            var sw = new Stopwatch();
            int fps = 0;
            while (true)
            {

                capture.Read(frame);
                if (frame.Empty())
                {
                    Console.WriteLine("data is empty!");
                    break;
                }
                sw.Start();
                var bmp = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(frame);
                var result = detector.Inference(bmp);
                var resultImg = detector.DrawImage(bmp, result);
                sw.Stop();
                fps = Convert.ToInt32(1 / sw.Elapsed.TotalSeconds);
                sw.Reset();
                frame = OpenCvSharp.Extensions.BitmapConverter.ToMat(new Bitmap(resultImg));
                Cv2.PutText(frame, "FPS=" + fps, new OpenCvSharp.Point(30, 30), HersheyFonts.HersheyComplex, 1.0, new Scalar(255, 0, 0), 3);
                //显示结果
                Cv2.ImShow("Result", frame);
                int key = Cv2.WaitKey(10);
                if (key == 27)
                    break;
            }

            capture.Release();
        }
    }
}

【视频演示】

https://www.bilibili.com/video/BV11a4y1C72W/?vd_source=989ae2b903ea1b5acebbe2c4c4a635ee
【测试环境】

vs2019,netframework4.7.2,onnxruntime1.16.3