0.赛事报名

赛事官网:https://www.marsbigdata.com/competition/details?id=3839107548872

租用4090

使用到的平台为厚德云:https://portal.houdeyun.cn/console/apparatus/gpu/generic
选择新建

选择合适的进行下载

选择环境,然后立即下单:

1.开始运行

下面就可以进行正常的使用
打开终端,输入如下代码:

apt install git-lfs
git lfs install
git clone https://www.modelscope.cn/datasets/Datawhale/AI_Camp5_baseline_CV.git

这一步主要的作用就是为了下载数据集
然后选择task1.ipynb进行运行即可

下载文件提交结果

然后将result.zip进行下载然后上传到比赛官网的提交平台上即可,以下是我的运行结果:

2.内容解释

赛题背景

城市治理赛道——随着城市化进程的加快，城市管理面临着前所未有的挑战。占道经营、垃圾堆放和无照经营游商等问题对城市管理提出了更高的要求。本赛道聚焦城市违规行为的智能检测，要求选手研究开发高效可靠的计算机视觉算法，提升违规行为检测识别的准确度，降低对大量人工的依赖，提升检测效果和效率，从而推动城市治理向更高效、更智能、更文明的方向发展，为居民创造一个安全、和谐、可持续的居住环境。

赛题源自于生活当中的对城市违规的行为进行智能检测,要求要提出更加高效率的方法来保障人们的生活

赛题目标

利用图像处理和计算机视觉技术 开发一套智能识别系统，自动检测和分类摄像头捕获的视频中，城市管理中的违规行为

社会价值

通过对摄像头捕获的视频进行分析，自动准确识别违规行为，并及时向管理部门发出告警，以实现更高效的城市管理。

评分规则

主要使用到的评分方法如下:
$$\begin{array}{c}\text{ F1score }=2\frac{\text{ Recall }\ast \text{ Precision }}{\text{ Recall }+\text{ Precision }}\\ \text{ MOTA }=1-\frac{\sum FN+FP+IDSW}{\sum GT}\\ \text{ score }=0.85^{\ast }\text{ F1score }+0.15^{\ast }\text{ MOTA }\end{array}$$

对每个json文件得到两个指标的加权求和，最终得分为所有文件得分取均值。
注1：若真实目标框与预测框IOU大于0.5，则判定目标正确识别。若MOTA指标为负，则该类别精度得分为0。
注2：若该视频中没有某个类别的目标，则此类别计算均值时，忽略该视频。

baseline精读代码

什么是YOLO

yolo是一种目标检测算法,全称为"You Only Look Once"表示你只需要看一次,这个也是给该系统起了一个非常顺口且好记的名字,也表明了作者对于他们所提出的模型有极高的自信,yolo也算是在工业界应用较为广泛的一个目标检测算法了,因为它的成本以及效率相对来说还是比较可观的

主要代码内容精读

主要是对如何将给到的视频分解成图片然后分析(内容写在了代码当中),如下:

# 读取训练集视频
for anno_path, video_path in zip(train_annos[:5], train_videos[:5]):
    print(video_path)
    anno_df = pd.read_json(anno_path)
    cap = cv2.VideoCapture(video_path)
    #利用cv2对视频当中的内容进行截断和读取
    frame_idx = 0 
    #标注对应帧,表示读取从0开始
    # 读取视频所有画面
    while True:
        ret, frame = cap.read()
        if not ret:
            break

        img_height, img_width = frame.shape[:2]
        
        # 将画面写为图
        frame_anno = anno_df[anno_df['frame_id'] == frame_idx]
        cv2.imwrite('./yolo-dataset/train/' + anno_path.split('/')[-1][:-5] + '_' + str(frame_idx) + '.jpg', frame)
	   #上述内容完成了从视频向图片的转换,更加有利于模型的分析
		
        # 如果存在标注
        if len(frame_anno) != 0:
            with open('./yolo-dataset/train/' + anno_path.split('/')[-1][:-5] + '_' + str(frame_idx) + '.txt', 'w') as up:
                for category, bbox in zip(frame_anno['category'].values, frame_anno['bbox'].values):
                    category_idx = category_labels.index(category)
                    
                    # 计算yolo标注格式
                    x_min, y_min, x_max, y_max = bbox
                    x_center = (x_min + x_max) / 2 / img_width
                    #提取x中心点
                    y_center = (y_min + y_max) / 2 / img_height
                    #提取y中心点
                    width = (x_max - x_min) / img_width
                    height = (y_max - y_min) / img_height

                    if x_center > 1:
                        print(bbox)
                    up.write(f'{category_idx} {x_center} {y_center} {width} {height}\n')
        
        frame_idx += 1
        #每完成一次就加1,运行下一帧的内容

使用Ultraalytics运行代码

Ultraalytics提供多个计算机视觉的模型库,如下图所示:

from ultralytics import YOLO

# 设置模型版本
model = YOLO("yolov8n.pt") 

# 设定数据集和训练参数
results = model.train(data="yolo-dataset/yolo.yaml", epochs=2, imgsz=1080, batch=16)