在自己的数据集上测试coco评价指标——以Mar20为例

news2024/11/14 15:44:00

参考:
1.在自己的数据集上调用cocoapi计算map
2. COCO Result Format
3.COCO result json
之前的模型都是在COCO数据集上训练,数据集的标注以及结果的生成格式都是按照官方的格式组织的,调用cocoapi和官方下载的instance_val2017.json计算就可以了。
现在需要在其他数据集上测试map等指标,这些图片都是标注好的,但是格式和coco要求不一样,因此需要进行转换。
分为四个步骤:1. 数据集划分和标签转换;2.将标注转为coco的result格式;3. 将模型推理结果保存为result格式;4.调用cocoapi计算;

我要测试的数据集为Mar20,数据的标注格式为未归一化的(xmin, xmax, ymin, ymax),COCO的标注格式为未归一化的(xmin, ymin, width, height)。数据集的组织形式如下:
在这里插入图片描述
注意:这里测试的MAR20数据集类别为20种飞机类,测试过程中我将这20类全部映射为了COCO的飞机类别。如果需要测试其他数据集,在标签转换过程中需要注意cls_id这个属性。

[‘A1’,‘A2’,‘A3’,‘A4’,‘A5’,‘A6’,‘A7’,‘A8’,‘A9’,‘A10’,‘A11’,‘A12’,‘A13’,‘A14’,‘A15’,‘A16’,‘A17’,‘A18’,‘A19’,‘A20’]

一、数据集划分和标签转换

1.xml标签转为txt

首先将xml标签转化为txt。注意不同的数据集修改数据集类别,convert函数,convert_annotation函数里的cls_id,以及数据的路径。转换后的标签保存在MAR20/coco_Labels目录下。

import xml.etree.ElementTree as ET
import os
import cv2
import random
random.seed(0)

# 数据集类别
classes = ['A1','A2','A3','A4','A5','A6','A7','A8','A9','A10','A11','A12','A13','A14','A15','A16','A17','A18','A19','A20' ]
 
def convert(box):
    # 修改 box : xmin, xmax, ymin, ymax -- xmin, ymin, w, h
    y= box[2]
    x= box[0]
    w = box[1] - box[0]
    h = box[3] - box[2]
    return (int(x), int(y), int(w), int(h))
 
#  修改 数据集地址
dataset_path = './datasets/MAR20'

def convert_annotation(image_id):
    in_file = open(os.path.join(dataset_path, f'Annotations/Horizontal Bounding Boxes/{image_id}.xml'))  # 修改 xml所在路径
    img_file = cv2.imread(os.path.join(dataset_path, f'JPEGImages/{image_id}.jpg'))  # 修改 图片所在路径
    out_file = open(os.path.join(dataset_path, f'coco_Labels/{image_id}.txt' ),'w+')  # 修改 转换后的txt保存路径
    tree = ET.parse(in_file)
    root = tree.getroot()

    assert img_file is not None
    size = img_file.shape[0:-1]
    h = int(size[0])
    w = int(size[1])
    for obj in root.iter('object'):
        cls = obj.find('name').text
        if cls not in classes :
            continue
        # cls_id = classes.index(cls)
        cls_id = 4  # 修改 Mar20是飞机目标识别,细分为10类,这里将飞机目标统一为COCO的飞机目标类别,即4
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        ZIP_ONE = convert(b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in ZIP_ONE]) + '\n')
 
wd = getcwd()

coco_Labels_out = os.path.join(dataset_path, 'coco_Labels')  # 修改 保存图片绝对路径的txt文件的路径

if not os.path.exists(coco_Labels_out):
    os.makedirs(coco_Labels_out)

images = os.listdir(os.path.join(dataset_path, 'JPEGImages'))  # 修改 图片所在文件夹
files = [file for file in images if file.endswith('.jpg')]
image_ids = [file.split('.')[0] for file in files]

for image_id in image_ids:
    try:
        print(image_id)        
        convert_annotation(image_id)
    except:
        print('error img:', image_id)

运行以上代码后会在coco_Labels文件夹下生成以下文本:
在这里插入图片描述

2.划分数据集

然后划分数据集的图片和标签,注意修改划分的比例,输入和输出的地址。划分后的数据保存在MAR20/split目录下。

import os
import random
from shutil import copyfile
random.seed(0)

def split_dataset(input_images_dir, input_labels_dir, output_dir, split_ratio=(0.7, 0.05, 0.25)):
    # 创建输出目录结构
    os.makedirs(output_dir, exist_ok=True)
    os.makedirs(os.path.join(output_dir, 'images', 'train'), exist_ok=True)
    os.makedirs(os.path.join(output_dir, 'images', 'val'), exist_ok=True)
    os.makedirs(os.path.join(output_dir, 'images', 'test'), exist_ok=True)
    os.makedirs(os.path.join(output_dir, 'labels', 'train'), exist_ok=True)
    os.makedirs(os.path.join(output_dir, 'labels', 'val'), exist_ok=True)
    os.makedirs(os.path.join(output_dir, 'labels', 'test'), exist_ok=True)

    # 获取所有图片文件
    image_files = [f for f in os.listdir(input_images_dir) if f.endswith('.jpg')]
    num_images = len(image_files)

    # 随机打乱图片顺序
    random.shuffle(image_files)

    # 计算划分的数量
    num_train = int(num_images * split_ratio[0])
    num_val = int(num_images * split_ratio[1])
    num_test = num_images - num_train - num_val

    # 分割图片和标签文件
    for i, image_file in enumerate(image_files):
        if i < num_train:
            set_name = 'train'
        elif i < num_train + num_val:
            set_name = 'val'
        else:
            set_name = 'test'

        # 复制图片文件
        copyfile(os.path.join(input_images_dir, image_file), os.path.join(output_dir, 'images', set_name, image_file))

        # 构建对应的标签文件名
        label_file = os.path.splitext(image_file)[0] + '.txt'

        # 复制标签文件
        copyfile(os.path.join(input_labels_dir, label_file), os.path.join(output_dir, 'labels', set_name, label_file))

# 修改 数据集地址
dataset_path = './datasets/MAR20'

# 修改输出地址
output_dir = os.path.join(dataset_path, 'split')
os.makedirs(output_dir, exist_ok=True)

# 修改输入图片和标签地址
input_images_dir = os.path.join(dataset_path, 'JPEGImages')
input_labels_dir = os.path.join(dataset_path,'coco_Labels')

split_ratio=(0.7, 0.05, 0.25)
# 调用划分函数 划分比例为70%训练集,5%验证集,25%测试集
split_dataset(input_images_dir, input_labels_dir, output_dir, split_ratio)

划分好后,在MAR20/split文件夹下生成以下文件:
在这里插入图片描述

二、将标注转为coco的result格式

首先将test数据集的图片路径保存到test.txt文件中:

import xml.etree.ElementTree as ET
import os

# test图片路径
test_path = './datasets/MAR20/split/images/test'
# 保存txt路径
saved_txt_path = './datasets/MAR20/test.txt'

for img in os.listdir(test_path):
    img_path = os.path.join(test_path, img)
    with open(saved_txt_path, 'a') as f:
        f.write(img_path + '\n')

MAR20/test.txt文件内容如下:
在这里插入图片描述
然后将MAR20/labels/test文件夹下的标注转换为coco格式,输出为annotations.json:

import json
import cv2
import os


if __name__=='__main__':
    cats = list()
    # 输出的json文件路径
    out_path = 'annotations.json'
    # test.txt路径
    test_path = './datasets/MAR20/test.txt'

    with open('obj.names', 'r') as f:
        for line in f.readlines():
            line = line.strip('\n')
            cats.append(line)
    cat_info = []
    for i, cat in enumerate(cats):
        cat_info.append({'name': cat, 'id': i})

    ret = {'images': [], 'annotations': [], "categories": cat_info}
    i = 0
    for line in open(test_path, 'r'):
        line = line.strip('\n')
        i += 1
        image_id = eval(os.path.basename(line).split('.')[0])
        image_info = {'file_name': '{}'.format(line), 'id': image_id}
        ret['images'].append(image_info)
        anno_path = line.replace('.jpg', '.txt')
        anno_path = anno_path.replace('images', 'labels')
        anns = open(anno_path, 'r')
        img = cv2.imread(line)
        height, width = img.shape[0], img.shape[1]
        for ann_id, txt in enumerate(anns):
            tmp = txt[:-1].split(' ')
            cat_id = tmp[0]
            bbox = [float(x) for x in tmp[1:]]  # 注意box格式,已经提前转换成coco格式了
            area = round(bbox[2] * bbox[3], 2)
            # coco annotation format
            ann = {'image_id': image_id,
                'id': int(len(ret['annotations']) + 1),
                'category_id': int(cat_id),
                'bbox': bbox,
                'iscrowd': 0,
                'area': area}
            ret['annotations'].append(ann)
    
    json.dump(ret, open(out_path, 'w'))

以上转换需要用到的coco标签和id对应关系如下,文件名为obj.names,复制以下内容保存到obj.names中:

0: person
1: bicycle
2: car
3: motorcycle
4: airplane
5: bus
6: train
7: truck
8: boat
9: traffic light
10: fire hydrant
11: stop sign
12: parking meter
13: bench
14: bird
15: cat
16: dog
17: horse
18: sheep
19: cow
20: elephant
21: bear
22: zebra
23: giraffe
24: backpack
25: umbrella
26: handbag
27: tie
28: suitcase
29: frisbee
30: skis
31: snowboard
32: sports ball
33: kite
34: baseball bat
35: baseball glove
36: skateboard
37: surfboard
38: tennis racket
39: bottle
40: wine glass
41: cup
42: fork
43: knife
44: spoon
45: bowl
46: banana
47: apple
48: sandwich
49: orange
50: broccoli
51: carrot
52: hot dog
53: pizza
54: donut
55: cake
56: chair
57: couch
58: potted plant
59: bed
60: dining table
61: toilet
62: tv
63: laptop
64: mouse
65: remote
66: keyboard
67: cell phone
68: microwave
69: oven
70: toaster
71: sink
72: refrigerator
73: book
74: clock
75: vase
76: scissors
77: teddy bear
78: hair drier
79: toothbrush

三、将推理结果转换为coco格式

推理的时候将单帧结果保存在items,所有的推理结果保存在result,然后将result保存到results.txt文件中。
保存的格式可以参考https://cocodataset.org/#format-results 和 https://github.com/cocodataset/cocoapi/tree/master/results

然后手动将results.txt后缀改为.json即可(保存为json总是报错,麻了)。

#  items为每一帧的检测结果
    for i in range(len(classes)):
        items.append({"image_id": eval(image_name),"category_id":classes[i],"bbox":boxes[i].tolist(), "score":1.0})
    # 检测结果为空也要保存,否则会导致后续的评估出错
    if len(items)==0:
        items.append({"image_id": eval(image_name),"category_id":0,"bbox":[0,0,0,0], "score":0})

# 以上代码保存了单帧检测结果,result保存了所有的结果
result = []
# ...
result.extend(items)

json_file_path = 'results.txt'
# 字典键值会自动变为单引号,json格式必须为双引号,所以需要用json.dumps()函数转换字符
json_str = json.dumps(result, ensure_ascii=False, default=default_dump) 
with open(json_file_path, 'w') as file:
     file.write(str(json_str))

四、调用cocoapi计算coco指标

直接调用接口即可计算coco指标:

from pycocotools.coco import COCO
from pycocotools.cocoeval import COCOeval

def main():
    results_file ='result.json'
    annotations = 'annotations.json'
   
    cocoGt = COCO(annotations)
    cocoDt = cocoGt.loadRes(results_file)

    cocoEval = COCOeval(cocoGt, cocoDt, 'bbox')

    cocoEval.params.catIds = [4] # 你可以根据需要增减类别
    cocoEval.evaluate()
    cocoEval.accumulate()
    cocoEval.summarize()

if __name__ == '__main__':
    main()

五、YOLO系列调用cocoapi

根据前面一、二步骤划分好数据集,转换好annotations.json,可以直接运行以下.py文件获得coco指标:

import os
import json

from pycocotools.coco import COCO
from pycocotools.cocoeval import COCOeval
from ultralytics import YOLO

def generate_results(yolo, imgs_dir, jpgs, results_file):
    """Run detection on each jpg and write results to file."""
    results = []
    for jpg in jpgs:
        img_path = os.path.join(imgs_dir, jpg)
        image_id = int(jpg.split('.')[0])
        det = yolo.predict(img_path, conf=0.25,save=True)
        boxes = det[0].boxes
        for i in range(len(boxes)):
            box = boxes[i]
            # 注意ultralytics中的xywh坐标中xy是中心点坐标,coco中的xy是左上角坐标
            x_c, y_c, w, h = box.xywh.tolist()[0]   
            
            x_min = x_c - w / 2
            y_min = y_c - h / 2
            conf = box.conf.tolist()[0]
            cls = int(box.cls.tolist()[0])
            results.append({'image_id': image_id,
                            'category_id': cls,
                            'bbox': [x_min, y_min, w, h],
                            'score': float(conf)})
    with open(results_file, 'w') as f:
        f.write(json.dumps(results, indent=4))
        
def main():
    results_file ='result.json'  # yolo推理结果保存文件
    imgs_dir = './datasets/MAR20/split/images/test'  # 测试集图片路径
    annotations = 'annotations.json'  # gt标注文件
    model=YOLO('yolov8l.yaml').load("/home/jingjia/sdb/liaocheng/ultralytics-main/yolov8l.pt")

    jpgs = [j for j in os.listdir(imgs_dir) if j.endswith('.jpg')]

    generate_results(model, imgs_dir, jpgs, results_file)
    

    # Run COCO mAP evaluation
    # Reference: https://github.com/cocodataset/cocoapi/blob/master/PythonAPI/pycocoEvalDemo.ipynb
    cocoGt = COCO(annotations)
    cocoDt = cocoGt.loadRes(results_file)

    cocoEval = COCOeval(cocoGt, cocoDt, 'bbox')

    cocoEval.params.catIds = [4] # 你可以根据需要增减类别
    cocoEval.evaluate()
    cocoEval.accumulate()
    cocoEval.summarize()

if __name__ == '__main__':
    main()

运行结果:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2086460.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Win11 操作(七)声音降噪

前言 为了听脚步和不外放声音影响到女朋友休息&#xff0c;于是买了S21头戴式耳机&#xff0c;虽然目的都达到了&#xff0c;但是又有新问题出现 损害队友听力 由于天气炎热&#xff0c;家里都开着风扇&#xff0c;但是耳机没有降噪功能所以我的麦噪音极大&#xff0c;这就导…

OpenLayers3, 设置地图背景

文章目录 一、前言二、代码实现三、总结 一、前言 本文基于OpenLayers3&#xff0c;实现地图加入背景图的功能。 二、代码实现 <!DOCTYPE html> <html xmlns"http://www.w3.org/1999/xhtml"> <head><meta http-equiv"Content-Type"…

封装string

仿照string类&#xff0c;实现mystring #include <iostream> #include<string.h> using namespace std;class MyString {private:char *str; //记录c风格的字符串int size0; //记录字符串实际长度public://无参构造&#xff1a;定义了一个字符串MyStri…

Noise, Dynamic Range and Bit Depth in Digital SLRs --- 数字单反相机中的噪点、动态范围和位深

系列文章目录 文章目录 系列文章目录前言数字单反相机中的噪点、动态范围和位深二、噪声的来源2.1 光子散粒噪声2.2 读出噪声2.3 模式噪声2.4 热噪声2.5 像素响应不均匀性&#xff08;PRNU&#xff09;2.5 量化误差 前言 Noise, Dynamic Range and Bit Depth in Digital SLRs …

golang私有仓库遇到的问题记录

问题1: is this a git repository? 原因&#xff1a;git保存了错误的用户名密码 我是mac系统&#xff0c;在启动台-》其他-》钥匙串&#xff0c;找到git的登录信息&#xff0c;将错误的钥匙串删除即可。 问题2: remote: The project you were looking for could not be found…

HarmonyOS鸿蒙开发( Beta5版)Navigation组件常规加载与动态加载

简介 应用在加载页面时&#xff0c;如果引入暂时不需要加载的模块&#xff0c;会导致页面加载缓慢和不必要的内存占用。例如当页面使用Navigation组件时&#xff0c;主页默认加载子页面&#xff0c;此时若子页面使用了Web组件&#xff0c;则会提前加载Web相关的so库&#xff0…

Mybatis:基础巩固-DQL

目录 一、概述二、数据准备三、基础查询四、条件查询五、聚合函数六、分组查询七、排序查询八、分页查询九、DQL执行顺序 一、概述 主要用于对数据的查询操作&#xff0c;使用的关键字SELECT SELECT 字段列表 FROM 表名 WHERE 条件列表 GROUP BY 分组字段 HAVING 分组后条件列表…

Renesa Version Board和微信小程序通信

目录 概述 1. 系统框架结构 1.1 功能介绍 1.2 系统框图 2 微信小程序开发 2.1 UI介绍 2.2 代码实现 3 功能实现 3.1 通信协议 3.2 系统测试 概述 本文主要介绍基于Renesa Version Board&#xff0c;采集多个传感器数据&#xff0c;并将这些数据通过蓝牙模块发送微信…

《黑神话悟空》:国产3A游戏的崛起与AI绘画技术的融合

一、游戏简介 近年来&#xff0c;国产3A游戏《黑神话悟空》以其精美的画面、丰富的剧情和独特的文化底蕴吸引了众多玩家的关注。这款游戏以中国古典名著《西游记》为背景&#xff0c;讲述了孙悟空历经磨难&#xff0c;最终成长为斗战胜佛的故事。在游戏制作过程中&#xff0c;开…

办公必备,免费的在线万能格式转换工具

在当今数字化时代&#xff0c;文件格式转换已成为办公和日常生活中不可或缺的一部分。随着各种文件格式的不断涌现&#xff0c;人们对于高效、便捷的文件转换工具的需求日益增长。小编将为大家介绍几款免费的在线万能格式转换工具&#xff0c;帮助大家轻松应对各种文件转换需求…

golang uint8 转int出现ascll码值

在Golang中&#xff0c;uint8类型被用来表示ASCII码值。 结果是51 如果是uint8(3)的话结果还是3 所以在我们想把一个uint8类型的字符数字转换为int类型时需要特殊处理 减去对应ASCII码’0’的值 结果就是3了

Python循环结束语句 break语句 continue语句

Python break 语句 Python break语句&#xff0c;就像在C语言中&#xff0c;打破了最小封闭for或while循环。 break语句用来终止循环语句&#xff0c;即循环条件没有False条件或者序列还没被完全递归完&#xff0c;也会停止执行循环语句。 break语句用在while和for循环中。 …

df的 一列,是文字, 比如 xxxxx-1, xxxx-2 , 最后有 -1 或者 -2,把最后的数字减去1,写道一个新的列里面

file_pathrf"D:\file\工作簿1-1.xlsx"# from stutil import PandasUtil import pandas as pd dfpd.read_excel(file_path) # PandasUtil. # df的 一列&#xff0c;是文字&#xff0c; 比如 xxxxx-1, xxxx-2 , 最后有 -1 或者 -2&#xff0c;把 -1 变成 -0&#xff…

【测试面试题】14题常见APP测试面试题(参考答案)

大家好&#xff0c;这份面试题不难&#xff0c;都是一些基础题。 先上一个面试题汇总图&#xff0c;建议大家可以先思考下如果是自己能不能回答全&#xff0c;再去对照看参考答案。 下面为参考答案&#xff1a; 一、基础篇 1、APP的测试流程&#xff1f; APP测试流程与web测…

数分基础(03-3)客户特征分析--Tableau

文章目录 客户特征分析 - Tableau1. 说明2. 思路与步骤3. 数据准备和导入3.1 用EXCEL初步检查和处理数据3.1.1 打开3.1.2 初步检查&#xff08;1&#xff09;缺失值检查缺失值处理 &#xff08;2&#xff09;格式化日期字段&#xff08;3&#xff09;其他字段数据类型 &#xf…

在离线环境中安装依赖包

在离线环境中安装依赖包的方法&#xff1a; 参考文章&#xff1a; 1.如何离线下载python依赖包 2.python 依赖包打包 离线下载 3.Python的国内安装源&#xff08;也称为镜像源&#xff09; 最终安装效果&#xff0c;有部分失败的&#xff0c;重新下载失败的再去试试

达梦数据库启动与停止

1.1.1数据库启停之菜单方式启动、停止达梦数据库 当数据库服务器是Windows时&#xff0c;开始-->达梦数据库-->点击“DM服务查看器”&#xff0c;找到 “DmService【数据库实例名】” -->右键启动或停止。 下图中数据库实例名是DMSERVER 当数据库服务器是Linux时&…

kali

目录 一、网络配置 二、nat模式 1.检查服务 2.创建虚拟网卡 3.创建kali的网卡信息 三、桥接模式 四、nmap的使用 1.端口扫描 1>扫描主机端口 2>扫描指定端口 2.主机扫描 3.服务识别 4.系统识别 5.漏洞检测 6.导出扫描结果 五、msfconsole的使用 1.简介 …

imFile:全平台下载工具的新星

在数字化时代&#xff0c;我们经常需要下载各种文件和数据。一款好的下载工具不仅能提高我们的工作效率&#xff0c;还能带来愉悦的用户体验。今天&#xff0c;电脑天空将为大家介绍一款基于Motrix开发的全平台下载工具——imFile。 imFile是一款功能强大的下载工具&#xff0…

网络爬虫--生成假数据

爬取网址中的数据。 下面3个分别是姓、女孩名字、男孩名字的网址。 String familyURLStr "http://www.baijiaxing.net.cn/";String girlNameURLStr "https://wannianli.tianqi.com/qiming/news/16536.html";String boyNameURLStr "https://wanni…