遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍

news2024/10/1 3:22:31

背景介绍

开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。

制作流程

数据下载及目录整理

影像下载：https://captain-whu.github.io/DOTA/dataset.html，下载DOTA-v1.0就行

标签下载：https://captain-whu.github.io/iSAID/dataset.html

统计一下数据集数量，其中：

训练集影像：1411张原始图像；1411张实例标签；1411张语义标签。将所有训练图像放置在一起创建iSAID/train/
验证集影像：458张原始图像；458张实例标签；458张语义标签。将所有验证图像放置在一起创建iSAID/val/
测试集影像：937张原始图像；

目录结构如下：

iSAID
├── test
│   └── images
│       ├── P0006.png
│       └── ...
│       └── P0009.png
├── train
│   └── images
│       ├── P0002_instance_color_RGB.png
│       ├── P0002_instance_id_RGB.png
│       ├── P0002.png
│       ├── ...
│       ├── P0010_instance_color_RGB.png
│       ├── P0010_instance_id_RGB.png
│       └── P0010.png
└── val
    └── images
        ├── P0003_instance_color_RGB.png
        ├── P0003_instance_id_RGB.png
        ├── P0003.png
        ├── ...
        ├── P0004_instance_color_RGB.png
        ├── P0004_instance_id_RGB.png
        └── P0004.png

影像裁剪

下载裁剪代码：见博客末尾

进行下列步骤：

创建环境，根据environment.yml文件中的python库安装环境，源码中创建的环境比较老，很容易安装失败，安装的库新一点也没关系；（注意：如果安装lycon失败，先执行下面命令再重新安装包）

sudo apt-get install cmake build-essential libjpeg-dev libpng-dev

安装依赖库，执行下面命令：

# 库1（可装可不装，反正我没装）
cd cocoapi/PythonAPI
make
python setup.py install

# 库2
cd preprocess/cityscapesScripts
python setup.py install

# 库3
cd preprocess/Detectron
python setup.py install

执行裁剪代码split.py，注意需要修改裁剪文件的路径，裁剪小图的大小，以及裁剪窗口的重叠度，执行下面代码：

cd preprocess
python split.py --set train,val
python split.py --set test
# 上面代码执行时间很长

json标签生成

执行json标签生成代码preprocess.py，这一步没啥要注意的，如果前面环境都安装没问题，那就可以正常执行，不过执行时间也是很久，运行完毕后将生成coco格式的大json文件

python preprocess.py --set train,val

json转yolo格式

在转为yolo格式之前可以先利用coco官方API统计一下目标类别，代码如下./preprocess/statistical_category.py：

# -*- coding: utf-8 -*-

from pycocotools.coco import COCO

# 文件路径
dataDir = r'l/'
dataType = 'train2017' #val2017
annFile = '{}/instances_{}.json'.format(dataDir, dataType)

# initialize COCO api for instance annotations
coco_train = COCO(annFile)

# display COCO categories and supercategories
# 显示所有类别
cats = coco_train.loadCats(coco_train.getCatIds())
cat_nms = [cat['name'] for cat in cats]
print('COCO categories:\n{}'.format('\n'.join(cat_nms)) + '\n')
# 统计单个类别的图片数量与标注数量
for cat_name in cat_nms:
    catId = coco_train.getCatIds(catNms=cat_name)
    if cat_name == "person":
        print(catId)
        imgId = coco_train.getImgIds(catIds=catId)
        annId = coco_train.getAnnIds(imgIds=imgId, catIds=catId, iscrowd=False)
        print("{:<15} {:<6d}     {:<10d}\n".format(cat_name, len(imgId), len(annId)))
    if cat_name == "motorcycle":
        print(catId)
        imgId = coco_train.getImgIds(catIds=catId)
        annId = coco_train.getAnnIds(imgIds=imgId, catIds=catId, iscrowd=False)
        print("{:<15} {:<6d}     {:<10d}\n".format(cat_name, len(imgId), len(annId)))
# 统计全部的类别及全部的图片数量和标注数量
print("NUM_categories： " + str(len(coco_train.dataset['categories'])))
print("NUM_images: " + str(len(coco_train.dataset['images'])))
print("NUM_annotations: " + str(len(coco_train.dataset['annotations'])))

# Classes
ship
storage_tank
baseball_diamond
tennis_court
basketball_court
Ground_Track_Field
Bridge
Large_Vehicle
Small_Vehicle
Helicopter
Swimming_pool
Roundabout
Soccer_ball_field
plane
Harbor