YOLOv8 segment介绍

news2025/1/20 11:02:14

      1.YOLOv8图像分割支持的数据格式：

      (1).用于训练YOLOv8分割模型的数据集标签格式如下:

      1).每幅图像对应一个文本文件：数据集中的每幅图像都有一个与图像文件同名的对应文本文件，扩展名为".txt";

      2).文本文件中每个目标(object)占一行：文本文件中的每一行对应图像中的一个目标实例；

      3).每行目标信息：如下所示：之间用空格分隔

      A.目标类别索引：整数，例如：0代表person，1代表car，等等;

      B.目标边界坐标：mask区域周围的边界坐标，归一化为[0, 1];

<class-index> <x1> <y1> <x2> <y2> ... <xn> <yn>

      注：每行的长度不必相等；每个分隔label必须至少有3对xy点

      (2).数据集YAML格式：Ultralytics框架使用YAML文件格式来定义用于训练分隔模型的数据集和模型配置，如下面测试数据集melon中melon_seg.yaml内容如下： 在网上下载了60多幅包含西瓜和冬瓜的图像组成melon数据集

path: ../datasets/melon_seg # dataset root dir
train: images/train # train images (relative to 'path')
val: images/val  # val images (relative to 'path')
test: # test images (optional)

# Classes
names:
  0: watermelon
  1: wintermelon

      2.使用半自动标注工具 EISeg 对数据集melon进行标注：

      (1).从 PaddleSeg 中下载"通用场景的图像标注"高精度模型static_hrnet18_ocr64_cocolvis.zip；

      (2).标注前先按照下面操作设置好：

      1).选中JSON保存，取消COCO保存;

      2).选中自动保存;

      3).取消灰度保存.

      3.编写Python脚本将EISeg生成的json文件转换成YOLOv8 segment支持的txt文件：

import os
import json
import argparse
import colorama
import random
import shutil
import cv2

# supported image formats
img_formats = (".bmp", ".jpeg", ".jpg", ".png", ".webp")

def parse_args():
	parser = argparse.ArgumentParser(description="json(EISeg) to txt(YOLOv8)")

	parser.add_argument("--dir", required=True, type=str, help="images directory, all json files are in the label directory, and generated txt files are also in the label directory")
	parser.add_argument("--labels", required=True, type=str, help="txt file that hold indexes and labels, one label per line, for example: face 0")
	parser.add_argument("--val_size", default=0.2, type=float, help="the proportion of the validation set to the overall dataset:[0., 0.5]")
	parser.add_argument("--name", required=True, type=str, help="the name of the dataset")

	args = parser.parse_args()
	return args

def get_labels_index(name):
	labels = {} # key,value
	with open(name, "r") as file:
		for line in file:
			# print("line:", line)

			key_value = []
			for v in line.split(" "):
				# print("v:", v)
				key_value.append(v.replace("\n", "")) # remove line breaks(\n) at the end of the line
			if len(key_value) != 2:
				print(colorama.Fore.RED + "Error: each line should have only two values(key value):", len(key_value))
				continue

			labels[key_value[0]] = key_value[1]
		
	with open(name, "r") as file:
		line_num = len(file.readlines())

	if line_num != len(labels):
		print(colorama.Fore.RED + "Error: there may be duplicate lables:", line_num, len(labels))

	return labels

def get_json_files(dir):
	jsons = []
	for x in os.listdir(dir+"/label"):
		if x.endswith(".json"):
			jsons.append(x)

	return jsons

def parse_json(name_json, name_image):
	img = cv2.imread(name_image)
	if img is None:
		print(colorama.Fore.RED + "Error: unable to load image:", name_image)
		raise
	height, width = img.shape[:2]

	with open(name_json, "r") as file:
		data = json.load(file)

		objects=[]
		for i in range(0, len(data)):
			object = []
			object.append(data[i]["name"])
			object.append(data[i]["points"])
			objects.append(object)

	return width, height, objects

def write_to_txt(name_json, width, height, objects, labels):
	name_txt = name_json[:-len(".json")] + ".txt"
	# print("name txt:", name_txt)

	with open(name_txt, "w") as file:
		for obj in objects: # 0: name; 1: points
			if len(obj[1]) < 3:
				print(colorama.Fore.RED + "Error: must be at least 3 pairs:", len(obj[1]), name_json)
				raise
			
			if obj[0] not in labels:
				print(colorama.Fore.RED + "Error: unsupported label:", obj[0], labels)
				raise

			string = ""
			for pt in obj[1]:
				string = string + " " + str(round(pt[0] / width, 6)) + " " + str(round(pt[1] / height, 6))
			
			string = labels[obj[0]] + string + "\r"
			file.write(string)

def json_to_txt(dir, jsons, labels):
	for json in jsons:
		name_json = dir + "/label/" + json
		name_image = ""

		for format in img_formats:
			file = dir + "/" + json[:-len(".json")] + format
			if os.path.isfile(file):
				name_image = file
				break

		if not name_image:
			print(colorama.Fore.RED + "Error: required image does not exist:", json[:-len(".json")])
			raise
		# print("name image:", name_image)

		width, height, objects = parse_json(name_json, name_image)
		# print(f"width: {width}; height: {height}; objects: {objects}")

		write_to_txt(name_json, width, height, objects, labels)


def get_random_sequence(length, val_size):
	numbers = list(range(0, length))
	val_sequence = random.sample(numbers, int(length*val_size))
	# print("val_sequence:", val_sequence)

	train_sequence = [x for x in numbers if x not in val_sequence]
	# print("train_sequence:", train_sequence)

	return train_sequence, val_sequence

def get_files_number(dir):
	count = 0
	for file in os.listdir(dir):
		if os.path.isfile(os.path.join(dir, file)):
			count += 1

	return count

def split_train_val(dir, jsons, name, val_size):
	if val_size > 0.5 or val_size < 0.01:
		print(colorama.Fore.RED + "Error: the interval for val_size should be:[0.01, 0.5]:", val_size)
		raise

	dst_dir_images_train = "datasets/" + name + "/images/train"
	dst_dir_images_val = "datasets/" + name + "/images/val"
	dst_dir_labels_train = "datasets/" + name + "/labels/train"
	dst_dir_labels_val = "datasets/" + name + "/labels/val"

	try:
		os.makedirs(dst_dir_images_train) #, exist_ok=True
		os.makedirs(dst_dir_images_val)
		os.makedirs(dst_dir_labels_train)
		os.makedirs(dst_dir_labels_val)
	except OSError as e:
		print(colorama.Fore.RED + "Error: cannot create directory:", e.strerror)
		raise

	# print("jsons:", jsons)
	train_sequence, val_sequence = get_random_sequence(len(jsons), val_size)

	for index in train_sequence:
		for format in img_formats:
			file = dir + "/" + jsons[index][:-len(".json")] + format
			# print("file:", file)
			if os.path.isfile(file):
				shutil.copy(file, dst_dir_images_train)
				break

		file = dir + "/label/" + jsons[index][:-len(".json")] + ".txt"
		if os.path.isfile(file):
			shutil.copy(file, dst_dir_labels_train)

	for index in val_sequence:
		for format in img_formats:
			file = dir + "/" + jsons[index][:-len(".json")] + format
			if os.path.isfile(file):
				shutil.copy(file, dst_dir_images_val)
				break

		file = dir + "/label/" + jsons[index][:-len(".json")] + ".txt"
		if os.path.isfile(file):
			shutil.copy(file, dst_dir_labels_val)

	num_images_train = get_files_number(dst_dir_images_train)
	num_images_val = get_files_number(dst_dir_images_val)
	num_labels_train = get_files_number(dst_dir_labels_train)
	num_labels_val = get_files_number(dst_dir_labels_val)

	if  num_images_train + num_images_val != len(jsons) or num_labels_train + num_labels_val != len(jsons):
		print(colorama.Fore.RED + "Error: the number of files is inconsistent:", num_images_train, num_images_val, num_labels_train, num_labels_val, len(jsons))
		raise


def generate_yaml_file(labels, name):
	path = os.path.join("datasets", name, name+".yaml")
	# print("path:", path)
	with open(path, "w") as file:
		file.write("path: ../datasets/%s # dataset root dir\n" % name)
		file.write("train: images/train # train images (relative to 'path')\n")
		file.write("val: images/val  # val images (relative to 'path')\n")
		file.write("test: # test images (optional)\n\n")

		file.write("# Classes\n")
		file.write("names:\n")
		for key, value in labels.items():
			# print(f"key: {key}; value: {value}")
			file.write("  %d: %s\n" % (int(value), key))


if __name__ == "__main__":
	colorama.init()
	args = parse_args()

	# 1. parse JSON file and write it to a TXT file
	labels = get_labels_index(args.labels)
	# print("labels:", labels)
	jsons = get_json_files(args.dir)
	# print(f"jsons: {jsons}; number: {len(jsons)}")
	json_to_txt(args.dir, jsons, labels)

	# 2. split the dataset
	split_train_val(args.dir, jsons, args.name, args.val_size)

	# 3. generate a YAML file
	generate_yaml_file(labels, args.name)

	print(colorama.Fore.GREEN + "====== execution completed ======")

      以上脚本包含3个功能：

      1).将json文件转换成txt文件；

      2).将数据集随机拆分成训练集和测试集；

      3).产生需要的yaml文件

      4.编写Python脚本进行train:

import argparse
import colorama
from ultralytics import YOLO

def parse_args():
	parser = argparse.ArgumentParser(description="YOLOv8 train")
	parser.add_argument("--yaml", required=True, type=str, help="yaml file")
	parser.add_argument("--epochs", required=True, type=int, help="number of training")
	parser.add_argument("--task", required=True, type=str, choices=["detect", "segment"], help="specify what kind of task")

	args = parser.parse_args()
	return args

def train(task, yaml, epochs):
	if task == "detect":
		model = YOLO("yolov8n.pt") # load a pretrained model
	elif task == "segment":
		model = YOLO("yolov8n-seg.pt") # load a pretrained model
	else:
		print(colorama.Fore.RED + "Error: unsupported task:", task)
		raise

	results = model.train(data=yaml, epochs=epochs, imgsz=640) # train the model

	metrics = model.val() # It'll automatically evaluate the data you trained, no arguments needed, dataset and settings remembered

	model.export(format="onnx") #, dynamic=True) # export the model, cannot specify dynamic=True, opencv does not support
	# model.export(format="onnx", opset=12, simplify=True, dynamic=False, imgsz=640)
	model.export(format="torchscript") # libtorch

if __name__ == "__main__":
	colorama.init()
	args = parse_args()

	train(args.task, args.yaml, args.epochs)

	print(colorama.Fore.GREEN + "====== execution completed ======")

      执行结果如下图所示：会生成best.pt、best.onnx、best.torchscript

      5.生成的best.onnx使用Netron进行可视化，结果如下图所示：

      说明：

      1).输入：images: float32[1,3,640,640] :与YOLOv8 detect一致，大小为3通道640*640

      2).输出：包括2层，output0和output1

      A.output0: float32[1,38,8400] ：

      a.8400：模型预测的所有box的数量，与YOLOv8 detect一致；

      b.38: 每个框给出38个值：4：xc, yc, width, height；2：class, confidences；32：mask weights

      B.output1: float32[1,32,160,160] :最终mask大小是160*160;output1中的masks实际上只是原型masks，并不代表最终masks。为了得到某个box的最终mask，你可以将每个mask与其对应的mask weight相乘，然后将所有这些乘积相加。此外，你可以在box上应用NMS，以获得具有特定置信度阈值的box子集

      6.编写Python脚本实现predict：

import colorama
import argparse
from ultralytics import YOLO
import os

def parse_args():
	parser = argparse.ArgumentParser(description="YOLOv8 predict")
	parser.add_argument("--model", required=True, type=str, help="model file")
	parser.add_argument("--dir_images", required=True, type=str, help="directory of test images")
	parser.add_argument("--dir_result", required=True, type=str, help="directory where the image results are saved")

	args = parser.parse_args()
	return args

def get_images(dir):
	# supported image formats
	img_formats = (".bmp", ".jpeg", ".jpg", ".png", ".webp")
	images = []

	for file in os.listdir(dir):
		if os.path.isfile(os.path.join(dir, file)):
			# print(file)
			_, extension = os.path.splitext(file)
			for format in img_formats:
				if format == extension.lower():
					images.append(file)
					break

	return images

def predict(model, dir_images, dir_result):
	model = YOLO(model) # load an model
	model.info() # display model information

	images = get_images(dir_images)
	# print("images:", images)

	os.makedirs(dir_result) #, exist_ok=True)

	for image in images:
		results = model.predict(dir_images+"/"+image)
		for result in results:
			# print(result)
			result.save(dir_result+"/"+image)
			
if __name__ == "__main__":
	colorama.init()
	args = parse_args()

	predict(args.model, args.dir_images, args.dir_result)

	print(colorama.Fore.GREEN + "====== execution completed ======")

      执行结果如下图所示：

      其中一幅图像的分割结果如下图所示：以下是epochs设置为100时生成的best.pt的结果

      GitHub：https://github.com/fengbingchun/NN_Test

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1801633.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

CF279A Point on Spiral 题解

CF279A Point on Spiral 题解

解题思路 按照题目中的规律画出来的图片如下&#xff1a; 那么&#xff0c;我们直接根据规律判断当前查询的节点在那一条线段上就可以了。易得&#xff0c;当前的基础转向次数为 max ( ∣ x ∣ − 1 , ∣ y ∣ − 1 ) 4 (|x|-1,|y|-1)\times 4 (∣x∣−1,∣y∣−1)4&#x…
阅读更多...
芯片软件复位的作用

芯片软件复位的作用

在调试系统或现场使用时&#xff0c;常用软件复位而不是频繁地通过断电来实现复位操作有以下优劣势&#xff1a; 优势&#xff1a; 数据完整性&#xff1a;通过软件复位&#xff0c;系统可以在一个受控的环境中重新启动&#xff0c;确保数据的完整性和一致性&#xff0c;避免…
阅读更多...
Spring Boot 使用自定义注解和自定义线程池实现异步日志记录

Spring Boot 使用自定义注解和自定义线程池实现异步日志记录

&#x1f604; 19年之后由于某些原因断更了三年&#xff0c;23年重新扬帆起航&#xff0c;推出更多优质博文&#xff0c;希望大家多多支持&#xff5e; &#x1f337; 古之立大事者&#xff0c;不惟有超世之才&#xff0c;亦必有坚忍不拔之志 &#x1f390; 个人CSND主页——Mi…
阅读更多...
Diffusers代码学习: IP-Adapter Inpainting

Diffusers代码学习: IP-Adapter Inpainting

IP-Adapter还可以通过Inpainting自动管道和蒙图方式生成目标图片。 # 以下代码为程序运行进行设置&#xff0c;使用Inpainting 的自动管道&#xff0c; import os os.environ["HF_ENDPOINT"] "https://hf-mirror.com"from diffusers import AutoPipelin…
阅读更多...
0基础学习区块链技术——链之间数据同步样例

0基础学习区块链技术——链之间数据同步样例

大纲 创建区块新增链区块链直接替换 我们可以在https://blockchaindemo.io/体验这个过程。 创建区块 默认第一个链叫Satoshi(中本聪)。链上第一个区块叫“创世区块”——Genesis Block。后面我们会看到创建的第二条链第一个区块也是如此。 新增链 新创建的链叫Debby。默认…
阅读更多...
android中调用onnxruntime框架

android中调用onnxruntime框架

创建空白项目 安装Android Studio及创建空白项目参考&#xff1a;【安卓Java原生开发学习记录】一、安卓开发环境的搭建与HelloWorld&#xff08;详细图文解释&#xff09;_安卓原生开发-CSDN博客 切记&#xff1a;build configuration language 一定选择Groovy&#xff01;官…
阅读更多...
向量化：机器学习中的效率加速器与数据桥梁

向量化：机器学习中的效率加速器与数据桥梁

在机器学习领域的广袤天地中&#xff0c;向量化技术以其独特的魅力&#xff0c;为数据处理和模型训练注入了强大的动力。本文将深入探讨向量化在机器学习领域中的体现&#xff0c;剖析其如何助力模型实现高效的数据处理和精确的结果预测&#xff0c;并通过丰富的案例和详尽的数…
阅读更多...
【人工智能Ⅱ】实验8：生成对抗网络

【人工智能Ⅱ】实验8：生成对抗网络

实验8&#xff1a;生成对抗网络 一&#xff1a;实验目的 1&#xff1a;理解生成对抗网络的基本原理。 2&#xff1a;学会构建改进的生成对抗网络&#xff0c;如DCGAN、WGAN、WGAN-GP等。 3&#xff1a;学习在更为真实的数据集上应用生成对抗网络的方法。 二&#xff1a;实验…
阅读更多...
Vue2学习（04）

Vue2学习（04）

目录 一、组件的三大组成部分 二、组件的样式冲突scoped 三、scoped原理 ​编辑 四、data是一个函数 五、组件通信 六、props详解 七、非父子通信 1.eventbus事件总线(可以一传多)--->作用是在非父子组件之间&#xff0c;进行简易的消息传递&#xff08;复杂场景---&…
阅读更多...
深拷贝、浅拷贝、引用拷贝

深拷贝、浅拷贝、引用拷贝

深拷贝和浅拷贝的区别 1. 引用拷贝2. 对象拷贝 1. 引用拷贝 两个对象指向同一个地址值。 创建一个指向对象的引用变量的拷贝Teacher teacher new Teacher("Taylor",26); Teacher otherteacher teacher; System.out.println(teacher); System.out.println(otherte…
阅读更多...
【面试干货】如何选择MySQL数据库存储引擎(MyISAM 或 InnoDB）

【面试干货】如何选择MySQL数据库存储引擎(MyISAM 或 InnoDB）

【面试干货】如何选择MySQL数据库存储引擎(MyISAM 或 InnoDB&#xff09; &#x1f496;The Begin&#x1f496;点点关注&#xff0c;收藏不迷路&#x1f496; MySQL数据库存储引擎是一个 关键 的考虑因素。MySQL提供了多种存储引擎&#xff0c;其中最常用的是 MyISAM 和 InnoD…
阅读更多...
[word] word表格如何设置外框线和内框线 #媒体#笔记

[word] word表格如何设置外框线和内框线 #媒体#笔记

word表格如何设置外框线和内框线 点击表格的左上角按钮从而选中表格 点击边框按钮边上的下拉箭头&#xff0c;选择边框和底纹 点击颜色边上的下拉箭头&#xff0c;选择红色 点击取消掉中间的边框&#xff0c;只保留外围边框 点击颜色边上的下拉箭头&#xff0c;选择另外一个颜…
阅读更多...
2013.8.5-2024.5.10碳排放权交易明细数据

2013.8.5-2024.5.10碳排放权交易明细数据

2013.8.5-2024.5.10碳排放权交易明细数据 1、时间&#xff1a;2013.8.5-2024.5.10 2、来源&#xff1a;各碳排放交易所 3、范围&#xff1a;各交易所城市 4、指标&#xff1a;行政区划代码、地区、所属省份、交易日期、交易品种、开盘价_元、最高价_元、最低价_元、成交均价…
阅读更多...
【全部更新完毕】2024全国大学生数据统计与分析竞赛A题思路代码文章教学数学建模-抖音用户评论的文本情感分析

【全部更新完毕】2024全国大学生数据统计与分析竞赛A题思路代码文章教学数学建模-抖音用户评论的文本情感分析

文章摘要部分&#xff1a; A 题&#xff1a; 抖音用户评论的文本情感分析 摘要 随着短视频平台的迅猛发展&#xff0c;抖音已成为全球最受欢迎的短视频分享平台之一。然而&#xff0c;随着用户数量和使用时长的增加&#xff0c;抖音团队需要不断优化平台功能、提升用户体验&…
阅读更多...
生成纳秒级别的时间戳，高性能

生成纳秒级别的时间戳，高性能

问题 同步influxdb有些数据没有&#xff0c;不知道啥原因&#xff0c;后来百度发现时间需要唯一&#xff0c;毫秒还会重复&#xff0c;只能采用纳秒处理了 java实现 TimeStampUtils.java package com.wujialiang;/*** 获取纳秒值的工具类*/ public class TimeStampUtils {/…
阅读更多...
面试题-Vue2和Vue3的区别

面试题-Vue2和Vue3的区别

文章目录 1. 响应式系统2. 组合式 API (Composition API)3. Fragment (碎片)4. Teleport (传送门) 5. 性能改进6. 移除或改变的功能7. 构建工具8. TypeScript 支持 Vue 2 和 Vue 3 之间存在许多重要的区别&#xff0c;这些区别涵盖了性能、API 设计、组合式 API&#xff08;Com…
阅读更多...
产品NPDP+项目PMP助你成长

产品NPDP+项目PMP助你成长

前言 从管理的角度来讲，产品经理和项目经理的区别，我们应该吧项目经理和产品的区别分为一纵一横，那一纵就是我们的项目经理，项目经理在整个新产品研发过程中他扮演的是管理监督项目参与者的角色，其中包括研发部门、技术部门、市场部门或是销售部门等等。他所要做的事情就…
阅读更多...
【Unity】Kafka、Mqtt、Wesocket通信

【Unity】Kafka、Mqtt、Wesocket通信

1 前言 最近研究了下kafka、mqtt、webocket插件在Unity网络通信中的应用&#xff0c;做下小总结吧。&#xff08;不想写笔记&#xff0c;但不写又会忘&#xff0c;痛苦&#xff09; 2 Kafka 先说结果&#xff1a;Kafka实现失败。 我会使用的方法是在VS里安装了Confluent.Kafka…
阅读更多...
压缩大文件消耗电脑CPU资源达到33%以上

压缩大文件消耗电脑CPU资源达到33%以上

今天用7-Zip压缩一个大文件&#xff0c;文件大小是9G多&#xff0c;这时能听到电脑风扇声音&#xff0c;查看了一下电脑资源使用情况&#xff0c;确实增加了不少。 下面是两张图片&#xff0c;图片上有电脑资源使用数据。
阅读更多...
05--Git分布式版本控制系统

05--Git分布式版本控制系统

前言&#xff1a;给后端工程师使用的版本控制器&#xff0c;本质上类似带时间标记的ftp&#xff0c;使用比较简单&#xff0c;就在这里归纳出来&#xff0c;供参考学习。 git1、概念简介 分布式版本控制系统&#xff08;Distributed Version Control System&#xff0c;DVCS&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023