【CV大模型SAM（Segment-Anything）】真是太强大了，分割一切的SAM大模型使用方法:可通过不同的提示得到想要的分割目标

news2024/11/24 7:23:31

目录

  • 前言
  • 安装运行环境
  • SAM模型的使用方法
    • 导入相关库并定义显示函数
    • 导入待分割图片
    • 使用不同提示方法进行目标分割
      • 方法一：使用单个提示点进行目标分割
      • 方法二：使用多个提示点进行目标分割
      • 方法三：用方框指定一个目标进行分割
      • 方式四：将点与方框结合，进行目标分割
      • 方法五：多个方框同时输入，进行多目标分割
  • 总结

本文主要介绍SAM模型的使用方法：如何使用不同的提示进行目标分割。而且该模型在CPU的环境下就可以快速运行，真心不错~,赶紧来试试吧

关于Segment-Anything模型的相关代码、论文PDF、预训练模型、使用方法等，我都已打包好，供需要的小伙伴交流研究，获取方式如下：

关注文末名片GZH：阿旭算法与机器学习，回复：【SAM】即可获取SAM相关代码、论文、预训练模型、使用方法文档等
在这里插入图片描述
在这里插入图片描述

前言

最近GPT一直都被炒的火热，没想到这么快就见到了CV的大模型，而且拥有新数据集+新范式+超强零样本泛化能力。
虽然此次出现的CV大模型没有NLP中的GPT那么强大的效果：用一个模型就可以处理N多下游任务。但这也是一个很好的开始，也应该是CV未来的发展趋势。
SAM（Segment-Anything Model）的出现统一了分割这个任务（CV任务的一个子集）的下流应用，说明了CV的大模型是可能存在的。其肯定会对CV的研究带来巨大的变革，很多任务会被统一处理，可能再过不久，检测、分割和追踪也会被all in one了。

项目地址：https://github.com/facebookresearch/segment-anything
Demo：https://segment-anything.com/

安装运行环境

运行需要python>=3.8, 以及pytorch>=1.7和torchvision>=0.8。
安装依赖库：

pip install git+https://github.com/facebookresearch/segment-anything.git

SAM模型的使用方法

导入相关库并定义显示函数

下面导入了运行所需的第三方库，以及定义了用于展示点、方框以及分割目标的函数。

import numpy as np
import torch
import matplotlib.pyplot as plt
import cv2

def show_mask(mask, ax, random_color=False):
    if random_color:
        color = np.concatenate([np.random.random(3), np.array([0.6])], axis=0)
    else:
        color = np.array([30/255, 144/255, 255/255, 0.6])
    h, w = mask.shape[-2:]
    mask_image = mask.reshape(h, w, 1) * color.reshape(1, 1, -1)
    ax.imshow(mask_image)
    
def show_points(coords, labels, ax, marker_size=375):
    pos_points = coords[labels==1]
    neg_points = coords[labels==0]
    ax.scatter(pos_points[:, 0], pos_points[:, 1], color='green', marker='*', s=marker_size, edgecolor='white', linewidth=1.25)
    ax.scatter(neg_points[:, 0], neg_points[:, 1], color='red', marker='*', s=marker_size, edgecolor='white', linewidth=1.25)   
    
def show_box(box, ax):
    x0, y0 = box[0], box[1]
    w, h = box[2] - box[0], box[3] - box[1]
    ax.add_patch(plt.Rectangle((x0, y0), w, h, edgecolor='green', facecolor=(0,0,0,0), lw=2))

导入待分割图片

image = cv2.imread('images/truck.jpg')
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

plt.figure(figsize=(10,10))
plt.imshow(image)
plt.axis('on')
plt.show()

在这里插入图片描述

使用不同提示方法进行目标分割

首先，加载SAM预训练模型。【文末已将所有文件打包，感兴趣的小伙伴可自行获取】

import sys
sys.path.append("..")
from segment_anything import sam_model_registry, SamPredictor

sam_checkpoint = "./models/sam_vit_b_01ec64.pth"
model_type = "vit_b"

device = "cpu"  # or  "cuda"

sam = sam_model_registry[model_type](checkpoint=sam_checkpoint)
sam.to(device=device)

predictor = SamPredictor(sam)

通过调用SamPredictor.set_image函数，将输入的图像进行编码，SamPredictor 会使用这些编码进行后续的目标分割任务。

predictor.set_image(image)

在上图车的图片上,选择一个点。点的输入格式为(x, y)和并表示出点所带有的标签1(前景点)或0(背景点)。可以输入多个点，在这里我们先只用一个点，选择的点会显示为一个五角星的标记。

方法一：使用单个提示点进行目标分割

input_point = np.array([[500, 375]])  # 标记点
input_label = np.array([1])  # 点所对应的标签

plt.figure(figsize=(10,10))
plt.imshow(image)
show_points(input_point, input_label, plt.gca())
plt.axis('on')
plt.show()

在这里插入图片描述
用 SamPredictor.predict进行分割，模型会返回这些分割目标对应的置信度。

masks, scores, logits = predictor.predict(
    point_coords=input_point,
    point_labels=input_label,
    multimask_output=True,
)

参数说明：

point_coords: 提示的坐标点位置
point_labels: 提示点对应的类型，1前景，0背景
boxes: 提示的方框
multimask_output: 多目标输出还是但目标输出True or False

multimask_output=True （默认），SAM模型会输出3个分割目标和对应的置信度scores。这个设置主要是用于面对歧义的提示点，因为一个提示点可能在多个分割的目标内部，multimask_output=True 能够将包含该提示点的所有目标都分割出来。
如下面示例所示：2种车窗户、还有整个车均包含了五角星的提示点。

masks.shape  # (number_of_masks) x H x W

(3, 1200, 1800)

for i, (mask, score) in enumerate(zip(masks, scores)):
    plt.figure(figsize=(10,10))
    plt.imshow(image)
    show_mask(mask, plt.gca())
    show_points(input_point, input_label, plt.gca())
    plt.title(f"Mask {i+1}, Score: {score:.3f}", fontsize=18)
    plt.axis('off')
    plt.show()

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

方法二：使用多个提示点进行目标分割

单个提示点通常会存在歧义的影响，因为可能多个目标均包含该点。为了得到我们想要的单个目标，我们可以在目标上进行多个点的提示，以获取该目标的分割结果。
例如下面在卡车上用2个提示点，从而直接提取出整个车的分割结果，而不是窗户。这是需要设置multimask_output=False，用于提取单个目标分割结果。

input_point = np.array([[500, 375], [1125, 625]])
input_label = np.array([1, 1])

mask_input = logits[np.argmax(scores), :, :]  # Choose the model's best mask

masks, _, _ = predictor.predict(
    point_coords=input_point,
    point_labels=input_label,
    mask_input=mask_input[None, :, :],
    multimask_output=False,
)

masks.shape

(1, 1200, 1800)

plt.figure(figsize=(10,10))
plt.imshow(image)
show_mask(masks, plt.gca())
show_points(input_point, input_label, plt.gca())
plt.axis('off')
plt.show()

在这里插入图片描述

如果我们仅想得到窗户的分割结果，我们可以使用背景点（label=0，下图红的五角星）将车子的其他部分剔除掉。
​

input_point = np.array([[500, 375], [1125, 625]])
input_label = np.array([1, 0])

mask_input = logits[np.argmax(scores), :, :]  # Choose the model's best mask

masks, _, _ = predictor.predict(
    point_coords=input_point,
    point_labels=input_label,
    mask_input=mask_input[None, :, :],
    multimask_output=False,
)

plt.figure(figsize=(10, 10))
plt.imshow(image)
show_mask(masks, plt.gca())
show_points(input_point, input_label, plt.gca())
plt.axis('off')
plt.show()

在这里插入图片描述

方法三：用方框指定一个目标进行分割

SAM模型可以用一个方框作为输入，格式为[x1,y1,x2,y2]。来进行单个目标的分割，如下面所示，通过方框对车的轮子进行分割。

input_box = np.array([425, 600, 700, 875])

masks, _, _ = predictor.predict(
    point_coords=None,
    point_labels=None,
    box=input_box[None, :],
    multimask_output=False,
)

plt.figure(figsize=(10, 10))
plt.imshow(image)
show_mask(masks[0], plt.gca())
show_box(input_box, plt.gca())
plt.axis('off')
plt.show()

​
在这里插入图片描述

方式四：将点与方框结合，进行目标分割

如下示例：将轮胎的中心轮毂部分剔除，仅得到轮胎外部。
方框用于得到轮胎；点标记为背景（input_label = np.array([0])），起到剔除作用。

input_box = np.array([425, 600, 700, 875])
input_point = np.array([[575, 750]])
input_label = np.array([0])

masks, _, _ = predictor.predict(
    point_coords=input_point,
    point_labels=input_label,
    box=input_box,
    multimask_output=False,
)

plt.figure(figsize=(10, 10))
plt.imshow(image)
show_mask(masks[0], plt.gca())
show_box(input_box, plt.gca())
show_points(input_point, input_label, plt.gca())
plt.axis('off')
plt.show()

在这里插入图片描述

方法五：多个方框同时输入，进行多目标分割

通过同时输入多个方框，可用于分割不同方框中的目标。下面是对车的不同目标的分割效果。

input_boxes = torch.tensor([
    [75, 275, 1725, 850],
    [425, 600, 700, 875],
    [1375, 550, 1650, 800],
    [1240, 675, 1400, 750],
], device=predictor.device)

transformed_boxes = predictor.transform.apply_boxes_torch(input_boxes, image.shape[:2])
masks, _, _ = predictor.predict_torch(
    point_coords=None,
    point_labels=None,
    boxes=transformed_boxes,
    multimask_output=False,
)

masks.shape  # (batch_size) x (num_predicted_masks_per_input) x H x W

torch.Size([4, 1, 1200, 1800])

plt.figure(figsize=(10, 10))
plt.imshow(image)
for mask in masks:
    show_mask(mask.cpu().numpy(), plt.gca(), random_color=True)
for box in input_boxes:
    show_box(box.cpu().numpy(), plt.gca())
plt.axis('off')
plt.show()

在这里插入图片描述

总结

以上便是SAM模型的使用方法，可以通过不同的提示方式得到不同的分割结果。总体来说，效果还是很不错的，关键是居然还可以在CPU环境下快速运行。感兴趣的小伙伴，也可以自己试试哦~

如果文章对你有帮助，感谢点赞+关注！

关注下方名片GZH：阿旭算法与机器学习，回复：【SAM】即可获取SAM相关代码、论文、预训练模型、使用方法文档等，欢迎共同学习交流

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/426352.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

文件操作和IO—javaEE

文件操作和IO—javaEE

文章目录1.文件1.1文件系统的结构1.2java中的文件操作（metadata的操作）2.io操作2.1定义2.2io划分2.3java的io流之输入流2.4java的io流之输出流1.文件 文件包含数据本身和文件的头信息（metadata），文件的头信息包括文件…
阅读更多...
VSCode的C/C++编译调试环境搭建(亲测有效)

VSCode的C/C++编译调试环境搭建(亲测有效)

文章目录前言1.安装VSCode和mingw642.配置环境变量3.配置VSCode的运行环境3.1设置CodeRunner3.2设置C/C4.调试环境配置前言 这片博客挺早前就写好了，一直忘记发了，写这篇博客之前自己配的时候也试过很多博客，但无一例外，都各种js…
阅读更多...
SpringBoot(4)整合数据源

SpringBoot(4)整合数据源

SpringBoot整合数据源数据层解决方案数据源技术持久化技术数据库技术NoSQL整合Redis整合MongDB整合ES数据层解决方案 MySQL数据库与MyBatisPlus框架，后面又用了Druid数据源的配置，所以现在数据层解决方案可以说是MysqlDruidMyBatisPlus。而三个技术分别…
阅读更多...
一文彻底了解派克Parker无铁芯/有铁芯直线电机及其应用

一文彻底了解派克Parker无铁芯/有铁芯直线电机及其应用

一、什么是直线电机？ 直线电机是一种将电能直接转换成直线运动机械能，而不需要任何中间转换机构的传动装置。它可以看成是一台旋转电机按径向剖开，并展成平面而成。 二、直线电机的特点 直线电机类似于一台旋转电机解剖摊开来进行运转。在一…
阅读更多...
9、DRF实战总结：过滤(filter)与排序，以及第三方库django-filter的使用（附源码）

9、DRF实战总结：过滤(filter)与排序，以及第三方库django-filter的使用（附源码）

在前面的DRF系列教程中，以博客为例介绍了序列化器(Serializer), 并使用基于类的视图APIView和ModelViewSet开发了针对文章资源进行增删查改的完整API接口，并详细对权限、认证(含jwt认证)和分页进行了总结与演示。在本篇文章中将向演示如何在Django REST …
阅读更多...
Boost库在windows上的使用

Boost库在windows上的使用

今天要配置一个C环境，被Boost库困扰了一段时间，在这里记录一下解决的方法。 主要是打不开 libboost_iostreams-vc143-mt-gd-x64-1_82.lib这样的问题。 操作的步骤如下： 下载binary包： 链接: https://boostorg.jfrog.io/artifac…
阅读更多...
ChatGPT有用到知识图谱吗？它自己是这样回答...

ChatGPT有用到知识图谱吗？它自己是这样回答...

从搜索引擎到个人助手，我们每天都在使用问答系统。问答系统必须能够访问相关的知识并进行推理。通常，知识可以隐式地编码在大型语言模型（LLMs）中，例如ChatGPT、T5 和LaMDA 等大型语言模型，这些模型在未结构…
阅读更多...
如何面对人生困境至暗时刻

如何面对人生困境至暗时刻

北方春天伊始刚好想发表下另一种境遇就是当人生面临困境或者至暗怎么样走出来，如果有正面临这样的情况来分享下如何走出阴霾，拥有更多可能性的人生，现在回望过去一年的自己太过牵强失去自我。 对世界的应该思维：为什么我总看不清现…
阅读更多...
PHP快速入门10-图像处理，附图像大小调整、旋转、获取颜色等15个常见示例

PHP快速入门10-图像处理，附图像大小调整、旋转、获取颜色等15个常见示例

文章目录前言一、PHP的图像处理1.1 图像处理函数二、 图像处理示例2.1 创建一个空白的图像2.2 从文件创建一个新的图像2.3 从URL创建一个新的图像2.4 调整图像大小2.5 对比度和亮度调整2.6 度数旋转2.7 模糊滤镜2.8 获取图像的颜色信息2.9. 图像合并2.10 图像旋转和裁剪2.11 图…
阅读更多...
css补充内容

css补充内容

1.最好给body设置min-width,防止缩小页面时出现空白 2.让图片随着网页缩小而缩小 3.html5语义化元素 4.video与audio video是行内替换元素 默认是第一帧静态画面,需要手动调整画面大小和添加播放条,是否自动播放 大多数浏览器不支持自动播放,除非设置为muted,这是为了用户的…
阅读更多...
小巧“抠门”的FTHR-F0140开发板

小巧“抠门”的FTHR-F0140开发板

小巧“抠门”的FTHR-F0140开发板 文章目录小巧“抠门”的FTHR-F0140开发板缘起硬件电路主控芯片供电系统调试器插座LED灯按键CAN接口电路软件资源资源链接缘起 工欲善其事，必先利其器。调试和开发MM32F0140这种小巧的芯片，还是需要小巧的板子去适配&…
阅读更多...
本科也可入行的IC模拟版图，需要学习哪些知识？

本科也可入行的IC模拟版图，需要学习哪些知识？

IC模拟版图是一个入门非常简单，但同时又是一份涉及知识面非常广阔，资深较难的工作。 在众多IC岗位中，模拟版图确实属于容易入门，吸引来很多想要转行IC行业的朋友，但需要掌握的知识点和技巧并不比设计少，属…
阅读更多...
Python+Selenium+Unittest 之selenium5--元素定位4-XPath定位1（基本概念）

Python+Selenium+Unittest 之selenium5--元素定位4-XPath定位1（基本概念）

目录 一、简介 二、节点关系 三、绝对路径与相对路径 一、简介 Xpath定位在selenium中属于常用的定位方式，首先来说下Xpath的一些概念，Xpath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置…
阅读更多...
Vision Transformers for Dense Prediction论文笔记

Vision Transformers for Dense Prediction论文笔记

文章目录Vision Transformers for Dense Prediction， ICCV， 2021一、背景介绍二、网络结构三、实验结果1.语义分割实验2.消融实验Vision Transformers for Dense Prediction， ICCV， 2021 一、背景介绍 本篇论文主要提出一种网络…
阅读更多...
SpringBoot 集成webSocket

SpringBoot 集成webSocket

pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4.0.0 …
阅读更多...
IT软件行业用契约锁实现“代理-销售-投标-项目-合作”电子签

IT软件行业用契约锁实现“代理-销售-投标-项目-合作”电子签

IT软件行业产品销售渠道多、销售订单体量大&#xff0c;从产品研发、销售到项目实施&#xff0c;伴随着大量的协议、合同、单据需要与员工、客户或者经销商签署。引入电子签章&#xff0c;化解纸质合同签署带来的效率、成本、安全等问题&#xff0c;成为软件行业产品代理、销售…
阅读更多...
Vector - CAPL - Panel面板_01

Vector - CAPL - Panel面板_01

前面有过简单的介绍panel面板的功能&#xff0c;不过终究感觉有点简陋&#xff0c;最近也在搞PyQT5&#xff0c;发现如果对于这块了解不多的情况下&#xff0c;想要做一些东西的话&#xff0c;简直无从下手&#xff0c;因此专门翻阅了之前的文章&#xff0c;查看了下确实缺少了…
阅读更多...
ChatGPT自动化提高工作效率： 2分钟快速生成思维导图

ChatGPT自动化提高工作效率： 2分钟快速生成思维导图

一、简要说明 ChatGPT不止是一个聊天机器人&#xff0c;更是一个自然语言处理、文本内容生成模型&#xff0c;它可以理解语言规则&#xff0c;不仅仅是给你输出已有的知识内容&#xff0c;还会给到你一些创意点子&#xff1b;所以我们应该学会如何使用它&#xff0c;让它更好的…
阅读更多...
集合例题，

集合例题，

package com.hspedu.homework;import java.util.*;/*** author 韩顺平* version 1.0*/ SuppressWarnings({"all"}) public class Homework03 {public static void main(String[] args) {Map m new HashMap();m.put("jack", 650);//int->Integerm.put(&…
阅读更多...
STL源码剖析-六大部件， 部件的关系，复杂度， 区间表示

STL源码剖析-六大部件， 部件的关系，复杂度， 区间表示

C标准库-体系结构与内核分析 根据源代码来分析 介绍 自学C侯捷老师的STL源码剖析的个人笔记&#xff0c;方便以后进行学习&#xff0c;查询。 为什么要学STL&#xff1f;按侯捷老师的话来说就是&#xff1a;使用一个东西&#xff0c;却不明白它的道理&#xff0c;不高明&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023