Segment Anything CSharp| 在 C# 中通过 OpenVINO™ 部署 SAM 模型实现万物分割

news2024/11/24 14:13:41

​ OpenVINO™ C# API 是一个 OpenVINO™ 的 .Net wrapper，应用最新的 OpenVINO™ 库开发，通过 OpenVINO™ C API 实现 .Net 对 OpenVINO™ Runtime 调用.Segment Anything Model（SAM）是一个基于Transformer的深度学习模型，主要应用于图像分割领域。在本文中，我们将演示如何在C#中使用OpenVINO™部署 Segment Anything Model 实现任意目标分割。

  OpenVINO™ C# API项目链接：

https://github.com/guojin-yan/OpenVINO-CSharp-API.git

  使用 OpenVINO™ C# API 部署 Segment Anything Model 全部源码：

https://github.com/guojin-yan/segment-anything-csharp/blob/master/src/segment_anything_openvino/Program.cs

文章目录

    • 1. 前言
      • 1.1 OpenVINO™ C# API
      • 1.2 Segment Anything Model (SAM)
    • 2. 模型下载与转换
        • 2.1 安装环境
        • 2.2 下载模型
        • 2.3 模型转换
    • 3. 模型部署代码
      • 3.1 编码器模型部署代码
      • 3.2 解码器模型部署代码
    • 4. 模型部署测试代码
    • 5. 预测效果
    • 6. 总结

1. 前言

1.1 OpenVINO™ C# API

  英特尔发行版 OpenVINO™ 工具套件基于 oneAPI 而开发，可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，适用于从边缘到云的各种英特尔平台上，帮助用户更快地将更准确的真实世界结果部署到生产系统中。通过简化的开发工作流程，OpenVINO™ 可赋能开发者在现实世界中部署高性能应用程序和算法。

  2024年4月25日，英特尔发布了开源 OpenVINO™ 2024.1 工具包，用于在各种硬件上优化和部署人工智能推理。更新了更多的 Gen AI 覆盖范围和框架集成，以最大限度地减少代码更改。同时提供了更广泛的 LLM 模型支持和更多的模型压缩技术。通过压缩嵌入的额外优化减少了 LLM 编译时间，改进了采用英特尔®高级矩阵扩展 （Intel® AMX） 的第 4 代和第 5 代英特尔®至强®处理器上 LLM 的第 1 令牌性能。通过对英特尔®锐炫™ GPU 的 oneDNN、INT4 和 INT8 支持，实现更好的 LLM 压缩和改进的性能。最后实现了更高的可移植性和性能，可在边缘、云端或本地运行 AI。

  OpenVINO™ C# API 是一个 OpenVINO™ 的 .Net wrapper，应用最新的 OpenVINO™ 库开发，通过 OpenVINO™ C API 实现 .Net 对 OpenVINO™ Runtime 调用，使用习惯与 OpenVINO™ C++ API 一致。OpenVINO™ C# API 由于是基于 OpenVINO™ 开发，所支持的平台与 OpenVINO™ 完全一致，具体信息可以参考 OpenVINO™。通过使用 OpenVINO™ C# API，可以在 .NET、.NET Framework等框架下使用 C# 语言实现深度学习模型在指定平台推理加速。

1.2 Segment Anything Model (SAM)

  Segment Anything Model（SAM）是一个基于Transformer的深度学习模型，主要应用于图像分割领域。SAM采用了Transformer架构，主要由编码器和解码器组成，编码器负责将输入的图像信息编码成上下文向量，而解码器则将上下文向量转化为具体的分割输出。

image-20240605211732575

  SAM的核心思想是“自适应分割”，即能够根据不同图像或视频中的对象，自动学习如何对其进行精确分割；并且具有零样本迁移到其他任务中的能力，这意味着它可以对训练过程中未曾遇到过的物体和图像类型进行分割；SAM被视为视觉领域的通用大模型，其泛化能力强，可以涵盖广泛的用例，并且可以在新的图像领域上即时应用，无需额外的训练。

image-20240605211811813

  总的来说，Segment Anything Model（SAM）是一个先进的图像分割模型，以其强大的自适应分割能力、零样本迁移能力和通用性而著称。然而，在实际应用中仍需注意其泛化能力和域适应方面的挑战。

2. 模型下载与转换

2.1 安装环境

  该代码要求“python>=3.8”，以及“pytorch>=1.7”和“torchvision>=0.8”。请按照此处的说明操作(https://pytorch.org/get-started/locally/)以安装PyTorch和TorchVision依赖项。

pip install git+https://github.com/facebookresearch/segment-anything.git

  然后安装一些其他的依赖项：

pip install opencv-python pycocotools matplotlib onnxruntime onnx
2.2 下载模型

  此处直接下载官方训练好的模型：

wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth
2.3 模型转换

  此处模型转换使用Python实现，上面我们已经安装好了模型转换环境，下面首先导入所需要的程序包，如下所示：

import torch
from segment_anything import sam_model_registry
from segment_anything.utils.onnx import SamOnnxModel

  然后导出编码器模型，编码器负责将输入的图像信息编码成上下文向量，因此其模型输入输出结构相对较为简单，转换代码如下所示：

torch.onnx.export(
    f="vit_b_encoder.onnx",
    model=sam.image_encoder,
    args=torch.randn(1, 3, 1024, 1024),
    input_names=["images"],
    output_names=["embeddings"],
    export_params=True)

  接下来转换解码器模型，解码器则将上下文向量转化为具体的分割输出，因此在输入时需要指定分割的位置信息，所以其输入比较多，，分别为：

  • **image_embeddings：**编码器模型对图片编码后的输出内容，在使用时直接将编码器模型运行后的输出加载到该模型输入节点即可。

  • **point_coords：**输入的提示坐标或位置，对应点输入和框输入。方框使用两个点进行编码，一个用于左上角，另一个用于右下角。坐标必须已转换为长边1024。具有长度为1的批索引。

  • **point_labels：**稀疏输入提示的标签，0是负输入点，1是正输入点，2是输入框左上角，3是输入框右下角，-1是填充点。如果没有框输入，则应连接标签为-1且坐标为（0.0，0.0）的单个填充点。

  • **mask_input：**形状为1x1x256x256的模型的掩码输入，如果没有掩码输入，也必须提供全为0的输入。

  • **has_mask_input：**掩码输入的指示符。1表示掩码输入，0表示没有掩码输入。

  • **orig_im_size：**表示原始图片形状大小，输入格式（H，W）。

  模型转换代码如下所示：

checkpoint = "sam_vit_h_4b8939.pth"
model_type = "vit_h"
sam = sam_model_registry[model_type](checkpoint=checkpoint)
onnx_model = SamOnnxModel(sam, return_single_mask=True)
embed_dim = sam.prompt_encoder.embed_dim
embed_size = sam.prompt_encoder.image_embedding_size
mask_input_size = [4 * x for x in embed_size]
dummy_inputs = {
    "image_embeddings": torch.randn(1, embed_dim, *embed_size, dtype=torch.float),
    "point_coords": torch.randint(low=0, high=1024, size=(1, 5, 2), dtype=torch.float),
    "point_labels": torch.randint(low=0, high=4, size=(1, 5), dtype=torch.float),
    "mask_input": torch.randn(1, 1, *mask_input_size, dtype=torch.float),
    "has_mask_input": torch.tensor([1], dtype=torch.float),
    "orig_im_size": torch.tensor([1500, 2250], dtype=torch.float),
}
output_names = ["masks", "iou_predictions", "low_res_masks"]
torch.onnx.export(
    f="vit_b_decoder.onnx",
    model=onnx_model,
    args=tuple(dummy_inputs.values()),
    input_names=list(dummy_inputs.keys()),
    output_names=output_names,
    dynamic_axes={
        "point_coords": {1: "num_points"},
        "point_labels": {1: "num_points"}
    },
    export_params=True,
    opset_version=17,
    do_constant_folding=True
)

3. 模型部署代码

3.1 编码器模型部署代码

static float[] ImageEmbeddings(Mat img, string model_path)
{
    Core core = new Core();
    Model model = core.read_model(model_path); 
    OvExtensions.printf_model_info(model);
    CompiledModel compiled = core.compile_model(model, "CPU");
    Console.WriteLine("Compile Model Sucessfully!");
    InferRequest request = compiled.create_infer_request();
    Mat mat = new Mat();
    Cv2.CvtColor(img, mat, ColorConversionCodes.BGR2RGB);
    float factor = 0;
    mat = Resize.letterbox_img(mat, 1024, out factor);
    mat = Normalize.run(mat, new float[] { 123.675f, 116.28f, 103.53f }, new float[] { 1.0f / 58.395f, 1.0f / 57.12f, 1.0f / 57.375f }, false);
    Tensor input_tensor = request.get_input_tensor();
    float[] input_data = Permute.run(mat);
    input_tensor.set_data(input_data);
    Stopwatch sw = new Stopwatch();
    sw.Start();
    request.infer();
    sw.Stop();
    Console.WriteLine("Inference time: " + sw.ElapsedMilliseconds);
    Tensor output_tensor = request.get_output_tensor();
    Console.WriteLine(output_tensor.get_shape().to_string());
    return output_tensor.get_data<float>((int)output_tensor.get_size());
}

3.2 解码器模型部署代码

static byte[] ImageDecodings(string model_path, float[] image_embeddings, float[] onnx_coord, 
    float[] onnx_label, float[] onnx_mask_input, float[] onnx_has_mask_input, float[] img_size) 
{
    Core core = new Core();
    Model model = core.read_model(model_path);
    OvExtensions.printf_model_info(model);
    CompiledModel compiled = core.compile_model(model, "CPU");
    Console.WriteLine("Compile Model Sucessfully!");
    InferRequest request = compiled.create_infer_request();
    Tensor tensor1 = request.get_tensor("image_embeddings");
    tensor1.set_data(image_embeddings);
    Tensor tensor2 = request.get_tensor("point_coords");
    tensor2.set_shape(new Shape(1, 3, 2));
    tensor2.set_data(onnx_coord);
    Tensor tensor3 = request.get_tensor("point_labels");
    tensor3.set_shape(new Shape(1, 3));
    tensor3.set_data(onnx_label);
    Tensor tensor4 = request.get_tensor("mask_input");
    tensor4.set_data(onnx_mask_input);
    Tensor tensor5 = request.get_tensor("has_mask_input");
    tensor5.set_data(onnx_has_mask_input);
    Tensor tensor6 = request.get_tensor("orig_im_size");
    tensor6.set_data(img_size);
    Stopwatch sw = new Stopwatch();
    sw.Start();
    request.infer();
    sw.Stop();
    Console.WriteLine("Inference time: " + sw.ElapsedMilliseconds);
    Tensor output_tensor = request.get_tensor("masks");
    float[] mask_data = output_tensor.get_data<float>((int)output_tensor.get_size());
    byte[] mask_data_byte = new byte[mask_data.Length];
    for (int i = 0; i < mask_data.Length; i++)
    {
        mask_data_byte[i] = (byte)(mask_data[i] > 0 ? 255 : 0);
    }
    return mask_data_byte;
}

4. 模型部署测试代码

下面时模型部署案例测试代码，通过调用

static void Main(string[] args)
{
    string embedding_model = "./../../../../../model/vit_b_encoder/vit_b_encoder.onnx";
    string decoding_model = "./../../../../../model/vit_b_decoder.onnx";
    string image_path = "./../../../../../images/dog.jpg";
    string image_embedding_path = "./../../../../../images/dog.bin";

    Mat img = Cv2.ImRead(image_path);
    float factor = 0;
    Resize.letterbox_img(img, 1024, out factor);
    if (!File.Exists(image_embedding_path)) 
    {
        float[] data = ImageEmbeddings(img, embedding_model);
        SaveToFile(data, image_embedding_path);
    }


    float[] image_embedding_data = LoadFromFile(image_embedding_path);
    float[] onnx_coord = new float[6] { 600f / factor, 200f / factor, 480 / factor, 130 / factor, (480 + 190)/factor, (130 + 140)/factor };
    float[] onnx_label = new float[3] { 1f, 2f, 3f };
    float[] onnx_mask_input = new float[256 * 256];
    float[] onnx_has_mask_input = new float[1] { 0 };
    float[] img_size = new float[2] { img.Height, img.Width };
    byte[] result = ImageDecodings(decoding_model, image_embedding_data, onnx_coord, onnx_label, onnx_mask_input, onnx_has_mask_input, img_size);


    Cv2.Rectangle(img, new Rect(600, 200, 20, 20), new Scalar(0, 0, 255), -1);
    Cv2.Rectangle(img, new Rect(480, 130, 190, 140), new Scalar(0, 255, 255), 2);
    Mat mask = new Mat(img.Rows, img.Cols, MatType.CV_8UC1, result);
    Mat rgb_mask = Mat.Zeros(new Size(img.Cols, img.Rows), MatType.CV_8UC3);
    Cv2.Add(rgb_mask, new Scalar(255.0, 144.0, 37.0, 0.6), rgb_mask, mask);
    Mat new_mat = new Mat();
    Cv2.AddWeighted(img, 0.5, rgb_mask, 0.5, 0.0, new_mat);
    Cv2.ImShow("mask", new_mat);
    Cv2.WaitKey(0);
}

5. 预测效果

  下面展示了几个预测效果情况：

  该图在输入时指定了两个标记点，同时标注在了车身和车窗上，那么就会根据所标记的点提取，两个点都是在车上，因此最后分割出来的结果是车身。

image-20240605182018825

  与上一张图片不同的时，在这张图片中我们只标记了车窗位置，因此分割结果只分割了车窗位置。

image-20240605184207052

  同样地在这张图片中我们标记了狗狗，因此他最终分割出来了狗狗的位置。

image-20240605185354400

  下面我们对图片中的饭盆进行分割，我们标记了饭盆，并输入了一个范围框，这样模型在这个范围里分割出了饭盆。

6. 总结

​ 在该项目中，我们演示了如何在C#中使用OpenVINO™部署 Segment Anything Model 实现任意目标分割。最后如果各位开发者在使用中有任何问题，以及对该接口开发有任何建议，欢迎大家与我联系。

个人账号 - 2

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1807130.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

G盘文件系统损坏的应对与预防全攻略

G盘文件系统损坏的应对与预防全攻略

在日常使用电脑的过程中&#xff0c;我们时常会碰到各种磁盘问题&#xff0c;其中G盘文件系统损坏是一个较为常见且棘手的问题。当G盘文件系统损坏时&#xff0c;不仅可能导致重要数据丢失&#xff0c;还可能影响系统的稳定性和运行效率。本文将详细探讨G盘文件系统损坏的现象、…
阅读更多...
RK3568笔记三十一：ekho 6.3 文本转语音移植

RK3568笔记三十一：ekho 6.3 文本转语音移植

若该文为原创文章&#xff0c;转载请注明原文出处。 移植的目的是在在OCR识别基础上增加语音播放&#xff0c;把识别到的文字直接转TTS播报出来&#xff0c;形成类似点读机的功能。 1、下载文件 libsndfile-1.0.28.tar.gz ekho-6.3.tar.xz 2、解压 tar zxvf libsndfile-1.0…
阅读更多...
有序二叉树java实现

有序二叉树java实现

类实现&#xff1a; package 树;import java.util.LinkedList; import java.util.Queue;public class BinaryTree {public TreeNode root;//插入public void insert(int value){//插入成功之后要return结束方法TreeNode node new TreeNode(value);//如果root为空的话插入if(r…
阅读更多...
Nacos的配置中心

Nacos的配置中心

1.前言 除了注册中心和负载均衡之外, Nacos还是⼀个配置中心, 具备配置管理的功能. Namespace 的常用场景之一是不同环境的配置区分隔离&#xff0c; 例如开发测试环境和⽣产环境的配置隔离。 1.1 为什么需要配置中心&#xff1f; 当前项目的配置都在代码中&#xff0c;会存…
阅读更多...
6.7.12 使用 SWIN Transformer 通过热图像实现乳腺癌检测系统

6.7.12 使用 SWIN Transformer 通过热图像实现乳腺癌检测系统

乳腺癌是重大的公共卫生挑战&#xff0c;需要有效的诊断方法。虽然超声、乳房 X 线照相和 MRI 仍然至关重要&#xff0c;但它们在定期、短间隔大规模筛查中的实用性有限。 热成像作为一种非侵入性且经济有效的选择&#xff0c;具有常规自我筛查的潜力。本研究利用基于自注意力…
阅读更多...
java中异常-异常概述+异常体系结构

java中异常-异常概述+异常体系结构

一、异常概述 1、什么是异常&#xff1f; java程序在运行时出现的不正常情况 2、java中提供的默认的异常处理机制 java中对java程序运行时可能会出现的每种不正常情况都创建了一个唯一对应的类&#xff0c;在java程序运行时如果出现不正常情况&#xff0c;java程序就会创建…
阅读更多...
数据结构：旋转数组

数据结构：旋转数组

方法1 &#xff08;三次逆置法&#xff09;&#xff1a; void reverse(int* nums, int start, int end) {while (start < end) {int temp nums[start];nums[start] nums[end];nums[end] temp;start;end--;} }void rotate(int* nums, int numsSize, int k) {k k % numsS…
阅读更多...
Java：111-SpringMVC的底层原理（中篇）

Java：111-SpringMVC的底层原理（中篇）

这里续写上一章博客&#xff08;110章博客&#xff09;&#xff1a; 现在我们来学习一下高级的技术&#xff0c;前面的mvc知识&#xff0c;我们基本可以在67章博客及其后面相关的博客可以学习到&#xff0c;现在开始学习精髓&#xff1a; Spring MVC 高级技术&#xff1a; …
阅读更多...
Comfyui容器化部署与简介

Comfyui容器化部署与简介

目前使用 Stable Diffusion 进行创作的工具主要有两个&#xff1a;Stable Diffusion WebUI 和 ComfyUI。本文重点介绍ComfyUI的部署使用。 ComfyUI 可定制性很强&#xff0c;可以让创作者搞出各种新奇的玩意&#xff0c;通过工作流的方式&#xff0c;也可以实现更高的自动化水平…
阅读更多...
SwiftUI五视图动画和转场

SwiftUI五视图动画和转场

代码下载 使用SwiftUI可以把视图状态的改变转成动画过程&#xff0c;SwiftUI会处理所有复杂的动画细节。在这篇中&#xff0c;会给跟踪用户徒步的图表视图添加动画&#xff0c;使用animation(_:)修改器给一个视图添加动画效果非常容易。 下载起步项目并跟着本篇教程一步步实践…
阅读更多...
Linux 内核之 mmap 内存映射触发的缺页异常 Page Fault

Linux 内核之 mmap 内存映射触发的缺页异常 Page Fault

文章目录 前言一、简介1. MMU 内存管理2. 缺页中断3. 页表4. 小节 二、mmap 提前分配物理内存1. mm_populate 函数2. __mm_populate 函数3. populate_vma_page_range 函数4. __get_user_pages 函数5. find_extend_vma 函数6. find_vma 函数7. follow_page_mask 函数8. follow_p…
阅读更多...
专业场景化ChatGPT论文润色提示词指令，更精准、更有效辅助学术论文撰写

专业场景化ChatGPT论文润色提示词指令，更精准、更有效辅助学术论文撰写

大家好&#xff0c;感谢关注。我是七哥&#xff0c;一个在高校里不务正业&#xff0c;折腾学术科研AI实操的学术人。可以添加我&#xff08;yida985&#xff09;交流学术写作或ChatGPT等AI领域相关问题&#xff0c;多多交流&#xff0c;相互成就&#xff0c;共同进步。 在学术写…
阅读更多...
数据分析必备：一步步教你如何用Pandas做数据分析（21）

数据分析必备：一步步教你如何用Pandas做数据分析（21）

1、Pandas 可视化 Pandas 可视化是指使用 Pandas 库中的函数和方法来创建数据可视化图表。Pandas 提供了一些基本的绘图功能&#xff0c;例如折线图、柱状图、饼图等&#xff0c;可以通过调用相应的函数来创建这些图表。 2、基本绘图&#xff1a;绘图 Series和DataFrame上的…
阅读更多...
数据库四种隔离等级

数据库四种隔离等级

持续更新以及完善中… 数据库事务隔离 首先&#xff0c;为什么要有事务隔离呢&#xff1f; 在单线程下&#xff0c;没什么大碍&#xff0c;但是我们想要提高效率&#xff0c;采用多线程并发时&#xff0c;便会出现一些问题。 **下面的问题一定要当作一个事务来看待&#xf…
阅读更多...
高考之后第一张大流量卡应该怎么选？

高考之后第一张大流量卡应该怎么选？

高考之后第一张大流量卡应该怎么选&#xff1f; 高考结束后&#xff0c;选择一张合适的大流量卡对于准大学生来说非常重要&#xff0c;因为假期期间流量的使用可能会暴增。需要综合考虑多个因素&#xff0c;以确保选到最适合自己需求、性价比较高且稳定的套餐。以下是一些建议…
阅读更多...
MAVEN架构项目管理工具

MAVEN架构项目管理工具

1、什么是maven Maven是跨平台的项目管理工具。主要服务于基于Java平台的项目构建&#xff0c;依赖管理和项目信息管理。 2、maven的目标&#xff1a;Maven的主要目标是为了使开发人员在最短的时间内领会项目的所有状态 3、使用maven不需要考虑各个依赖的版本&#xff0c;因…
阅读更多...
指针（初阶2）“野指针以及指针运算”

指针（初阶2）“野指针以及指针运算”

目录 一.野指针 二.如何避免野指针 三.指针运算 1、指针&#xff08;-&#xff09;整数 2、指针 - 指针 3、指针关系运算 小编在这里声明一下&#xff0c;将某一块的知识点分为上中下或者1&#xff0c;2&#xff0c;3来编写不是为了增加小编的文章总量&#xff0c;也不是故意这…
阅读更多...
MySQL之多表查询—列子查询

MySQL之多表查询—列子查询

一、引言 标量子查询上篇博客已学习。接下来这篇博客学习子查询的第二种形式——列子查询 列子查询 子查询返回的结果是一列&#xff08;当然也可以是多行)&#xff0c;这种子查询称为列子查询。 列子查询可以使用的操作符 IN、NOT IN 、ANY&#xff08;any&#xff09;、SOME…
阅读更多...
windows域控共享网络驱动器

windows域控共享网络驱动器

背景 假设在一家公司&#xff0c;有新入职的员工。我们给其创建了域账号&#xff0c;有一些共享的文件需要其可以直接访问到。我们可以采用共享目录的形式&#xff0c;但是每次都要输入共享端的ip或者主机名&#xff0c;比较麻烦。我们希望创建的域账号访问共享文件更便捷一些…
阅读更多...
使用Flask框架在Python中获取HTTP请求头信息

使用Flask框架在Python中获取HTTP请求头信息

目录 引言 一、Flask框架简介 二、获取HTTP请求头的方法 三、案例分析 案例一&#xff1a;基于请求头进行用户身份验证 案例二&#xff1a;基于请求头的内容类型处理不同格式的响应 四、总结 引言 在Web开发领域&#xff0c;HTTP协议是客户端和服务器之间进行通信的基础…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023