【传知代码】Modnet 人像抠图-论文复现

news2024/11/25 1:03:35

文章目录

  • 概述
  • 原理介绍
  • 核心逻辑
    • ModNet 的结构
  • 环境配置
    • WebUI
  • 小结

论文地址
论文GitHub

本文涉及的源码可从Modnet 人像抠图该文章下方附件获取

概述

人像抠图技术在多个领域有着广泛的应用场景，包括但不限于：

  1. 展馆互动拍照：展馆中使用的抠像拍照系统能够吸引用户，扩大展馆的知名度。用户可以通过抠像拍照软件体验丰富的拍照效果，从而愿意走进展馆。
  2. 商场引流：商场中的人流量较大，使用抠像拍照系统可以吸引更多顾客前来打卡拍照，聚集人气，引发潮流现象。
  3. 展会展示：展会中使用抠像拍照系统，不仅能给参观者留下回忆，还能展示上次展会使用抠像拍照软件所拍的照片，增加用户对参展商的好感。
  4. 图像编辑：在图像编辑软件中，人像抠图是常用操作之一。通过抠图可以将人物从原背景中分离出来，放到新背景中，实现人物换背景的效果。这在电影后期特效、游戏角色置换等领域有很广泛的应用。
  5. 商业广告：广告制作公司通常需要从各种原始图像中抠出人物，用于广告海报、网站设计、产品宣传等。使用AI人像分割技术，可以减少制作时间，提高制作效率，更加快速准确地实现广告设计。
  6. 数码相册：AI人像分割人像抠图技术可以帮助数码相册用户抠出自己照片中的人物，使得相册的美观程度得到大幅提升。
  7. 视频制作：在视频制作中，使用AI人像分割技术可以轻松地将视频中的人物与背景分离，提高视频制作的效率和品质。
  8. 电商行业：AI抠图技术可以快速地抠出商品图片，帮助商家实现更好的商品展示效果，提高销售量。同时，也可以帮助商家更快速地制作广告、海报等宣传素材。

随着技术的不断进步和应用场景的不断扩展，人像抠图技术将在更多领域发挥重要作用。

原理介绍

人像抠图(Portrait matting)旨在预测一个精确的 alpha 抠图，可以用于提取给定图像或视频中的人物。

MODNet 是一个轻量级的实时无 trimap 人像抠图模型， 与以往的方法相比，MODNet在单个阶段应用显式约束解决抠图子目标，并增加了两种新技术提高效率和鲁棒性。

MODNet 具有更快的运行速度，更准确的结果以及更好的泛化能力。简单来说，MODNet 是一个非常强的人像抠图模型。下面两幅图展示了它的抠图效果。

在这里插入图片描述

核心逻辑

ModNet 的结构

在这里插入图片描述

ModNet 基于三个基础模块构建：

  • 语义预测(semantic estimation)，
  • 细节预测(detail prediction)，
  • 语义-细节混合(semantic-detail fusion)。

分别对应图中的左下(S)、上(D)、右下(F)三个模块。

语义预测主要作用于预测人像的整体轮廓，但是仅仅是一个粗略的前景 mask，用于低分辨率监督信号。细节预测用于区分前景与背景的过度区域，判断该区域内的点属于前景还是背景，可以预测边缘细节，用于高分辨率监测信号。两个相结合便可以实现整体的人像分离。

语义预测模块（S）中使用 channel-wise attention 的 SE-Block。监督信号为使用下采样及高斯模糊后的GT，损失函数采用L2-Loss。

在这里插入图片描述

MODNet 中使用 SOC 作为自监督学习策略。在不输入 trimap 的前提下，三个模块之间存在不一致性，所以需要保持三者的一致从而得到一个较好的结果。其具体策略为：

  1. F 模块与 D 模块在 unknown 区域的取值一致
  2. F 模块与 S 模块在确定前景与背景区域的取值一致

环境配置

运行 pip install -r requirements.txt 安装所需依赖，并确保你的环境中安装有 PyTorch。在文件夹中运行 python webui.py 即可启动网站,在浏览器中访问 http://0.0.0.0:8080/ 即可进入网页。

官方并没有给出训练代码以及训练数据集，因此本文主要介绍推理的步骤。

项目的结构如下图

在这里插入图片描述

首先导入库并加载模型，工作目录为代码所在文件夹。

import gradio as gr
import os, sys
import torch
import torch.nn as nn
import torch.nn.functional as F
import torchvision.transforms as transforms
from src.models.modnet import MODNet
import numpy as np
from PIL import Image

modnet = MODNet(backbone_pretrained=False)
modnet = nn.DataParallel(modnet)
ckpt_path = "./pretrained/modnet_photographic_portrait_matting.ckpt"
    
if torch.cuda.is_available():
        modnet = modnet.cuda()
        weights = torch.load(ckpt_path)
else:
    weights = torch.load(ckpt_path, map_location=torch.device('cpu'))
modnet.load_state_dict(weights)
modnet.eval()

ref_size = 512

之后加载图片并处理数据,此处加载名称为1的图片。

在这里插入图片描述

image = '1.jpg'
im = Image.open(image)
im = np.asarray(im)

if len(im.shape) == 2:
    im = im[:, :, None]
if im.shape[2] == 1:
    im = np.repeat(im, 3, axis=2)
elif im.shape[2] == 4:
    im = im[:, :, 0:3]

im_transform = transforms.Compose(
    [
        transforms.ToTensor(),
        transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
    ]
)

im = Image.fromarray(im)
im = im_transform(im)
im = im[None, :, :, :]
im_b, im_c, im_h, im_w = im.shape
if max(im_h, im_w) < ref_size or min(im_h, im_w) > ref_size:
    if im_w >= im_h:
        im_rh = ref_size
        im_rw = int(im_w / im_h * ref_size)
    elif im_w < im_h:
        im_rw = ref_size
        im_rh = int(im_h / im_w * ref_size)
    else:
        im_rh = im_h
        im_rw = im_w
im_rw = im_rw - im_rw % 32
im_rh = im_rh - im_rh % 32
im = F.interpolate(im, size=(im_rh, im_rw), mode='area')

得到可以处理的数据im后，投入模型进行推理。将得到的结果保存为名为 temp.png 的图片。

_, _, matte = modnet(im.cuda() if torch.cuda.is_available() else im, True)
matte = F.interpolate(matte, size=(im_h, im_w), mode='area')
matte = matte[0][0].data.cpu().numpy()
matte_temp = './temp.png'

运行之后得到结果，可以看见模型很好的得到了人像

在这里插入图片描述

WebUI

在原项目的基础上，构建了一个 WebUI 方便大家进行操作，界面如下所示

在这里插入图片描述

拖拽你想抠图的人像到左侧的上传框中，点击提交，等待片刻即可在右侧得到对应的结果。此处使用 flickr 的图片进行演示。

在这里插入图片描述

模型推导的 mask 会暂时保存在 temp 文件夹中，例如上面的图像得到的就是下图:

在这里插入图片描述

小结

在深度学习中，人像抠图通常使用全卷积网络（FCN）或类似U-Net的编解码器架构来实现。这些网络模型通过训练学习如何区分图像中的人像和背景，并生成一个掩码（mask），该掩码标识了人像的像素位置。

实现高质量的人像抠图：

  1. 选择适当的模型架构：你可以考虑使用U-Net、DeepLab、Mask R-CNN等流行的语义分割模型作为基础。这些模型已经在多个数据集上证明了其有效性。
  2. 收集并标注数据集：为了训练你的模型，你需要一个包含人像和背景标注的图像数据集。你可以使用开源数据集，如PASCAL VOC、COCO或自定义数据集。确保数据集足够大且多样化，以涵盖不同场景下的人像。
  3. 数据增强：为了提高模型的泛化能力，你可以应用各种数据增强技术，如旋转、缩放、裁剪、翻转和颜色变换等。
  4. 损失函数：选择适当的损失函数对于训练高质量的抠图模型至关重要。常用的损失函数包括交叉熵损失、Dice损失、Focal损失等。你可以根据你的任务需求和数据集特点选择合适的损失函数或组合使用。
  5. 优化器和学习率调度：选择合适的优化器（如Adam、SGD等）和学习率调度策略（如固定学习率、阶梯学习率衰减等）对于模型的训练过程至关重要。确保你的模型能够稳定地收敛并达到最佳性能。
  6. 后处理：在生成最终的人像抠图结果之前，你可以应用一些后处理技术来改进结果。例如，你可以使用形态学操作（如膨胀、腐蚀）来平滑掩码的边界，或者使用条件随机场（CRF）等模型来进一步优化掩码的质量。
  7. 评估与调整：在训练过程中和训练结束后，使用适当的评估指标（如像素准确率、IoU等）来评估你的模型性能。根据评估结果调整模型的超参数或架构以提高性能。

人像抠图是一个具有挑战性的任务，特别是在处理复杂背景和遮挡情况时。因此，你可能需要多次迭代和调整你的模型以达到最佳性能。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1689503.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

二叉树的递归实现及例题

二叉树的递归实现及例题

目录 遍历方式 示例 原理 前序遍历示例 二叉树的节点个数 原理 层序遍历 原理 这样做的目的是 判断完全二叉树 例题 ​编辑 思路 代码 遍历方式 二叉树的遍历方式可分为&#xff1a; 前序遍历&#xff1a;先访问根&#xff0c;访问左子树&#xff0c;在访问右子…
阅读更多...
2024.05.24 学习记录

2024.05.24 学习记录

1、面经复习&#xff1a; js基础、知识深度、js垃圾回收 2、代码随想录刷题&#xff1a;动态规划 完全背包 all 3、rosebush 完成 Tabs、Icon、Transition组件
阅读更多...
C++中获取int最大与最小值

C++中获取int最大与最小值

不知道大家有没有遇到过这种要求&#xff1a;“返回值必须是int&#xff0c;如果整数数超过 32 位有符号整数范围 [−2^31, 2^31 − 1] &#xff0c;需要截断这个整数&#xff0c;使其保持在这个范围内。例如&#xff0c;小于 −2^31 的整数应该被固定为 −2^31 &#xff0c;大…
阅读更多...
【Ubuntu查看硬盘和网络配置信息】解决方案

【Ubuntu查看硬盘和网络配置信息】解决方案

1.查看硬盘序列号 搜索系统中有应用&#xff0c;打开“磁盘”&#xff0c;因为我本人是只设置了一个分区&#xff0c;所以打开如下&#xff0c;从上面可以得到硬盘序列号 2.查看ip地址和MAC地址 ctrl alt t 打开命令行 输入ifconfig, 如下图所示&#xff0c;MAC地址即为&…
阅读更多...
多家知名媒体到访“光子1号金融算力中心“ 交流AI与算力未来观

多家知名媒体到访“光子1号金融算力中心“ 交流AI与算力未来观

5月23日&#xff0c;企商在线 “光子1号金融算力中心媒体参观日”活动成功举办&#xff0c;十多家主流媒体、IT行业媒体及自媒体代表走进光子1号金融算力中心&#xff0c;深入了解企商业务发展、战略规划及“光子1号金融算力中心”等企商打造的新型数字基础设施&#xff0c;共同…
阅读更多...
论文研读之hpn-ssh： High speed bulk data transfer using the SSH protocol

论文研读之hpn-ssh： High speed bulk data transfer using the SSH protocol

优化解决方案的策略 其中提到盲目的增加窗口大小实际上可能导致性能下降，这种下降可能由这几个因素引起：中间路由器上的缓冲区填满；路径过快饱和；过度缓冲；引入新的问题。虽然较大的缓冲区在某些情况下可能提高性能，但也有引入新的、难以诊断的问题的风险。这种复杂性使…
阅读更多...
QtCreator，动态曲线实例

QtCreator，动态曲线实例

样式图&#xff1a; .ui 在sloem1.ui文件中&#xff0c;拖入一个label控件&#xff0c; 头文件.h #include "QtGui/QPainter.h" #include "QtCore/QTimer.h"protected:bool eventFilter(QObject *obj,QEvent *event);void labelPaint();public slots: /…
阅读更多...
6款网站登录页（附带源码）

6款网站登录页（附带源码）

6款网站登录页 效果图及部分源码123456 领取源码下期更新预报 效果图及部分源码 1 部分源码 <style>* {margin: 0;padding: 0;}html {height: 100%;}body {height: 100%;}.container {height: 100%;background-image: linear-gradient(to right, #fbc2eb, #a6c1ee);}.l…
阅读更多...
NSS‘题目练习3

NSS‘题目练习3

[SWPUCTF 2021 新生赛]easyupload3.0 打开题目发现要求上传.jpg文件 先上传抓包&#xff0c;尝试更改后缀 换一种形式 文件头绕过 都试过之后尝试上传.htaccess文件&#xff0c;发现上传成功 会将之后上传的文件后缀自动更名为.php 再上传.jpg文件 蚁剑连接找到flag [SWPUCTF …
阅读更多...
【oracle的安装记录】

【oracle的安装记录】

oracle安装记录 一、下载以后&#xff0c;解压到同一路径下面 二、双击可执行安装文件&#xff0c;等待文件加载 三、双击以后&#xff0c;弹出信息 四、提示该窗口&#xff0c;点击【是】即可 五、未填写配置安全更新信息 六、弹出小窗口&#xff0c;选择【是】 七、安装选项…
阅读更多...
宿舍管理系统--毕业设计

宿舍管理系统--毕业设计

毕业设计&#x1f4bc;MD5加密&#x1f512;SSM框架&#x1f3a8;Layui框架&#x1f384; 实现功能 管理员的登录与登出 管理员,班级,学生,宿舍&#xff0c;卫生&#xff0c;访客各模块增删改查 个别模块关联查询 各个模块数据导出Excel 一些截图
阅读更多...
Log360：护航安全，远离暗网风险

Log360：护航安全，远离暗网风险

暗网有时候就像是一个神秘的地下世界&#xff0c;是互联网的隐蔽角落&#xff0c;没有任何规则。这是一个被盗数据交易、网络犯罪分子策划下一步攻击的地方。但仅仅因为它黑暗&#xff0c;不意味着你要对潜在的威胁视而不见。 暗网 这就是ManageEngine Log360的用武之地&…
阅读更多...
创新工具|AI革新内容营销：策略、工具与实施指南

创新工具|AI革新内容营销：策略、工具与实施指南

探索如何利用人工智能&#xff08;AI&#xff09;提升内容营销策略&#xff0c;从SEO优化到个性化推荐。本指南详细介绍了11款顶尖AI工具&#xff0c;旨在帮助中国的中高级职场人士、创业家及创新精英高效地策划和生成引人入胜的内容&#xff0c;同时确保内容的专业性、权威性和…
阅读更多...
佩戴安全头盔监测识别摄像机

佩戴安全头盔监测识别摄像机

佩戴安全头盔是重要的安全措施&#xff0c;尤其在工地、建筑工程和工业生产等领域&#xff0c;安全头盔的佩戴对于工人的生命安全至关重要。为了更好地管理和监控佩戴安全头盔的情况&#xff0c;监测识别摄像机成为了一项重要的工具。监测识别摄像机可以通过智能技术监测并记录…
阅读更多...
每日一练2024.5.24（补2024.5.26）

每日一练2024.5.24（补2024.5.26）

题目&#xff1a; 给你一个正整数 n &#xff0c;生成一个包含 1 到 n2 所有元素&#xff0c;且元素按顺时针顺序螺旋排列的 n x n 正方形矩阵 matrix 。 示例 1&#xff1a; 输入&#xff1a;n 3 输出&#xff1a;[[1,2,3],[8,9,4],[7,6,5]]示例 2&#xff1a; 输入&#x…
阅读更多...
亚马逊自养号测评：深入解析与搭建要求

亚马逊自养号测评：深入解析与搭建要求

在亚马逊这电商平台上&#xff0c;商品的评价对于卖家来说至关重要。为了提升商品的曝光率、排名、权重和销量&#xff0c;卖家们纷纷采用各种推广方式&#xff0c;其中&#xff0c;亚马逊自养号测评成为了越来越多卖家选择的一种有效方式。 亚马逊自养号测评&#xff0c;顾名…
阅读更多...
《SpringBoot》系列文章目录

《SpringBoot》系列文章目录

SpringBoot是由Pivotal团队提供的全新框架&#xff0c;旨在简化新Spring应用的初始搭建以及开发过程。以下是一些关于SpringBoot的详细介绍&#xff1a; 设计目的&#xff1a;SpringBoot通过特定的方式来进行配置&#xff0c;使得开发人员不再需要定义样板化的配置&#xff0c…
阅读更多...
服务器端口开放，服务器端口开放命令与方法的专业阐述

服务器端口开放，服务器端口开放命令与方法的专业阐述

在计算机网络中&#xff0c;服务器端口的开放是确保网络通信畅通无阻的关键步骤。服务器端口是服务器与外部网络通信的入口&#xff0c;通过正确配置和开放相应的端口&#xff0c;可以实现各种网络服务和应用的功能。 一、命令与工具 在Linux系统中&#xff0c;常用的命令和工…
阅读更多...
AI生成内容检测|Fast-DetectGPT：通过条件概率曲率对机器生成文本进行有效的零样本检测

AI生成内容检测|Fast-DetectGPT：通过条件概率曲率对机器生成文本进行有效的零样本检测

【摘要】大型语言模型 (LLM) 已显示出生成流畅且有说服力的内容的能力&#xff0c;这既带来了生产力机会&#xff0c;也带来了社会风险。要构建值得信赖的 AI 系统&#xff0c;必须区分机器生成的内容和人类创作的内容。领先的零样本检测器 DetectGPT 展示了值得称赞的性能&…
阅读更多...
Linux批量设置免密登录shell脚本

Linux批量设置免密登录shell脚本

一&#xff1a;话不多说&#xff0c;直接上脚本 #!/bin/bash# 用户名和密码配置 USERNAME"root" PASSWORD"123456" NEW_ROOT_PASSWORDroot123# 转义新的 root 密码以安全地传递给远程 shell ESCAPED_PASSWORD$(printf %q "$NEW_ROOT_PASSWORD")…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023