Unity 百度AI实现无绿幕拍照抠像功能（详解版）

news2024/9/20 23:37:18

目录

一、前言

1.抠像效果

2.去哪找百度ai抠图

3.基础流程跳过 

二、获取AccessToken

1.什么是Token

2.为什么要获取Token

3.如何获取token

4.解析json

5.完整代码

三、抠像

1.准备地址

2.建立链接，和基本配置

3.图片格式转换

4.开始上传

5.获取回复

6.解析json

7.纯净代码

四、作者的碎碎念

一、前言

1.抠像效果

抠像效果一般，边缘还是会生硬，然后用羽化来过渡。（如图1所示）

图1 抠像

这是网上找的图，侵权删。

2.去哪找百度ai抠图

在百度，这个功能叫人像分割，链接如下。

人像分割技术_人像分割算法_人像分割-百度AI开放平台

3.基础流程跳过 

接下来注册账号之类的，咱就跳过了哈。

过程：
1.注册百度的账号

2.实名认证

3.领百度送的，对应功能的使用次数（我测试的时候送1w次，有效期一年）。

4.创建应用（这个不需要你有做好的程序，只需要走一下流程就行），这里走流程的意义就是，百度有很多功能，你需要什么功能选一下，然后我们给你一个账户和密码，这样你才能调用这些功能。

5.你就获得了一组账户和密码（如图2所示）

图2 账号和密码

api Key和Secret Key

api Key：api的英文是Application Programming Interface，应用程序编程接口的缩写，到这里就是我们获取了可以用来实现人像分割这个功能的用户名。

Secret Key：就是秘钥，上面用户名的密码。

上面两个Key，只要你自己不去更新，一般是不会改变的

但是，如果你的调用行为百度觉得很奇怪，也会暂时给你封了。

备注：百度ai有很多功能，假如百度ai是一个手机，手机里面装了很多个app，但是你登录每一个app都需要不同的用户名和密码。

这里就是，我们通过百度这个总的账号，去选择了自己想要的功能，然后百度给你生成一个用户名和密码，你通过这个可以使用你选好的功能。

二、获取AccessToken

1.什么是Token

不知道大家去过东北澡堂子没有，进去的时候，会被发一个手牌。（如图3所示）

图3 手牌

然后你只要带着这个手牌，就可以在澡堂子里吃饭，消费等，最后出来的时候，带着手牌去结账就行了。不同的手牌会有不同的权限，比如普通宾客，贵宾，vip，超级vip什么的。手牌上面还会有号码，号码就类似身份证号一样，大家都不一样，用来识别。

弄这个手牌的目的大致有两种：

1.澡堂子里有很多水，一直带着手机很麻烦，但不带手机，又会不知道你是哪一个宾客。

2.手机不能直观的看出来你是哪种宾客，但是牌子可以。

Token和这个手牌基本是一样的，你先把自己的账号和密码上交，根据你购买的套餐，会给你一串序列号，在一定的时间内，你只要提交序列号就可以用你购买的功能，百度也知道是哪个账号购买的。

2.为什么要获取Token

我们可以直接用账号和密码访问，我们也能使用token访问，但是，因为是用互联网传递消息，如果用账号和密码，那你每一次提出请求都要提供账户和密码，这样不是很安全，黑客一拦截一个准，所以，换成token，就减少了提交用户和密码的次数，就安全很多。

可以简单这么理解一下，至于细致的，大家可以自行百度，但总之，有这么一个流程。

3.如何获取token

这个可以在百度的官方文档中找到。在百度，这部分官方的名称叫做鉴权认证机制。

https://ai.baidu.com/ai-doc/REFERENCE/Ck3dwjhhu

想看官方的可以看官方的，或者看我的也可以。

获取token需要三个东西：

1.往哪个网站发请求

（上面的官方链接里有写，往https://aip.baidubce.com/oauth/2.0/token?发请求）

2.用户名（前言里获取过）

3.密码（前言里获取过）

在代码里，我们可以先把他们写出来。

我们的目的是获取token，我们可以再建一个字符串用来接token。（如图4所示）

图4 常用字符 
 void Start()
 {
     GetToken();
 }

 public void GetToken()
 {
     //声明一个客户端，就是自己
     HttpClient client = new HttpClient();

     //建立一个字典，把我们需要的信息都放进去
     //但是建立字典的类型是KeyValuePair，因为我们后面要传递数据
     List<KeyValuePair<String, String>> paraList = new List<KeyValuePair<string, string>>();
     paraList.Add(new KeyValuePair<string, string>("client_id", client_id));
     paraList.Add(new KeyValuePair<string, string>("client_secret", client_secret));
     paraList.Add(new KeyValuePair<string, string>("grant_type", "client_credentials"));

                                                                 //这里本来要放httpContent，但是这个方法可以把
     //接受网络的回复                                               //keyValuePair转换成httpContent
     HttpResponseMessage response = client.PostAsync(token_url, new FormUrlEncodedContent(paraList)).Result;
     //最后接受回复，转换成string
     string resultJson = response.Content.ReadAsStringAsync().Result;
     //打印一下string
     Debug.Log(resultJson);
 }

打印结果为：

图5 打印结果

你会得到一大堆数据，其中有一个部分是access_token，我们要的就是这部分，这部分就是token。

4.解析json

得到数据后，这个数据是json格式的数据，如果你会解析json数据，就可以自己解决了。

如果解决不了，你也可以采用string的手法直接弄出来。

up很懒，用了一个叫LitJson.dll，里面直接有解析的方法。

        //先读取json格式的文本
        JsonReader json = new JsonReader(resultJson);
        //把上面读取的文本转换成可以直接调用的数据格式
        JsonData jsonData = JsonMapper.ToObject<JsonData>(json);
        //直接获取名称是access_token后面的数据        
        jsonData["access_token"].ToString();
5.完整代码
using System;
using System.Collections.Generic;
using System.Net.Http;
using LitJson;
using UnityEngine;

public class GetAccessToken : MonoBehaviour
{
    //网址
    string token_url = "https://aip.baidubce.com/oauth/2.0/token?";
    //用户名
    string client_id = "填自己的id";
    //密码
    string client_secret = "填自己的密码";

    //token
    public string token;


    void Start()
    {
        token = GetToken();
        Debug.Log("获得token：" + token);
    }

    public string GetToken()
    {
        HttpClient client = new HttpClient();

        List<KeyValuePair<String, String>> paraList = new List<KeyValuePair<string, string>>();
        paraList.Add(new KeyValuePair<string, string>("client_id", client_id));
        paraList.Add(new KeyValuePair<string, string>("client_secret", client_secret));
        paraList.Add(new KeyValuePair<string, string>("grant_type", "client_credentials"));

        HttpResponseMessage response = client.PostAsync(token_url, new FormUrlEncodedContent(paraList)).Result;
        string resultJson = response.Content.ReadAsStringAsync().Result;
        //Debug.Log(resultJson);


        JsonReader json = new JsonReader(resultJson);
        JsonData jsonData = JsonMapper.ToObject<JsonData>(json);
            
        return jsonData["access_token"].ToString();
    }
}

三、抠像

官方文档：https://ai.baidu.com/ai-doc/BODY/Fk3cpyxua

可以自己去研究，也可以往下看我的。

首先从官方那里拿到网址：

然后准备一下中途要用的方法（这些方法均不是重点，都不讲了）

方法1：图片从Texture转换到Texture2D

    //Texture转Texture2D
    private Texture2D TextureToTexture2D(Texture texture)
    {
        width = texture.width;
        height = texture.height;

        Texture2D texture2D = new Texture2D(texture.width, texture.height, TextureFormat.RGBA32, false);
        RenderTexture currentRT = RenderTexture.active;
        RenderTexture renderTexture = RenderTexture.GetTemporary(texture.width, texture.height, 32);
        Graphics.Blit(texture, renderTexture);

        RenderTexture.active = renderTexture;
        texture2D.ReadPixels(new Rect(0, 0, renderTexture.width, renderTexture.height), 0, 0);
        texture2D.Apply();

        RenderTexture.active = currentRT;
        RenderTexture.ReleaseTemporary(renderTexture);

        return texture2D;
    }

方法2：图片从Texture2D转换为Base64

    //texture2D转base64
    public string TextureToBase64(Texture2D texture2D)
    {
        byte[] bytes;
        bytes = texture2D.EncodeToPNG();
        return Convert.ToBase64String(bytes);
    }

方法3：Base64转texture2D

    //base转texture2D
    public Texture2D Base64ToTexture2d(string base64)
    {
        byte[] bytes = Convert.FromBase64String(base64);
        Texture2D tex = new Texture2D(width, height, TextureFormat.RGBA32, false);
        tex.LoadImage(bytes);

        return tex;
    }
1.准备地址

在前面给出地址的基础上，加上我们前面获取的token

//host地址
string host = "https://aip.baidubce.com/rest/2.0/image-classify/v1/body_seg?“+”access_token=" + token;
2.建立链接，和基本配置
//设置编码格式是默认
Encoding encoding = Encoding.Default;
//发送请求到前面配好的网址
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(host);
//这是前面要求的
request.Method = "post";
//一直保持链接
request.KeepAlive = true;
3.图片格式转换

这里假设我们有一个RawImage，名字叫photo，最后转换成buffer

//获取图片并转换成texture2D
Texture2D texture2D = TextureToTexture2D(photo.texture);
//再转换成base64
string base64 = TextureToBase64(texture2D);
//转换成url格式
string str = "image=" + HttpUtility.UrlEncode(base64);
//转换成byte格式
byte[] buffer = encoding.GetBytes(str);
4.开始上传
//获取长度
request.ContentLength = buffer.Length;
//发送请求
request.GetRequestStream().Write(buffer, 0, buffer.Length);
5.获取回复
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.Default);
string result = reader.ReadToEnd();
Debug.Log("人像分割:" + result);
6.解析json
JsonReader jr = new JsonReader(result);
JsonData data = JsonMapper.ToObject<JsonData>(jr);

//拿到的扣好的数据
string picData = data["foreground"].ToString();
Texture2D tex = Base64ToTexture2d(picData);
7.纯净代码
 IEnumerator IBody_seg()
 {
     string host = "https://aip.baidubce.com/rest/2.0/image-classify/v1/body_seg?“+”access_token=" + token;

     Encoding encoding = Encoding.Default;
     HttpWebRequest request = (HttpWebRequest)WebRequest.Create(host);
     request.Method = "post";
     request.KeepAlive = true;

     yield return null;

     Texture2D texture2D = TextureToTexture2D(photo.texture);
     string base64 = TextureToBase64(texture2D);

     string str = "image=" + HttpUtility.UrlEncode(base64);
     byte[] buffer = encoding.GetBytes(str);

     request.ContentLength = buffer.Length;
     request.GetRequestStream().Write(buffer, 0, buffer.Length);

     yield return null;

     HttpWebResponse response = (HttpWebResponse)request.GetResponse();
     StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.Default);
     string result = reader.ReadToEnd();
     Debug.Log("人像分割:" + result);

     yield return null;

     JsonReader jr = new JsonReader(result);
     JsonData data = JsonMapper.ToObject<JsonData>(jr);

     string picData = data["foreground"].ToString();
     Texture2D tex = Base64ToTexture2d(picData);

    //如果你有个image，可以使用图片
     pic.sprite = Sprite.Create(tex, new Rect(0, 0, tex.width, tex.height), new Vector2(0, 0));
     pic2.sprite = pic.sprite;

 }

四、作者的碎碎念

如果有什么疑问，可以在评论区发出来讨论一下，我看见了会回复。

照片是直接在网上找的，侵权立删。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2145490.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SpringBoot 整合docker,执行容器服务

SpringBoot 整合docker,执行容器服务

我使用以下文章的镜像作为演示镜像,读者有自己的镜像可以使用自己的 TencentARC/GFPGAN人脸恢复Ubuntu-22.04搭建(附带Docker镜像)_tencentarc gfpgan-CSDN博客 1. 封装springboot 启动docker容器的方法 public String runDockerCommand(String[] command) {StringBuilder res…
阅读更多...
代码随想录Day 49|leetcode题目：42.接雨水、84.柱状图中最大矩形

代码随想录Day 49|leetcode题目：42.接雨水、84.柱状图中最大矩形

提示&#xff1a;DDU&#xff0c;供自己复习使用。欢迎大家前来讨论~ 文章目录 题目题目一&#xff1a;42. 接雨水解题思路&#xff1a;暴力解法双指针优化思路&#xff1a;单调栈解法单调栈处理逻辑 题目二&#xff1a; 84.柱状图中最大的矩形解题思路&#xff1a;暴力解法双…
阅读更多...
闯关leetcode——35. Search Insert Position

闯关leetcode——35. Search Insert Position

大纲 题目地址内容 解题代码地址 题目 地址 https://leetcode.com/problems/search-insert-position/description/ 内容 Given a sorted array of distinct integers and a target value, return the index if the target is found. If not, return the index where it wou…
阅读更多...
【数据结构】排序算法---冒泡排序

【数据结构】排序算法---冒泡排序

文章目录 1. 定义2. 算法步骤3. 动图演示4. 性质5. 算法分析6. 代码实现C语言PythonJavaCGo 结语 1. 定义 冒泡排序&#xff08;英语&#xff1a;Bubble sort&#xff09;是一种简单的排序算法。它重复地走访过要排序的数列&#xff0c;一次比较两个元素&#xff0c;如果它们的…
阅读更多...
svn回退到以前历史版本修改并上传

svn回退到以前历史版本修改并上传

svn回退到以前版本&#xff0c;并在以前版本上修改代码后&#xff0c;上传到svn库当中&#xff0c;如下步骤&#xff1a; 3、 以回退到版本号4为例&#xff1a;选中版本号4&#xff0c;右键->Revert to this version,在出现的对话框中 点击yes&#xff01; 4、 5、
阅读更多...
【ARM】Trustzone和安全架构

【ARM】Trustzone和安全架构

Trustzone的基本概念&背景和历史 什么是Trustzone&#xff1f; 什么是TEE&#xff1f; Trustzone是一个技术&#xff0c;是一个技术的设计&#xff0c;一个安全架构&#xff0c;既不是软件也不是硬件。 TEE (Trusted Execution Environment) 可信执行环境。就是依托Trust…
阅读更多...
Java项目——苍穹外卖（二）

Java项目——苍穹外卖（二）

Redis 简介 Redis是一个基于内存的key-value结构数据库 基于内存存储&#xff0c;读写性能高适合存储热点数据&#xff08;热点商品、资讯、新闻&#xff09;企业应用广泛 基础操作 启动 在redis安装目录中打开cmd&#xff0c;输入如上图指令即可启动&#xff0c;按下crtl…
阅读更多...
linux入门到实操-6 Linux服务管理、系统运行级别、配置服务开机启动和关闭防火墙、关机重启

linux入门到实操-6 Linux服务管理、系统运行级别、配置服务开机启动和关闭防火墙、关机重启

教程来源&#xff1a;B站视频BV1WY4y1H7d3 3天搞定Linux&#xff0c;1天搞定Shell&#xff0c;清华学神带你通关_哔哩哔哩_bilibili 整理汇总的课程内容笔记和课程资料&#xff08;包含课程同版本linux系统文件等内容&#xff09;&#xff0c;供大家学习交流下载&#xff1a;…
阅读更多...
html详细知识

html详细知识

1-标题标签、水平线、字体标签 <!--1.标题标签1&#xff09;格式&#xff1a;<hn></hn> n的范围是1-6&#xff0c;依次递减2&#xff09;标题标签特点&#xff1a;a:单独占一行b:自动加粗2.水平线1&#xff09;格式&#xff1a;<hr/>2)属性&#xff1a;…
阅读更多...
soc及其相关概念

soc及其相关概念

用户无法直接操作内存&#xff0c;只能让内存映射到用户空间然后操作 1. 内存映射&#xff08;Memory-Mapped Files&#xff09;内存映射文件是一种方法&#xff0c;它允许一个或多个进程将一个文件或者一个匿名区域映射到它们各自的虚拟地址空间中。当文件被映射到内存后&…
阅读更多...
rsync 远程同步及实时同步部署

rsync 远程同步及实时同步部署

一、rsync 远程同步 1.1 rsync简介 Rsync&#xff08;Remote Sync&#xff0c;远程同步&#xff09;是一个开源的快速备份工具&#xff0c;适用于异地备份、镜像服务器等应用。它的主要功能特性包括&#xff1a; 数据镜像同步&#xff1a;在不同主机之间同步整个目录树。增量…
阅读更多...
基于STM32的无人小车自主避障系统设计

基于STM32的无人小车自主避障系统设计

文章目录 前言资料获取设计介绍功能介绍设计程序具体实现截图参考文献设计获取 前言 &#x1f497;博主介绍&#xff1a;✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师&#xff0c;一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设…
阅读更多...
设计模式 享元模式（Flyweight Pattern）

设计模式 享元模式（Flyweight Pattern）

享元模式 简绍 享元模式&#xff08;Flyweight Pattern&#xff09;是一种结构型设计模式&#xff0c;它的目的是通过共享技术来有效地支持大量细粒度的对象。享元模式可以极大地减少内存的使用&#xff0c;从而提高程序的性能。它特别适用于需要创建大量相似对象的场景&#…
阅读更多...
鸿蒙 ArkUI组件三

鸿蒙 ArkUI组件三

ArkUI组件&#xff08;续&#xff09; QRCode组件 用于显示单个二维码的组件。 说明 该组件从API Version 7开始支持。后续版本如有新增内容&#xff0c;则采用上角标单独标记该内容的起始版本。二维码组件的像素点数量与内容有关&#xff0c;当组件尺寸过小时&#xff0c;可能…
阅读更多...
二叉树的层序遍历（含十道leetcode相关题目）

二叉树的层序遍历（含十道leetcode相关题目）

文章目录 二叉树层序遍历模板102. 二叉树的层序遍历 二叉树层序遍历模板 我们之前讲过了关于二叉树的深度优先遍历的文章&#xff1a;前中后序遍历的递归法和迭代法。 接下来我们再来介绍二叉树的另一种遍历方式&#xff1a;层序遍历。 层序遍历一个二叉树。就是从左到右一层…
阅读更多...
vue2使用npm引入依赖（例如axios），报错Module parse failed: Unexpected token解决方案

vue2使用npm引入依赖（例如axios），报错Module parse failed: Unexpected token解决方案

报错情况 Module parse failed: Unexpected token (5:2) You may need an appropriate loader to handle this file type. 原因 因为我们npm install时默认都是下载最新版本&#xff0c;然后个别依赖的版本太新&#xff0c;vue2他受不起这个福分。 解决方法 先去package.js…
阅读更多...
SD-WAN如何保障企业数据安全？

SD-WAN如何保障企业数据安全？

SD-WAN&#xff08;软件定义广域网&#xff09;作为一种现代化网络解决方案&#xff0c;不仅能够优化和管理广域网的连接&#xff0c;还集成了一系列安全功能&#xff0c;帮助企业保护其数据安全。以下将详细介绍SD-WAN如何有效保障企业数据安全的机制。 在采用SD-WAN技术之前&…
阅读更多...
[论文笔记]MRRNET

[论文笔记]MRRNET

这是一篇河大的论文 感觉跟SANET很像 摘要 摘要&#xff1a;随着物联网&#xff08;IoT&#xff09;的大规模部署&#xff0c;道路场景中实时感知和环境理解的需求变得越来越迫切。 同时&#xff0c;语义分割作为像素级场景解析得到了广泛的研究。 然而&#xff0c;资源有限…
阅读更多...
合宙Air201模组LuatOS：PWRKEY控制，一键解决解决关机难问题

合宙Air201模组LuatOS：PWRKEY控制，一键解决解决关机难问题

不知不觉间&#xff0c;我们已经发布拉期课程&#xff1a;hello world初体验&#xff0c;点灯、远程控制、定位和扩展功能&#xff0c;你学的怎么样&#xff1f;很多伙伴表示已经有点上瘾啦&#xff01;合宙Air201&#xff0c;如同我们一路升级打怪的得力法器&#xff0c;让开发…
阅读更多...
打通最后一公里：使用CDN加速GitHub Page的访问

打通最后一公里：使用CDN加速GitHub Page的访问

无论是互联网从业者还是科研人员&#xff0c;使用Github Page能够很友好的建立个人网站。 目前比较主流的方案是使用GitHub Page托管文字网页&#xff0c;利用GitHub仓库托管图床&#xff0c;稳定可靠&#xff08;Gitee的page突然撤退&#xff0c;让人不敢再将图床放到上面&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023