Unity3d引擎中使用AIGC生成的360全景图(天空盒)

news2024/11/24 17:08:17

前言

在这里与Skybox AI一起，一键打造体验无限的360°世界，这是这个AIGC一键生成全景图的网站欢迎语。
在这里插入图片描述

刚使用它是23年中旬，在没有空去给客户实地拍摄全景图时，可以快速用它生成一些相关的全景图，用作前期沟通的VR demo。当时使用所有都是开放免费的，遗憾的是现在使用多了很多限制，比如很多风格都需要付费，而且生成也需要魔法网络，免费生成次数进行了限制：
在这里插入图片描述

最新消息这个平台已经有Unity SDK了，具体见：https://github.com/Blockade-Games/BlockadeLabs-SDK-Unity
这个使用的限制就是必须注册使用API key来生成。

效果

如下是一些Unity中的效果：

数字绘画赛博朋克
在这里插入图片描述

数字绘画长城
在这里插入图片描述

科幻风格
在这里插入图片描述

写实风格
在这里插入图片描述

卡通风格

在这里插入图片描述

快速体验

直接访问blockadelabs.com点击体验。

选择一种风格（select a style）：
在这里插入图片描述

输入对全景图的描述：
在这里插入图片描述

点击生成后，等待一段时间就能在网站中看到效果，点击下载按钮：
在这里插入图片描述

产生的全景图是一个2:1的全景图，如下：
在这里插入图片描述

下载后导入Unity，如果识别不出来图片，需要改成jpg。

在unity内新建一个天空盒/Panoramic着色器的材质球，具体设置参照下图：
在这里插入图片描述

在场景中新建一个球体Sphere，将材质球拖给它，适当放大球体，将摄像放到球体的正中间，就可以看到全景图的效果。
如果生成的效果不理想得考虑更换风格和描述(这个同Stable Diffusion 的 Prompt 提示词)更改，也可以在此次生成的作品上进行编辑（Edit This）或者再混合（Remix This），直到效果满意。不过，如果你是免费的用户得注意次数，不然就得等下个月了：

在这里插入图片描述

API接入

这里它提供了API请求的一系列接口，这些接口其实也可以在Unity内使用UnityWebRequest的方式进行请求。

首先，您需要一个 API 密钥才能开始使用。 如果您没有，请前往 https://api.blockadelabs.com 申请。
这是它的安全提示：

不建议在应用程序的前端公开 API 密钥。相反，建议使用我们为您准备的 SDK库之一或开发您自己的后端服务来与前端应用程序进行通信，然后利用服务器到服务器的请求来访问 Blockade Labs API 端点。

您的 API 密钥必须作为参数包含在 HTTP 请求标头中：x-api-key
或者，您可以将其作为 url 查询参数api_key发送（此方法不太安全）：https://backend.blockadelabs.com/api/v1/skybox?api_key=7J7eD5TIiJR4Gky…
根据您对 POST 请求的偏好，您可以将参数和值作为 JSON （） 或 FormData （） 发送。请注意，如果您使用的是 JSON，则需要以 base64 格式对要上传的文件进行编码。application/jsonmultipart/form-data

Unity3d 中你这么写C#脚本：

 UnityWebRequest request = new UnityWebRequest(url, reqtype);
 request.SetRequestHeader("x-api-key", "你的key(如：7J7eD5TIiJR4Gky...)");

生成天空盒

您需要做的就是向 https://backend.blockadelabs.com/api/v1/skybox 发送一个带有参数的 POST 请求，需要传参数提示词prompt：

 JsonData param = new JsonData();
 param["prompt"] = "你的描述(提示词)";
 request.uploadHandler = (UploadHandler)new UploadHandlerRaw(Encoding.UTF8.GetBytes(param.ToJson()));

获得响应示例如下：

{
  "id": 123456, // id of your generation. It can be used to track generation progress or to cancel/delete the generation
  "status": "pending", // initially status is set as 'pending' after you send a generation request. Status will change from one state to another and you will get updates for each one if you are using pusher or webhook: pending -> dispatched -> processing -> complete. Also you can get abort or error.
  "queue_position": 2, // position of your request in a generation queue
  "file_url": "", // full size of generated image url (empty until generation is completed)
  "thumb_url": "", // thumbnail of generated image url (empty until generation is completed)
  "title": "World #123456", // generation title
  "user_id": 1, // your user id
  "username": "user@blockadelabs.com", // your username
  "error_message": null, // if status=error here you should see the error message
  "obfuscated_id": "460370b7328a5cb8dbddd6ef0d1c9dd4", // hash id of your generation
  "pusher_channel": "status_update_460370b7328a5cb8dbddd6ef0d1c9dd4", // pusher channel name used to track generation progress
  "pusher_event": "status_update", // pusher channel event used to track generation progress
  "created_at": "2023-03-18T10:42:19+00:00", // time created
  "updated_at": "2023-03-18T10:42:19+00:00" // time updated}
}

获得响应后，仍需要等待生成器处理图像，因为生成速度没有那么快。

跟踪生成进度

生成图像时，参数将按以下顺序更改，直到完成，status如下说明：
pending- 生成在队列中（初始状态）
dispatched- 这一次生成被送到了人工智能工作者那里
processing- AI worker 开始生成
complete- 生成已完成，您可以检索生成的天空盒图像
abort- 这一次生成夭折了
error- 生成时出现错误。您可以查看参数以获取更多详细信息。error_message
每当发生更改时，都会通过 Pusher（或可选地通过 webhook）发送相应的事件消息。

要同步生成进度，有三种方式：

1. Pusher

这是推荐方式的同步你生成过程，通过使用官方 Pusher 库(https://pusher.com/docs/channels/channels_libraries/libraries/#official-libraries)，您可以将其无缝集成到您的应用程序中。 在发送天空盒或想象生成请求时，您将得到可用于跟踪生成进度的响应。

Pusher 请求参数:

app_id = "1555452"
key = "a6a7b7662238ce4494d5"
cluster = "mt1"

响应示例:

{
  "pusher_channel": "status_update_460370b7328a5cb8dbddd6ef0d1c9dd4",
  "pusher_event": "status_update",
}

2. Webhook

Webhook 是发送到唯一 URL 的通知。

若要启用 Webhook 状态更新，只需在 Skybox 生成请求中发送一个附加参数即可。在每次状态更新时，我们都会向您提供的发送带有进度更新消息 （json） 的请求。webhook_urlPOSTwebhook_url

您可以使用 https://webhook.site/ 测试 Webhook。

3. API数据轮询

不建议使用此方法，因为它可能会触发我们的 API 速率限制器。它只能用于测试目的。

向 API 发出请求并检查更改。 这里更详细地解释。
GET https://backend.blockadelabs.com/api/v1/imagine/requests/{id}status
这是状态更新的响应示例:

{
  "id": 123456, // id of your generation. It can be used to track generation progress or to cancel the generation
  "obfuscated_id": "460370b7328a5cb8dbddd6ef0d1c9dd4", // hash id of your generation
  "user_id": 1, // your user id
  "username": "user@blockadelabs.com", // your username

  "status": "pending", // initially status is set as 'pending' after you send a generation request. Status will change from one state to another and you will get updates for each one if you are using pusher or webhook: pending -> dispatched -> processing -> complete. Also you can get abort or error.
  "queue_position": 1, // position of your request in a generation queue
  "pusher_channel": "status_update_460370b7328a5cb8dbddd6ef0d1c9dd4", // pusher channel name used to track generation progress
  "pusher_event": "status_update", // pusher channel event used to track generation progress
  "error_message": null, // if status=error here you should find the error message
  
  "type": "skybox", // type of generation (currently "skybox" is the only one)
  "title": "Imagination #123456", // generation title
  "prompt": "prompt text", // prompt text used to generate skybox
  "skybox_style_id": 10, // skybox style id used to generate skybox
  "skybox_style_name": "SciFi", // skybox style name used to generate skybox
  
  "file_url": "https://blockade-platform-production.s3.amazonaws.com/images/imagine/futuristic_microdetailed_vr_scifi_concept_art_cinematic_vr_neon__dbe7f963dc23699c__2757929_dbe7.jpg?ver=1", // generated skybox image (6144x3072 pixels)
  "thumb_url": "https://blockade-platform-production.s3.amazonaws.com/thumbs/imagine/thumb_futuristic_microdetailed_vr_scifi_concept_art_cinematic_vr_neon__dbe7f963dc23699c__2757929_dbe7.jpg?ver=1", // generated skybox thumbnail (672x336 pixels)
  "depth_map_url": "https://blockade-platform-production.s3.amazonaws.com/depths/imagine/futuristic_microdetailed_vr_scifi_concept_art_cinematic_vr_neon__dbe7f963dc23699c__2757929_dbe7.jpg?ver=1", // generated skybox depyh map image (2048x1024 pixels)
  
  "created_at": "2023-03-18T10:42:19+00:00", // time created
  "updated_at": "2023-03-18T10:42:39+00:00", // time updated
}

下载全景图

所有 API 端点都需要在标头中发送或作为 get 参数发送的 API 密钥。用于导出各种文件类型的天空盒的 API 路由：PNG、HDRI（exr、hdr）、深度图、立方体图、视频（纵向、横向、正方形）。

获取导出类型

GET https://backend.blockadelabs.com/api/v1/skybox/export

返回示例：

[
    {
        "id": 1,
        "name": "JPG",
        "key": "equirectangular-jpg",
    },
    {
        "id": 2,
        "name": "PNG",
        "key": "equirectangular-png",
     }
]

请求导出

POST https://backend.blockadelabs.com/api/v1/skybox/export

如果导出请求已经完成，您将立即收到响应，并在响应中收到响应。

响应示例（完整）

{
    "file_url": "https://blockade-platform-production.s3.amazonaws.com/depths/imagine/vr360-stunning-beautiful-vibrant-digital-painting-sega-atari_8414305.jpg", // url for the exported file
    "id": "15e8a0ae53d39e2ef518b2c02f9c43ee", // id of your export request. It can be used to track progress or cancel the request
    "type": "depth-map-png", // requested export type
    "type_id": 6, // requested export type id
    "status": "complete", // initially status is set as 'pending' after you send the export request. Status will change from one state to another and you will get updates for each one if you are using pusher or webhook: pending -> dispatched -> processing -> complete. Also you can get abort or error and in some cases (ie. for JPG and Depth Map export) this will be immediately set to 'complete'.
    "queue_position": 0, // position of your request in a export generation queue
    "error_message": null, // if status=error here you should see the error message
    "pusher_channel": "export_status_update_15e8a0ae53d39e2ef518b2c02f9c43ee", // pusher channel name used to track export generation progress
    "pusher_event": "status_update", // pusher channel event used to track generation
    "created_at": "2023-08-21T09:55:28.000000Z"
}

获取下载链接

GET https://backend.blockadelabs.com/api/v1/skybox/export/{你的导出id}

响应示例：

{
    "file_url": "https://blockade-platform-production.s3.amazonaws.com/depths/imagine/vr360-stunning-beautiful-vibrant-digital-painting-sega-atari_8414305.jpg", // url for the exported file
    "id": "15e8a0ae53d39e2ef518b2c02f9c43ee", // id of your export request. It can be used to track progress or cancel the request
    "type": "depth-map-png", // requested export type
    "type_id": 6, // requested export type id
    "status": "complete", // initially status is set as 'pending' after you send the export request. Status will change from one state to another and you will get updates for each one if you are using pusher or webhook: pending -> dispatched -> processing -> complete. Also you can get abort or error and in some cases (ie. for JPG and Depth Map export) this will be immediately set to 'complete'.
    "queue_position": 0, // position of your request in a export generation queue
    "error_message": null, // if status=error here you should see the error message
    "pusher_channel": "export_status_update_15e8a0ae53d39e2ef518b2c02f9c43ee", // pusher channel name used to track export generation progress
    "pusher_event": "status_update", // pusher channel event used to track generation
    "webhook_url": null, // custom webhook where generator will send updates about export
    "created_at": "2023-08-21T09:55:28.000000Z"
}

这里响应的file_url字段就是下载链接的地址。

费用

和去年相比，这个平台的功能也逐渐完善、强大，系统也从完全开放状态，转变成了接口式的付费使用平台，而且平台的费用分级也很多，详细如下：

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1404669.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【第十四课】并查集(acwing-837连通块中点的数量 / c++代码 / 思路详解)

【第十四课】并查集(acwing-837连通块中点的数量 / c++代码 / 思路详解)

目录 思路 代码如下 一些解释 思路 由于这道题是在并查集这个知识点下面，所以自然我们直接将无向图及之间连线的表示模型化为我们并查集的模板(或许其实也并不难想到?)，要解释一下的话就是：我们将无向图中的每个顶点当作一个集合&…
阅读更多...
JSON简单了解

JSON简单了解

文章目录 1、JSON介绍2、ES6模版字符串3、JS对象转化为JSON字符串3.1、手动JS对象转化为JSON字符串3.2、自动JS对象转化为JSON字符串 4、JS对象和java互相转换 1、JSON介绍 JSON 概念：JavaScript Object Notation。JavaScript 对象表示法，简单理解JSON是…
阅读更多...
C++参悟：数值运算相关

C++参悟：数值运算相关

数值运算相关 一、概述二、常用数学函数1. 基础运算1. 浮点值的绝对值（ |x| ）2. 浮点除法运算的余数3. 除法运算的有符号余数4. 除法运算的有符号余数和最后三个二进制位5. 混合的乘加运算6. 两个浮点值的较大者7. 两个浮点值的较小者8. 两个浮点值的正数…
阅读更多...
个人云服务器docker搭建部署前后端应用-myos

个人云服务器docker搭建部署前后端应用-myos

var code "87c5235c-b551-45bb-a5e4-9593cb104663" mysql、redis、nginx、java应用、前端应用部署 本文以单台云服务器为例： 1. 使用腾讯云服务器 阿里或其他云服务器皆可，类似 安装系统，现在服务器系统都集成安装了docker镜像&a…
阅读更多...
仓库管理系统

仓库管理系统

仓库管理系统 项目环境要求 1.设备支持：Windows7、Windows8或Windows10； 2.数据库：Mysql 8.0； 3.软件支持：eclipse、navicat 需求分析 需求分析阶段的根本任务是要明确仓库管理系统功能需求，以便提出整个系…
阅读更多...
Mapbox加载浙江省天地图服务和数据处理

Mapbox加载浙江省天地图服务和数据处理

1. 加载影像服务 通过浙江省天地图官网申请所需服务，使用token获取服务数据 由于浙江省天地图使用的坐标系是 cgcs2000，需要使用 的框架对应为 cgcs2000/mapbox-gl，通过cdn引入或npm下载 影像服务地址为： ‘https://ditu.zjzw…
阅读更多...
2024年 复习 HTML5+CSS3+移动web 笔记 之CSS遍

2024年 复习 HTML5+CSS3+移动web 笔记 之CSS遍

第一天第二天第三天 1.1 引入方式 1.2 选择器 1.3 画盒子 1.4 文字控制 1.5 综合案例 一 新闻详情 2.1 复合选择器 2.2 伪类选择器 2.3 CSS 特性 2.4 Emmet 写法 2.5 背景属性 2.6 显示模式 2.6 综合案例 一 热词 （设计稿？） 2.7 综合案例 一…
阅读更多...
优化用户体验测试应用领域：提升产品质量与用户满意度

优化用户体验测试应用领域：提升产品质量与用户满意度

在当今数字化时代，用户体验测试应用已经成为确保产品质量、提升用户满意度的关键工具。随着技术的不断发展，用户的期望也在不断演变，因此，为了保持竞争力，企业必须将用户体验置于产品开发的核心位置。本文将探讨用户体…
阅读更多...
耳鸣是怎么回事呢？

耳鸣是怎么回事呢？

什么是耳鸣？ 耳鸣是指在没有任何客观声响的情况下，个人主观上却感觉听到声音，有些人甚至觉得声音来自头部。耳鸣的感觉因人而异，声音多种多样。比如明明没有开任何电器，但却可以感觉到电流声，明明旁边没有…
阅读更多...
如何使用固定公网地址访问多个本地Nginx服务搭建的网站

如何使用固定公网地址访问多个本地Nginx服务搭建的网站

文章目录 1. 下载windows版Nginx2. 配置Nginx3. 测试局域网访问4. cpolar内网穿透5. 测试公网访问6. 配置固定二级子域名7. 测试访问公网固定二级子域名 本文主要介绍如何在Windows系统对Nginx进行配置，并结合cpolar内网穿透工具实现固定公网地址远程访问多个本地站…
阅读更多...
leaflet学习笔记-带过滤的图例（九）

leaflet学习笔记-带过滤的图例（九）

前言 图例不只能够帮助我们在查看地图的时候更加方便容易地分辨不同颜色代表的要素，本文要介绍的图例组件还可以按需求过滤掉不用显示的要素，使地图的更能清晰的显示我们需要显示的内容 技术核心 说到过滤要素，第一时间想到的就是滑块组件…
阅读更多...
burp靶场--业务逻辑漏洞

burp靶场--业务逻辑漏洞

burp靶场–业务逻辑漏洞 https://portswigger.net/web-security/logic-flaws#what-are-business-logic-vulnerabilities ### 什么是业务逻辑漏洞？ 业务逻辑漏洞是应用程序设计和实现中的缺陷，允许攻击者引发意外行为。这可能使攻击者能够操纵合法功能来…
阅读更多...
德思特干货｜如何使用SBench 6对数字化仪采集信号进行处理？（三）——快速傅立叶变换（FFT）

德思特干货｜如何使用SBench 6对数字化仪采集信号进行处理？（三）——快速傅立叶变换（FFT）

来源：德思特测量测试 德思特干货｜如何使用SBench 6对数字化仪采集信号进行处理？（三）——快速傅立叶变换（FFT） 原文链接：https://mp.weixin.qq.com/s/mYS1iDXFNVfReCGGtF78mw 欢迎关…
阅读更多...
Ubuntu用gparted重新分配空间

Ubuntu用gparted重新分配空间

ubuntu系统使用过程中安装系统时预先留的空间不够使用怎么办？ 这么办！ 首先 使用df -h 查看当前空间使用情况 已经分配的空间重新规划 ？ 先将已分配的空间中的多余空间分离出来； 假设我想将挂载点/home下的一部分空间分给挂载…
阅读更多...
用户资源(菜单)控制学习使用

用户资源(菜单)控制学习使用

效果图 第一步 需要再定义常量资源 //信访听证 资源前缀public static final String RESPREFIX_MODULE_XINFTZ_"module_xinftz_";//听证专家库public static final ConstantItem RES_MODULE_XINFTZ_TINGZZJK new ConstantItem(RESPREFIX_MODULE_XINFTZ_ "tin…
阅读更多...
SpringCloud中服务间通信(应用间通信)-亲测有效-源码下载-连载2

SpringCloud中服务间通信(应用间通信)-亲测有效-源码下载-连载2

1、微服务概述 本案例主要解决微服务之间的相互调用问题 如果已经理解什么是微服务，可以直接跳到实战。 本案例采用springBoot3.1.7springCloud2022.0.4版本测试 本案例使用springboot2.7.x版本测试代码相同 1、微服务是分布式架构，那么为什么要需要…
阅读更多...
Unity中URP下的SimpleLit的 BlinnPhong高光反射计算

Unity中URP下的SimpleLit的 BlinnPhong高光反射计算

文章目录 前言一、回顾Blinn-Phong光照模型1、Blinn-Phong模型： 二、URP下的SimpleLit的 BlinnPhong1、输入参数2、程序体计算 前言 在上篇文章中，我们分析了 URP下的SimpleLit的 Lambert漫反射计算。 Unity中URP下的SimpleLit的 Lambert漫反射计算 我…
阅读更多...
计算机网络自顶向下Wireshark labs1-Intro

计算机网络自顶向下Wireshark labs1-Intro

Wireshark labs1 实验文档：http://www-net.cs.umass.edu/wireshark-labs/Wireshark_Intro_v8.0.pdf 介绍 加深对网络协议的理解通常可以通过观察协议的运行和不断调试协议来大大加深，具体而言，就是观察两个协议实体之间交换的报文序列&…
阅读更多...
DEB方式安装elastic search7以及使用

DEB方式安装elastic search7以及使用

参考：https://www.cnblogs.com/anech/p/15957607.html 1、安装elastic search7 #手动下载安装 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.1-amd64.deb wget https://artifacts.elastic.co/downloads/elasticsearch/elastics…
阅读更多...
R语言简介

R语言简介

1.R语言 R语言是一种数学编程语言，主要用于统计分析、绘图和数据挖掘。 2.R语言特点 免费、开源，兼容性好（Windows、MacOS或Linux)。具有多种数据类型，如向量、矩阵、因子、数据集等常用数据结构。多用于交互式数据分析&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023