【新手上路】如何在Web3时代成为XR创建者

news2024/12/25 9:33:34

目录

0 XR在Web3里的作用

1 XR的概念、特征、技术、设备、平台、应用和工具

1.1 VR的概念、特征和技术

1.2 AR的概念、特征和技术

1.2 XR的设备、平台、应用和工具

2 选择XR的方法

2.1 何时使用VR

2.2 何时使用AR

3 开发XR作品的4个步骤

4 成为XR构建者的路径

4.1 三种开发XR作品的方式

4.2 从2D到3D的转换

致谢

其他参考资料

我曾在 【实战技能】Google I/O 2022大会AI/ML给开发者的启发 里提到ML在ARCore的应用，也就是机器学习在AR平台的应用。

今天为大家介绍虚拟现实技术XR在Web3的作用，XR的概念、特征、技术、设备、平台、应用和工具，选择XR技术的方法、开发XR作品的4个步骤以及成为XR开发者的路径，希望能帮助新手在Web3时代成为优秀的XR创建者。

0 XR在Web3里的作用

先简单解释XR的相关概念。

VR = 虚拟现实（计算机生成的虚拟世界）

AR = 增强现实（增强物理世界）

MR = 混合现实（包括AR+AV，通常不是VR）

XR = 扩展现实（X是A、V或M的通配符）

对热门概念Web3，相信大家都有一些了解

Web3 = Read + Write+ Own

XR在Web3技术中属于人机交互层，通过构建虚拟世界，可以为用户带来更丰富的体验和更多的应用场景。

1 XR的概念、特征、技术、设备、平台、应用和工具

1.1 VR的概念、特征和技术

VR Virtual Reality虚拟现实：虚实独立，具有沉浸式3D界面，是指在计算机软硬件及各种传感器(如高性能计算机、图形图像生成系统，以及特制服装、特制手套、特别眼镜等)的支持下生成一个逼真的、三维的，具有一定的视、听、触、嗅等感知能力的环境，以便用户在这些软硬件设备的支持下，能以简捷、自然的方法与计算机所生成的“虚拟”世界中的对象进行交互作用。

特征是：

  • 可以探索一些三维立体视图的虚拟环境
  • 保护空间互动与声音的沉浸式任务
  • 具有可信的体验，不需要逼真的效果

概念包括：自主性/机构、存在感和沉浸感、体现与化身、认知与移情、本体感觉与晕动症、触觉与伪触觉、边界与重定向行走等。

技术包括：360照片和视频、立体显示、洞穴CAVE（ 一个虚拟现实空间）、3 DOF与6 DOF（Degrees of freedom自由度）跟踪、由外向内与由内向外追踪、手部跟踪和空间音频等。

高级VR技术包括程序生成、重定向行走和自定义控制器。

1.2 AR的概念、特征和技术

AR Augmented Reality增强现实：虚实结合，融合真实和虚拟内容。借助光电显示技术、交互技术、计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确地“放置”在真实环境中，利用显示设备将产生的虚拟对象和真实环境融为一体，呈现给用户一个感官效果真实的新环境，使用户从感官效果上确信虚拟环境是其周围真实环境的有机组成部分。

特征是：

  • 是一个可以查看与现实世界融合的虚拟物体的融合环境
  • 可实现虚拟物体对现实世界的信息进行编码的信息任务
  • 具有全息图幻觉，虚拟物体看起来好像是真实世界的一部分

概念包括：增强与调解、强的AR与弱的AR、基于标记的AR与无标记的AR、

SLAM（Simultaneous Localization And Mapping）与VIO（Visual Inertial Odometry）同时定位和绘图与视觉惯性测距法、跟踪和注册、视野、平面检测与物体识别。

技术包括：标志物跟踪、运动跟踪、身体跟踪、空间映射、场景理解、投影映射和光线估计。

高级AR包括三维重建、物体跟踪和定制显示器。

1.2 XR的设备、平台、应用和工具

设备

独立式和内置式有：Quest, HoloLens, …

拴住的/适配器式的有：Cardboard, Rift, VIVE, ...

平台

专有的有：Oculus, VIVE, Magic Leap, …

跨平台的有：SteamVR, WMR, WebXR, …

应用

XR应用 ：Beat Saber, Snapchat, …

具有XR视角/模式的应用：IKEA, Amazon Shopping, ...

工具

设计工具：Tilt Brush, Quill, Aero, …等

开发工具有：A-Frame, Unity, Unreal, …等

图1 AR的平台和设备

图片来源：Dr.Michael Nebeling

图2 VR的平台和设备

图片来源：Dr.Michael Nebeling

2 选择XR的方法

2.1 何时使用VR

如果应用情景包括有以下特点，VR是理想选择

  • 大量的视觉元素
  • 3D空间互动
  • 物理操作
  • 无限分辨率的互动

应用情景如果包含以下特点时，VR就不是理想的选择了

  • 许多非视觉元素
  • 需要阅读或输入大量的文字
  • 需要触觉反馈
  • 需要与现实世界的联系

2.2 何时使用AR

如果应用情景包括有以下特点，VR是理想选择

  • 一些视觉元素
  • 三维空间互动
  • 物理操作
  • 1:1或更小比例的互动

应用情景如果包含以下特点时，AR就不是理想的选择了

  • 许多非视觉元素
  • 大量的文字需要阅读或输入
  • 需要触觉反馈
  • 与现实世界没有联系

3 开发XR作品的4个步骤

开发XR作品和开发其他软件作品类似，XR的特色在于要开发和测试3D。

  1. 寻找需求和头脑风暴：通过场景和用例、角色和竞争对手来确定问题的框架，可采用故事地图确定作品想要支持的目标和任务。
  2. 故事板和原型设计：使用物理（纸质）和数字工具创建模拟模型，包括XR设备，这是做好XR作品的关键一步。这个过程中需要基于内容（环境和3D角色）、上下文（环境和3D角色）和故事（3D角色和互动）设计用户体验。
  3. 开发和测试 3D：使用WebXR、Unity/Unreal或本地SDK创建应用程序，并开展用户测试。
  4. 部署和分析：在XR设备上部署应用程序，在使用过程中收集数据，验证功能。

4 成为XR构建者的路径

对具备软件开发经验的开发者来说，如何成为XR构建者呢？

4.1 三种开发XR作品的方式

图3 成为XR构建者的路径

图片来源：Dr.Michael Nebeling

如图3所示，目前有三种主要的XR开发方法：使用WebXR进行基于Web的开发，使用Unity和Unreal进行跨平台开发，以及使用特定平台的SDK进行原生开发，如Oculus、VIVE、ARKit或ARCore。

对于不同背景的开发者，学习曲线有些不一样，似乎具有游戏开发背景和移动端开发背景的开发者更有优势。：）

基于Web： 基于WebXR标准建立网络技术来创建AR/VR应用程序。开发者使用常见的Web语言、HTML、CSS和JavaScript，以及专门为开发AR/VR显示和跟踪技术而创建的新库就可以为各种AR和VR设备创建应用程序。这与使用Web技术构建在安卓和iOS设备上运行的移动应用程序方法类似。

跨平台： 即使用一个开发工具包，使用一套通用的方法和工具针对多个AR/VR设备进行开发。Unity和Unreal已经发展成为复杂的AR/VR开发工具箱，被广泛使用。其中Unity对许多AR/VR显示和跟踪技术有很多内置支持。为开发交互行为，Unity需要C#或JavaScript，而Unreal需要C++或其视觉脚本语言Blueprint。

原生开发： 即开发者使用一个特定的软件开发工具包（SDK）来开发特定的AR或VR设备。开发者如果熟悉相关的编程语言和平台，如Windows的C#（WMR）或C++（Oculus/VIVE），Android的Java（ARCore），或iOS的Swift（ARKit），就很容易开发出作品。通常如果遇到需要开发特定的AR/VR应用程序所需要的功能，并且只在单一平台上可用，我们可以首选原生开发这种方法。

4.2 从2D到3D的转换

开发者要完成从2D到3D的转换，需要理解以下内容。

1 二维布局与三维几何

  • 变换=位置、旋转、比例
  • 左手与右手的坐标系统（Unity与A-Frame）

2 二维设计vs.三维材料

  • 材质是纹理贴图的加强版
  • 关于材质还有很多要学习的，例如，基于物理的渲染（PBR）。

3 3D模型与360照片

  • 开发者不需要成为一个3D艺术家，有很多方法可以获得3D模型。例如可以在以下网站Sketchfab - The best 3D viewer on the web, 3D Warehouse,Clara.io: Online 3D Modeling, 3D Rendering, Free 3D Models,Mixamo寻找3D模型，可使用Blender,Tinkercad,Maya or Maya LT,3ds Max,Cinema4D构建3D模型。
  • 360照片是环境的三维模型的很好的占位符，可使用Google的Tour Creator，微软的Sketch 360等工具构建。

关于其他开发XR的具体细节，如开发VR应用的内容和交互以及开发基于标记的AR和五标记的AR的区别，以后有机会再和大家交流。

当然，要做好XR作品，掌握熟练的技术是一方面，另一方面还需要从人、任务和技术的角度去思考和设计用户体验和交互设计。

致谢

感谢Dr.Michael Nebeling提供的英文图片

其他参考资料

  • 工业和信息化部、教育部、文化和旅游部、国家广播电视总局、国家体育总局印发《虚拟现实与行业应用融合发展行动计划（2022-2026年）》（链接：http://www.gov.cn/zhengce/zhengceku/2022-11/01/5723273/files/23f1b69dcf8b4923a20bd6743022a56f.pdf
  • 关于印发《上海市“元宇宙”关键技术攻关行动方案（2023—2025年）》的通知_规划计划_上海市科学技术委员会

希望以上内容能帮助开发者找到成为XR创建者的路径，期待大家早日做出优秀的作品。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/681140.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

小程序布局中相对定位的用法

小程序布局中相对定位的用法

小程序中一般为了有一定的设计效果，会将下边组件的内容提升一点到上边去，比如我们的电商展示模板里，会将商品列表覆盖一点到背景图，效果如下： 这种要如何搭建呢？就是利用到了CSS相对定位的原理 搭建组件 …
阅读更多...
27.移除元素

27.移除元素

LeetCode-27.移除元素 1、题目描述2、解题思路3、代码实现3.1Java代码实现3.2双指针代码优化 4、解题记录 1、题目描述 题目描述： 给你一个数组 nums 和一个值 val，你需要 原地 移除所有数值等于 val 的元素，并返回移除后数组的新长度。 不要…
阅读更多...
windows搭建vue开发环境

windows搭建vue开发环境

参考博客：最详细的vue安装教程_一只野生程序媛的博客-CSDN博客 Vue安装环境最全教程，傻瓜式安装_浪漫主义码农的博客-CSDN博客 1、安装nodejs，从下面官网下载版本，对应安装就行了： Node.js 中文网 2、安装好后&…
阅读更多...
合宙Air724UG Cat.1模块硬件设计指南--天线接口

合宙Air724UG Cat.1模块硬件设计指南--天线接口

天线接口 简介 天线是发射和接收电磁波的一个重要的无线电设备，没有天线也就没有无线电通信。天线品种繁多，以供不同频率、不同用途、不同场合、不同要求等不同情况下使用。 特性 LTE天线接口。50 欧姆特性阻抗，不推荐使用PCB板载天线&#…
阅读更多...
脚本模式的特点和用法

脚本模式的特点和用法

一、什么是脚本? 脚本(script)是使用一种特定的描述性语言，依据一定的格式编写的可执行文件，又称作宏或批处理文件。脚本通常可以由应用程序临时调用并执行。 简单解释:脚本类似于演戏时用到的剧本，脚本其实就是一系列指令——演员看了指令就…
阅读更多...
算法--itemCF

算法--itemCF

概述： 电子商务网站是个性化 推荐系统重要地应用的领域之一。亚马逊就是个性化推荐系统的积极应用者和推广者，亚马逊的推荐系统深入到网站的各类商品，为亚马逊带来了至少30%的销售额。 不光是电商类，推荐系统无处不在。 QQ&…
阅读更多...
【差旅-游记】记一次海南出差

【差旅-游记】记一次海南出差

哈喽，大家好！我是雷工！ 这篇不是技术分享，是篇差旅记录。 最近出差去了一次海南，应该算得上我目前出差去过最远的地方了，也是我第一次去海南，还是蛮有新鲜感的，因此记录下此次差旅。…
阅读更多...
【软件设计师暴击考点】数据库系统高频考点暴击系列

【软件设计师暴击考点】数据库系统高频考点暴击系列

👨‍💻个人主页：元宇宙-秩沅 👨‍💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由 秩沅 原创 👨‍💻 收录于专栏：软件…
阅读更多...
tensorflow2 模型建立与训练

tensorflow2 模型建立与训练

模型的构建： tf.keras.Model 和 tf.keras.layers 模型的损失函数： tf.keras.losses 模型的优化器： tf.keras.optimizer 模型的评估： tf.keras.metrics 模型（Model）与层（Layer） …
阅读更多...
Mysql 索引基础介绍

Mysql 索引基础介绍

索引基础介绍 索引是什么 MySQL官方：索引（INDEX）是帮助MySQL高效获取数据的数据结构。 面试官问，回：索引是排好序的快速查找数据结构 索引的目的在于提高查询效率，可以类比字典的目录。如果要查mysql这个这…
阅读更多...
13. python从入门到精通——Python操作数据库

13. python从入门到精通——Python操作数据库

数据库编程接口：python database API python database API概述 python database API 规范对于关系数据库的访问，Python社区已经制定出一个标准，称为Python Database API，通过这个接口使python跨不同数据库的操作代码可以更加具有…
阅读更多...
动态内存管理（malloc，calloc，realloc）

动态内存管理（malloc，calloc，realloc）

文章目录 1.为什么存在动态内存分配 2.动态内存函数的介绍 3.常见的动态内存错误 4.几个经典的笔试题 5. C/C程序的内存开辟 文章内容 1.为什么存在动态内存分配 我们已经掌握的内存开辟方式有： int val 20;//在栈空间上开辟四个字节 char arr[10] {0};/…
阅读更多...
【javascript】闭包

【javascript】闭包

通过定时器从第一个元素开始往后&#xff0c;每隔一秒输出arr数组中的一个元素。 <script>var arr [one, two, three];for(var i 0; i < arr.length; i) {setTimeout(function () {console.log(arr[i]);}, i * 1000);} </script> 但是运行过后&#xff0c;我…
阅读更多...
使用生成 AI 实现准确的新闻摘要

使用生成 AI 实现准确的新闻摘要

shadow 这篇文章介绍了作者 Alessandro Alviani 的实践经验&#xff0c;非常有参考价值。 指令冗余&#xff0c;多步引导&#xff0c;是目前提高LLM输出质量的方法之一。 Towards Accurate Quote-Aware Summarization of News using Generative AI Alessandro Alviani generati…
阅读更多...
电容式电动汽车路径规划问题的双级蚁群优化算法

电容式电动汽车路径规划问题的双级蚁群优化算法

摘要&#xff1a; 电动汽车&#xff08;EV&#xff09;技术的发展导致了一个新的车辆路由问题&#xff08;VRP&#xff09;&#xff0c;称为有容量的电动汽车路由问题&#xff08;CEVRP&#xff09;。由于充电站的数量有限&#xff0c;电动汽车的巡航范围有限&#xff0c;不仅要…
阅读更多...
【从零开始学习JAVA | 第十九篇】初识内部类

【从零开始学习JAVA | 第十九篇】初识内部类

前言&#xff1a; 内部类是类的五大成员。一个类的其他的成员分别是属性&#xff0c;方法&#xff0c;构造方法&#xff0c;代码块。本文将详细介绍什么是内部类&#xff0c;以及内部类的意义。 内部类&#xff1a; 内部类&#xff08;Inner Class&#xff09;是 Java 中的一个…
阅读更多...
MedViT:一种用于广义医学图像分类的鲁棒Vision Transformer

MedViT:一种用于广义医学图像分类的鲁棒Vision Transformer

文章目录 MedViT: A Robust Vision Transformer for Generalized Medical Image Classification摘要本文方法Locally Feed-Forward Network 实验实验结果 MedViT: A Robust Vision Transformer for Generalized Medical Image Classification 摘要 卷积神经网络(cnn)在现有医…
阅读更多...
实现一个 AI 驱动的马里奥（使用双重深度 Q 网络），它可以自己玩游戏

实现一个 AI 驱动的马里奥（使用双重深度 Q 网络），它可以自己玩游戏

训练玩马里奥的 RL 智能体 本教程将向您介绍深度强化学习的基础知识。 最后&#xff0c;您将实现一个 AI 驱动的马里奥&#xff08;使用双重深度 Q 网络&#xff09;&#xff0c;它可以自己玩游戏。 # !pip install gym-super-mario-bros7.3.0import torch from torch import …
阅读更多...
STM32实现延时

STM32实现延时

在STM32单片机中&#xff0c;实现延时一般都是使用定时器&#xff0c;既可以使用Systick定时器&#xff0c;也可以使用常规的定时器。 定时器在设置了定时并开启之后&#xff0c;就会进入自主运行模式&#xff0c;其中&#xff0c;初始化设置这一阶段是由CPU执行相应指令完成的…
阅读更多...
Spring Cloud_Spring Cloud Alibaba_00000

Spring Cloud_Spring Cloud Alibaba_00000

contents 微服务介绍版本选择创建项目创建Maven工程 说明 微服务介绍 微服务架构是一种架构模式。它提倡将单一应用程序划分成一组小的服务。服务之间相互协调、相互配合&#xff0c;为用户提供最终价值。每个服务运行在其独立的进程中&#xff0c;服务与服务间采用轻量级的通…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023