Vision Pro:为什么空间音频是AR的绝杀武器?

news2024/12/28 4:05:04

Apple Vision Pro,不仅仅是苹果全新的重磅品类,而且在它身上也融合了苹果过去几乎所有新技术,比如空间音频就是其中一个例子。

苹果表示,Vision Pro中空间音频可以很好的应用在:影视节目、游戏内容、3D空间照片、3D空间视频、视频通话、等,甚至整个系统和UI交互中也充分融合空间音频的能力。

Vision Pro:为什么AR需要空间音频?

而苹果如何高规格的打造Vision Pro,更是在告诉大家,空间音频将是AR、MR设备的一大杀器,它对于提升临场感至关重要。

1,苹果最强空间音频系统

Vision Pro和大多数AR、VR一样,采用了开放式扬声器方案,整体的设计相对中庸一些,因为整体模组体积比较大,在头显硬质绑带上还是有点突出。

据悉,苹果Vision Pro描述页面显示:这是苹果有史以来最强的空间音频系统。

在此之前,我体验到最好的空间音频AR、VR设备包括:HoloLens 2,它不仅临场感十足,而且音频定向传播控制极其出色,在旁边的人几乎听不到设备的声音。

2,音频射线追踪

根据现场体验的反馈,所有人在体验之前都实现通过iPhone原生感相机扫描耳朵轮廓,从而为Vision Pro体验提供更适合你个人的空间音频效果。

该技术最早是在WWDC22上公布,其目标是AirPods Pro提供更符合你耳朵轮廓的空间音频效果。因为AirPods耳机的设计是在保证佩戴舒适性,同时在数千人不同耳朵轮廓的基础上建立了一个通用HRTF模型,来打造出适用性较广的空间音频能力。

而在Vision Pro上,则更进一步。

目前大家可以通过具备空间音频的AirPods Pro等产品来了解空间音频的能力。但是我要说的是,在Vision Pro中的空间音频将会更进一步。

其中一个重要逻辑就是:它会充分融合设备中LiDAR扫描,对房间内声学特性(物理材质等)进行分析,然后打造出适用于你耳朵轮廓且匹配你房间的“空间音频”效果。

上面这项技术,被苹果称为“音频射线追踪”(Audio Raytracing)。当然,在部分VR游戏中已经支持此技术,只不过对照关系都在游戏的虚拟场景之内。

相比AirPods Pro的空间音频,Vision Pro中既考虑你的耳朵轮廓信息,又融合(虚拟场景的)声音在房间内传播特性,来达到虚实融合的目的。

3,visionOS音频交互

在WWDC公开课中,我们也看到了苹果visionOS的声音交互设计指南。从中我们了解到,更多的声音交互层面的信息。

空间中还原声音的目标是:

  • 1,正确的音源位置;
  • 2,正确的音源方向。

围绕这两点,再加上一些技巧基本可以很好的设计好空间音频交互。

其中主要的要求是:

  • 1,背景音舒适、音量合适、不刺耳、不聒噪;
  • 2,前后景声音分明,利用好声音位置信息;
  • 3,需要明确左右位置,提供明确的声音方向;
  • 4,背景回响,提升整体氛围感;
  • 5,声音和视觉交互锚定,整体具备层次感。

参考:Apple

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/650504.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

金融风控项目实战-银行信用卡流失预测模型_基于ANN神经网络_金融培训_论文科研_毕业设计

业务背景 根据央行公布的数据显示,全国性银行信用卡和借贷合一卡的发卡量增速从2017年同比增速26.35%的高点逐年下降,截至2020年同比增速降至4.26%。银行信用卡发卡增速明显放缓的背景下,预防老客户流失的问题变得愈发重要。 假设一家消费信…

pytest+allure

知识点1: 1、测试结果信息阅读 passed表示通过,有个简写. failed表示失败,有个简写F 2、命令行参数 -h:帮助 -version:版本信息 3、测试用例命名规则: 测试函数必须以test开头 测试类必须以Test开头…

我为开放原子全球开源峰会助力:共建开源之梦

我为开放原子全球开源峰会助力:共建开源之梦 6月11日,以“开源赋能,普惠未来”为主题的2023开放原子全球开源峰会开幕式暨高峰论坛在北京成功举办。 开源的力量与魅力 开源是当今软件行业中不可忽视的力量,它为技术的快速发展和…

入职滴滴和字节的2 年里,我感觉忒真实了……

引言 先简单交代一下背景吧,某不知名985的本硕,17年毕业加入滴滴,之后跳槽到了头条,一直从事软件测试相关的工作。之前没有实习经历,算是两年半的工作经验吧。 这两年半之间完成了一次晋升,换了一家公司&…

Ubuntu如何安装vmtools?

虚拟机-安装VMware Tools 然后在Ubuntu中找到设备中的VMware Tools,将这个文件来复制到桌面上去。 选择提取到此处 可以看到桌面上多了一个VMware Tools的文件夹 使用cd命令进入桌面上的这个VMware tools的文件夹 使用sudo ./安装命令 对vmware-tools-distrib文件夹…

政企市场,「观望」AI大模型

数据安全等“刚需”下,私有化成为政企市场的准入门槛,然而私有化下,行业模型局限性尚未可知,加之信创化等因素,厂商仍需取长补短,为政企客户提供全方位的解决方案。 作者|斗斗 编辑|皮爷 出品|产业家 政…

采用UWB定位技术开发的室内定位系统源码

UWB精准定位系统源码 UWB是什么? UWB(Ultra Wideband)超宽带技术是一种全新的、与传统通信技术有极大差异的通信新技术。它不需要使用传统通信体制中的载波,而是通过发送和接收具有纳秒或纳秒级以下的极窄脉冲来传输数据,实现精准定位。 技术…

一名高水平的程序员,为什么面试总是失败?

目录 场景1 场景2 场景3 1 从发现和分析问题方面准备。 2 从linux命令和日志层面分析问题的步骤。 1 事先准备很重要 2 面试开始是自我介绍,这时要表露出,自己解决过redis,dubbo等组件的线上问题 3 一旦开始说第一个组件层面解决过的问题时&…

Django高级扩展之文件上传

文件上传是一个比较常用的网站功能,在服务器端,Django会使用一个叫作request.FILES的对象来处理上传的文件。 目录 存储路径 创建存储目录 配置settings.py 上传单文件 配置url 上传文件模板 视图方法 显示上传页面 上传文件处理 上传效果 1.…

盘点五种最常见加密算法!

大家好,我是Martin。 今天,就给大家来盘点一下最常见的5种加密算法。 大家平时的工作中,可能也在很多地方用到了加密、解密,比如: 用户的密码不能明文存储,要存储加密后的密文 用户的银行卡号、身份证号…

2024年天津农学院专升本专业课参考书目

天津农学院2024年高职升本科拟招生专业参考书目 天津农学院专升本专业课参考教材(我校不提供专业课参考教材) 人力资源管理专业参考教材: 1、《人力资源管理实用教程》 (第2版),吴宝华,北京大学出版社 2、《人力资源…

运维(SRE)成长之路-第3天 文本处理三剑客之 grep

1.命令作用以及参数详解 grep: 全局搜索正则表达式并打印行(Global search REgular expression and Print out the line)作用:文本搜索工具,根据用户指定的“模式”对目标文本逐行进行匹配检查;打印匹配到的行模式:由正则表达式字…

GitHub Copilot 最全安装、使用

GitHub Copilot 最全安装、使用教程 一、温馨提示 GitHub Copilot 目前为止可以免费试用一个月,但是试用的前提是必须要绑定银行卡,因为后续会自动扣费,所以请注意试用结束日期,自己定好闹钟关闭订阅。 订阅价格为每月10美刀&a…

【Pinia 状态管理篇】Vite + Vue3 组合式 API 模式下的 Store 数据处理

文章目录 Pinia 状态管理一、 Pinia 安装与使用1.1 安装1.2 注册 pinia 实例到全局1.3 创建一个 Store1.4 组件内使用 Store 二、Pinia 核心概念展开学习Store 的定义和使用2.1 State2.2 Getter2.3 Action 附:1. 什么是魔法字符串? Pinia 状态管理 一、 …

Nacos配置中心使用(Spring Cloud版)

目标 向项目中集成Nacos配置。原项目是一个SpringBoot项目。这里假设我们无法修改原有项目的SpringBoot版本。 注意 在不动SpringBoot版本的前提下,根据SpringBoot的版本,确定Spring Cloud和Nacos版本。Nacos版本其实就是Spring Cloud Alibaba版本。在…

【Linux】网络结构模式

目录 网络结构模式C/S结构B/S结构 MAC地址IP地址端口网络模型OSI七层模型TCP/IP四层模型 通信过程数据包封装协议以太网协议ARP协议IP数据报格式UDP协议格式TCP协议格式封装分用TCP详解TCP和UDPTCP通信流程TCP三次握手 网络结构模式 C/S结构 客户机-服务器(client-server)结构…

uboot读取adc,通过cmdline传给kernel解析数值,不同硬件模块进行处理

uboot读取adc,通过cmdline传给kernel解析数值,不同硬件模块进行处理 uboot开发,要想读取adc在哪个时间点读取以及如何传给cmdline,需要清楚2点, uboot启动得大致流程及相关启动功能,uboot各个硬件模块得接…

主机安全各个方面应该怎么做?

主机安全是指保护主机系统不受恶意攻击和未经授权访问的威胁,以保证系统的稳定性、可用性和数据的安全性。 以下是主机安全涉及的几个方面做法: 1. 操作系统安全:安装操作系统时需要选择合适的版本,及时打补丁更新,配置…

入职Linux驱动工程师后,我才知道的真相…

大家好,我是ST。 做Linux驱动工程师也有一段时间了,今天分享一下我曾经入职才知道的一些事情,算是一个菜鸟的经历吧! 设备树 起初学习Linux驱动,是从最简单的一个.c文件开始。 在.c中实现module_init和module_exit这…

大模型入门(三)—— 大模型的训练方法

参考hugging face的文档介绍:https://huggingface.co/docs/transformers/perf_train_gpu_many#naive-model-parallelism-vertical-and-pipeline-parallelism,以下介绍聚焦在pytorch的实现上。 随着现在的模型越来越大,训练数据越来越多时&…