Karl Guttag:Quest Pro透视效果差,并不适合商用

news2025/1/16 16:06:36

AR/VR光学专家Karl Guttag曾指出,基于VST透视的AR虽然绕开了光学透视AR的一些局限,但VST透视依然存在运动延迟、余光视觉透视效果、分辨率、IPD不匹配等多种问题。的确,VST透视AR的结构、原理比光学透视AR更简单,但它同样需要解决许多问题(搭配低延迟光场相机、光场显示屏来实现高动态变焦),才能实现理想的视觉体验,因此Guttag认为这将需要很长一段时间,可能超过50年。

那么对于Meta的VST透视混合现实头显Quest Pro,Guttag又怎么看呢?

近期,他在博客中发布了Quest Pro报告,并表示:Quest Pro的VST透视效果糟糕,令人难以置信。Quest Pro官方宣称用于企业、办公场景,但它的视觉体验并不能满足这些场景的需求。接下来我们就详细看看Guttag的观点。

首先,Guttag强调Quest Pro依然是一款为VR游戏而生的产品,认为它没有达到企业级水平。他表示:ML1、ML2也是这样,硬件规格和体验不适合企业级应用,但定位却指向B端,这更像是营销策略转变。实际上,对于超过1000美元价位的产品,营销人员很难将它们当游戏设备来卖,所以不得不定位企业级产品。

VST透视不理想

在Connect 2022活动上,Meta宣布Quest Pro是首款全彩色混合现实设备,它将实现物理和虚拟世界之间的无缝(Seamless)融合。对此Guttag指出,按照字典定义Seamless指的是没有尴尬的过渡、终端或差异等迹象,而Quest Pro的混合现实体验似乎并未达到“无缝”的定义。

Quest Pro画质实拍

如果说,基于手机的移动端AR算是某种VST混合现实,那么至少手机屏幕分辨率更高,体验感还是比清晰度、流畅度略低的VST透视VR要好得多。

实际上,已经有很多人在Quest Pro测评中提到其VST透视质量不佳,Guttag测评的不同之处在于,他从计算图形、显示、人类视觉界面等多方面出发,将VST透视的问题进行量化。

注意:照片和视频为摄像头实拍,采用佳能R5微单,镜头16mm、FOV 106°、80ppi、以4K分辨率拍摄,解析能力接近理想的人眼视觉。可以明显发现,Quest Pro的纱窗效应肉眼可见。

Quest Pro支持动态调光功能,这在AR/VR中是比较新的技术,此前的LCD屏是将LED整行的以短周期进行滚动照明。Guttag发现,Quest Pro的屏幕存在闪烁,在运行《Horizon Workrooms》时刷新率可能降到70Hz,而人眼与光视觉对闪烁又很敏感,很多低频闪烁对人眼是有害的。Guttag指出,大多数VR应用刷新率为90Hz,对于Quest Pro 106°的FOV来讲还是有点低。此外,在一些光线环境中,还发现Quest Pro透视图像和房间灯光因工作频率导致闪烁的情况。

Quest Pro屏幕和透镜畸变

Quest Pro采用了两块倾斜安装的LCD屏幕(向外旋转21°左右),以及Pancake透镜和数字畸变校正算法。屏幕倾斜安装可能有两种原因,一是为了提升垂直FOV,另外则是因为Pancake透镜更薄,显示屏更靠近人脸,倾斜安装后可为用户鼻子留出位置。

Quest Pro的另一个问题是,LCD屏幕结合Pancake透镜后图像发生明显的枕形畸变,因此需要预先对图像进行桶形扭曲(四边向外弯曲),这意味着屏幕外围像素经历了光学拉伸,因此分辨率较低。

从左到右:录屏、透镜实拍、单反捕捉效果

但由于VST透视摄像头没有旋转,因此其捕捉的每帧视频都要通过数字校正算法来预旋转。Guttag猜测,旋转透视图像也会影响分辨率,不过考虑到这些旋转和畸变同时运行,因此图像质量变差可能是多因素造成的。

从左到右:录屏、透镜实拍、单反捕捉效果

Guttag对比了Quest Pro摄像头捕捉的透视图像,以及相机实拍的头显内透视画面和摄像头实拍的场景图,其中头显摄像头捕捉的图像为Quest Developer HUB工具录屏,由于软件错误等因素限制,只能使用该软件录制30fps,视频已经过旋转和缩放,但未应用桶形失真校正。而从Quest Pro捕捉的图像和相机直拍头显内图像中,都可以看到图像边缘因光学畸变被拉伸了2倍或更多(又通过预补偿过程而被压缩)。

AR透视不清晰、颜色不理想

为了测试Quest Pro透视模式的清晰度,了解它能否接近人眼看世界的视觉效果,Guttag透过Quest Pro去拍摄视力表。结果发现,连第一行都拍不清楚。而在同样的焦距,佳能相机的拍摄效果要清晰得多。Guttag表示:在美国,如果看不清视力表第一行,那么你属于法定盲人,而Quest Pro拍摄视力表的清晰度,大概介于法定盲人和视障者之间。

Guttag还测试了Quest Pro摄像头的色彩表现,如图可见佳能相机拍摄的视力表背景有橘黄色木柜,这个颜色与肉眼看起来差不多,但通过Quest Pro透视后,木柜颜色的饱和度偏低。Guttag表示:Quest Pro透视图像的色彩部分有很多问题,时而过饱和,时而低饱和,色调还存在颜色偏移现象。

从左到右:透镜实拍、单反捕捉效果、6PPD模拟效果

另外,Guttag还用Quest Pro摄像头、佳能R5分别拍摄了一张复杂的彩色迪士尼地图,这张地图印刷了多层次的细节。为了更公平,让微单拍摄的像素更接近Quest Pro(Quest Pro为6PPD,而佳能R5为70PPD),他将相机拍摄的图像缩放,确保细节水平(LOD)与Quest Pro大致匹配,然后进行放大,确保图像尺寸与Quest Pro拍摄的匹配。

结果显示,Quest Pro透视的色彩表现依然存在差距,仔细看会发现绿色、蓝色显得比较暗淡,俄日企鹅颜色之间的分界线模糊。因此Guttag猜测,Quest Pro最佳中心视觉约为人类良好视力的1/10。

低动态范围、高失真

Quest Pro的视频透视效果的动态范围很低,其搭载的定位摄像头对红外光敏感,因此环境中任何明亮或发光的物体经过透视会变成白色。而在环境光线不佳的场景,透视图像的噪点也很大。

https://v.qq.com/txp/iframe/player.html?vid=n337066bl1z

Guttag表示:Quest Pro捕捉近距离物体的视觉效果更糟,而较远的物体则会产生奇怪的扭曲。

https://v.qq.com/txp/iframe/player.html?vid=n3370txff0z

在另一个测试中,Guttag利用Quest Pro去拍摄更复杂的房间场景,房间中有一个计时的笔记本电脑,还有一个摆动的视力表,背景则是木柜、书柜、白墙。Guttag表示:尽管视频中电脑屏幕看起来足够亮,但实际上我将电脑亮度设置为最低,才能让Quest Pro看清屏幕上的计时器。

https://v.qq.com/txp/iframe/player.html?vid=h33706d2ve6

另外还发现,摆动的视力表在经过背景的木柜时,有明显的扭曲和失真,并且还有混色效果,以及图像运动延迟。

https://v.qq.com/txp/iframe/player.html?vid=k3370pd1n8d

整体来看,Quest Pro VST透视录屏的颜色表现足够准确,但经过透镜实拍的效果还是存在颜色过饱和。Guttag表示:相比于Quest Pro VR模式出色的颜色效果,VST透视的色彩效果很差,也许未来可以得到修复。

刷新率不同步

Guttag还指出,Quest Pro显示屏、透视摄像头(通过Meta Developer应用捕捉视频)的刷新率均为90Hz左右,但实际上略有不同,因此捕捉到的透视视频每3帧会出现至少一处撕裂或帧滚动。

不过,上述现象仅在Quest Pro录屏中出现,通过透镜实拍的视频中这种现象不明显。这说明,Quest Pro透视模式的录屏与进入显示屏的视频源不同步。另一方面,透镜实拍视频以更高的刷新率拍摄,而录屏中则存在重复帧。

透视图像质量差原因

尽管Quest Pro录屏只有30fps,但视觉效果还是优于直接在Quest Pro看到的透视效果。Guttag猜测,Quest Pro系统会优先处理运动到光子延迟(Motion to Photon Latency)而不是图像质量,而录屏则相反。

据Guttag测量,Quest Pro将IR定位数据和RGB VST结合来生成透视图像,运动到光子延迟约在40到50毫秒之间。

值得注意的是,Quest Pro的透视模式更侧重于3D空间捕捉,而非图像质量,这是为了更好的将MR内容固定在空间中。Guttag表示:Meta工程师一定知道,将单个彩色相机与两个低分辨率定位相机结合使用,会严重损害图像质量。那为什么会这么设计Quest Pro呢?也许,是为了试图避免比这更糟糕的问题,即使牺牲吐下那个质量,也要确保虚拟图像与物理空间的位置匹配。但这意味着Quest Pro的图像失真程度糟糕,尤其是透视近距离物体的视觉效果很差。

Guttag认为,这实际上是得不偿失的选择,未来即使加入额外的彩色透视相机,也还是需要解决算力、功耗的问题,很难想象要多少算力才能实现理想的透视质量。

VST透视并不安全

此前Guttag就曾吐槽ML2透光度不好,用户余光视觉被遮挡,因此有安全风险。对于Quest Pro他也有同样的看法,尽管该头显可通过视频透视看到周围环境,但还是会遮挡大部分视线。而且,VST透视分辨率低、有高度失真,尤其是动态范围差,现实场景中明亮的东西无法清晰显示。

因此,在使用Quest Pro透视模式时,还是要划定边界,而且Meta建议用户在房间内使用,尽量清空周围的障碍物。也就是说,你不能把它像眼镜那样戴出门。

Guttag指出,如果长时间使用Quest Pro的透视模式,还可能发现VAC、闪烁等问题。

总结:还不够成熟

作为Meta首款支持彩色VST透视的VR头显,Quest Pro不只是为了让玩家在VR中也能查看周围环境,它还想要推动某种MR内容生态。但从实际效果来看,Guttag认为这项技术还不够成熟,还不能让VR实现AR/MR效果。它有点像是Reality Lab还在开发的实验性技术,除了展示创新技术外,也可能是希望通过Quest平台在大规模用户群中进行验证。

而对于Meta来讲,彩色VST和混合现实可能是Quest Pro的营销手段,目的是突出它与传统VR的不同。也有人猜测,Meta是想赶在苹果之前率先定义MR头显。

尽管如此,Quest Pro搭载的定位摄像头分辨率很低,仅1280x1024,尽管结合了1600万彩色相机,透视效果比Quest 2有所改进,但整体透视清晰度还是有限。

Guttag认为现阶段VST透视技术仅适合查看现实空间中的大型物体,或是为VR设定边界,与光学透视AR还差得远。从视觉角度来看,Quest Pro犯了很多错,但相比之下Lynx R1的透视效果似乎还好不少。参考:KG

更多阅读:Karl Guttag:AR眼镜应根据用途来设计,VST并未解决技术难题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/162223.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

(二十)正则表达式

目录 前言: 1.概述: 2.正则表达式体验: 3.正则表达式字符 4.正则表达式在字符串方法中的使用 5.代码演示: 6.正则表达式支持爬取信息 7.代码演示: 前言: 正则表达式,又称规则表达式,(Regular Expression,在代码中常简写为regex、regex…

SpringCloud-Netflix学习笔记05——Eureka模拟实现简单集群

前言 对于Eureka注册中心来说,如果只有一个注册中心的话,如果注册中心崩了,那么里面的服务全部用不了,系统就会崩溃。为了避免这个问题,我们可以搭建一个注册中心的集群,几个注册中心互相关联,如…

程序员别死背面试八股文了,这种面试题才是未来主流。。。

目录: 面试官为啥要出这样一个开放式问题生产消费模型及核心数据结构支撑TB级数据写入的分布式架构数据宕机场景下的高可用架构支持数据不丢失的ack机制最后的总结 1、面试官为啥要出这样一个开放式问题 这篇文章简单给大家来聊一个互联网大厂的Java面试题&#x…

【Git 从入门到精通】一文摸透Git中的分支操作

文章目录一、什么是分支?二、分支中的常用命令三、上手分支1.查看分支2.创建分支3.修改分支4.切换分支5.合并分支6.解决冲突四、分支操作原理分析一、什么是分支? 在版本控制过程中,同时推进多个任务,为每个任务,我们…

肠道核心菌——戴阿利斯特杆菌属 (Dialister)

谷禾健康 戴阿利斯特杆菌属 (Dialister) ✦ Dialister(戴阿利斯特杆菌属)是小的、厌氧或微需氧的革兰氏阴性球状或杆状菌,因次也被翻译成小杆菌属。 Dialister菌是人体肠道菌群中的一种常见菌种。该菌属物种被发现出现…

基于 Hutool 的抽奖实现与原理

前言 先大概描述下 hutool 工具是如何根据权重进行抽取,后面再结合源码进行讲解。 假设有如下奖品以及对应的权重: 奖品名称权重奖品数量谢谢参与0.76010积分0.4550IPhone 140.055Mac Book Air0.011 需要注意 谢谢参与 也算是一种奖品,因为…

SpringCloud-Netflix学习笔记04——Eureka注册中心搭建

前言 Eureka注册中心相当于Zookeeper注册中心,思想是类似的,只不过Zookeeper需要在本机上下载一个服务客户端,直接启动客户端即可,而Eureka注册中心需要我们自己动手搭建,不过也不难。 搭建步骤 1、新建一个Maven项目…

PySpark数据计算中常用的成员方法(算子)

目录 一.回顾 二.数据计算 map算子 演示 flatMap算子 演示 reduceByKey算子 演示 练习案例1 需求 解决步骤 完整代码 filter算子 演示 distinct算子 演示 sortBy算子 演示 练习案例2 解决步骤 完整代码 三.总结 一.回顾 1.RDD对象是什么?为什么要使用它? RDD对象称…

SegFormer学习笔记(1)安装

一、源码:https://github.com/sithu31296/semantic-segmentation我并没使用SegFormer的官方源码,那个mmcv特磨人了,各种奇葩配置错误。二、环境配置新建conda环境conda create -n segformer3715 python3.7.15 选用python3.7.15(纯粹的3.7.0版…

计算机原理四_内存管理

目录儿三、内存管理3.1 内存管理基础3.1.1存储器的多层结构3.1.2 进程运行基本原理进程的装入3.1.3 内存扩充3.1.4 内存的分配3.1.4.1连续分配3.1.4.2非连续分配3.1.4.2.1基本分页存储管理3.1.4.2.2基本分段存储管理3.1.4.2.3 段页式管理3.2 虚拟内存管理3.2.1 虚拟内存的概念3…

【BP靶场portswigger-客户端11】跨站点脚本XSS-10个实验(下)

前言: 介绍: 博主:网络安全领域狂热爱好者(承诺在CSDN永久无偿分享文章)。 殊荣:CSDN网络安全领域优质创作者,2022年双十一业务安全保卫战-某厂第一名,某厂特邀数字业务安全研究员&…

【Go基础】函数和面向接口编程

文章目录一、函数1. 函数的基本形式2. 递归函数3. 匿名函数4. 闭包5. 延迟调用defer6. 异常处理二、面向接口编程1. 接口的基本概念2. 接口的使用3. 接口的赋值4. 接口嵌入5. 空接口6. 类型断言7. 面向接口编程一、函数 1. 函数的基本形式 // 函数定义:a,b是形参 …

【测试】自动化测试

努力经营当下,直至未来明朗! 文章目录一、自动化概述二、自动化测试的分类三、自动化测试工具:selenium四、一个简单的自动化用例五、Selenium常用方法1. 查找页面元素:2.元素的定位(By类)小结普通小孩也要…

Java中this的用法

一、this关键字 1.this的类型:哪个对象调用就是哪个对象的引用类型 二、用法总结 1.this.data; //访问属性 2.this.func(); //访问方法 3.this(); //调用本类中其他构造方法 三、解释用法 1.this.data 这种是在成员方法中使用 让我们来看看不加this会出现什…

ArcGIS基础实验操作100例--实验95平滑处理栅格数据

本实验专栏参考自汤国安教授《地理信息系统基础实验操作100例》一书 实验平台:ArcGIS 10.6 实验数据:请访问实验1(传送门) 空间分析篇--实验95 平滑处理栅格数据 目录 一、实验背景 二、实验数据 三、实验步骤 (1&…

ST算法解决BMQ问题详解(图文并茂,保证看懂)

一.RMQ问题的概念RMQ(Range Minimum/Maximum Query)问题,简单说就是求区间最值问题,是求区间最大值或最小值,即范围最值问题,若是简单的单次询问或者是区间长度很短的询问,可以用暴力的方法来实…

【web安全】——文件上传漏洞

作者名:白昼安全主页面链接: 主页传送门创作初心: 舞台再大,你不上台,永远是观众,没人会关心你努不努力,摔的痛不痛,他们只会看你最后站在什么位置,然后羡慕或鄙夷座右铭…

【寒假第2天】LeetCode刷题

🌈一、选择题 👿第1题: 下面给出的四种排序法中( )排序法是不稳定性排序法A.插入排序 B.冒泡排序 C.归并排序 D.堆,希尔排序,快速排序 答案:D 为啥堆排序是不稳定的&am…

SCA 工具:开源安全威胁一手掌控

1、什么是 SCA SCA(Software Composition Analysis)软件成分分析,通俗的理解就是通过分析软件包含的一些信息和特征来实现对该软件的识别、管理、追踪的技术。我们知道在当今软件开发中,引入开源软件(注 1)到你的项目中&#xff…

线性DP-----(从某点走到某点求最值问题)

线性DP 线性dp问题是dp问题中比较简单的问题,通常一个状态转移方程就可以搞定,线性dp通常求最大值,最小值问题,下面介绍线性dp中从某点走到某点最值问题。 第一类问题(走一遍) 该类问题只走一遍,动态规划中用到的数组f(i,j)含义就是到达(i,j)点得到的最优解 例题1—数字三角形 …