近期据韩媒Naver新闻爆料,三星电子或将于明年面向开发者推出XR头显,以构建XR生态系统。据悉,三星计划通过打造XR生态系统,来整合元宇宙、软件、内容、元件开发和科研等上下游领域。据称,为了开发XR设备,三星电子联合三星显示器、三星电机等子公司,以及XR零部件供应商,组成了相关的工作组。此外,还与中国的供应商合作,联合开发XR产品。
目前,三星似乎已经开发了多款XR原型机,并已展开测试。接下来,三星有望首先公开软件SDK,吸引开发者来制作XR内容。应用场景方面,三星计划将XR用于娱乐、教育、医疗和国防等领域。该公司的策略是,首先推动XR内容生态,在B端积累解决方案,然后再进入C端。
我们知道,三星在早期曾进入VR市场,推出了Gear VR盒子,WMR头显Odyssey玄龙MR+等产品,但由于后期市场反馈未达预期等因素,三星一度停止了VR硬件业务。尽管如此,该公司在AR/VR上的动作并未停止,尤其是在近年来多次展示、公开AR/VR相关产品和技术,并且不断在申请相关技术专利。今天,我们就从三星的专利中了解一下,这家公司对于未来AR/VR技术都有哪些规划。
先来回顾一些关于三星AR/VR硬件的新闻
- 认证型号SM-I120,疑似三星新款AR眼镜曝光
- 三星显示公布AR/VR微显示路线:24年量产,26年商业化
- 基于BB变焦AR眼镜,三星柔性触觉手套研究公布
- 高通和三星加大合作关系,包括手机、PC、XR
- 三星向WIPO申请“GALAXY 360”和“GALAXY VR”商标
- 三星电子CEO:敬请期待“元宇宙”产品发布
- 三星与微软合作AR头显项目,产品预计2024年公布
- CES 2020:三星AR眼镜首次曝光,联动GEMS智能健身方案
三星XR专利
前不久,日本经济新闻在一项调查报告中指出,从2016年开始,三星提交的元宇宙相关专利申请数量,排名全球第二,仅次于LG。而这些专利的内容包括了通信、传感器、显示器、AR/VR等技术。对于未来三星的XR产品,我们可以有哪些期待呢?也许从近期USPTO公布的一些三星XR专利中,可以看到一些可能的发展方向。
1)US 11515509 B2,虚拟图像显示设备和头戴式装置,申请于2020年2月26日
这项专利的重点是介绍某种支持3D立体显示的VR系统,与传统VR显示方案不同,这项专利描述了一种支持从多视角观看图像的显示模组,以及模组的不同结构设计。
细节方面,该VR系统由三大部分组成,即显示面板、某种透视窗口(叠加在显示面板外)、由多透镜结构组成的多视点光学层(位于显示面板和窗口之间)。此外,显示面板上可能覆盖包含多个像素的薄膜封装层,而多视点层则可位于薄膜封装层表面。固定这些光学元件的粘合剂可采用光学透明粘合剂膜(OCA)、光学透明树脂(OCR)或压敏粘合剂膜(PSA)。
三星在专利中还指出,这项VR方案支持AR显示,可同时看到虚拟图像和真实环境。该方案的另一个优势是,适眼距只有35毫米或更短,因此头显部分更薄、更小。
2)US 11521580 B2,基于头部追踪信息生成临时图像的VR显示系统和装置,申请日期2020年7月2日
这项专利描述了一种根据头部定位数据生成瞬时图像的方案,它的作用是通过插入临时图像帧来降低图像的运动延迟。
简单来讲,VR的概念是当你移动头显时,眼前的图像会改变,就像你用肉眼看物理空间那样。这是VR与普通2D显示的最大不同之一。三星在专利中重点描述了实现VR显示的过程,包括利用头部定位系统识别用户的运动信息,并输入驱动控制器中,接着会根据用户运动信息生成临时图像。另一方面,生成临时图像的目的是为了减少图像延迟,VR显示面板可选择渲染输入图像或插入临时图像,来缓解因延迟造成的图像卡顿。
三星表示:在传统显示系统中,如果屏幕以60Hz刷新率运行,可能会出现至少16.6毫秒延迟。因此当用户快速转动眼球或运动头部时,可能会看到明显的图像延迟。
3)US 11508336 B2,头戴式显示装置及驱动方法,申请者为三星显示,申请日期2021年3月17日
该专利的特点是支持亮度自适应,动态调光,目的是均衡每一帧的亮度,降低视觉疲劳。
三星指出,由于头戴式显示设备安装在用户的头上,屏幕与人眼距离近,因此可能引起人眼不适,造成疲劳、恶心、呕吐或眩晕等症状。为了缓解这些问题,该公司研发了一种可根据周围亮度调节屏幕亮度的VR方案,该方案特点是采用了亮度可调的显示驱动,在初次使用时会先校准初始亮度,后续VR显示的图像会根据初始亮度去调节。
此外,该方案还会计算出让用户产生视觉疲劳的最大亮度(不适应的亮度峰值),将VR屏幕的整体亮度范围设定在初始亮度和不适应的亮度范围内,进行自适应调节。
值得注意的是,该VR方案可能会根据注视点范围去动态调节亮度。比如,VR头显的视场角大约在110°到120°之间,而注视点看到的清晰范围大约为5°,那么VR头显可根据注视点变化去调暗余光看到的图像。
专利还指出,VR头显可采用多种类型的显示方案,比如LCD、OLED、无机发光显示器、柔性显示器等等。这些屏幕可嵌入VR头显外壳中,也可以耦合到外壳上。
4)US 20220383601 A1,AR应用中虚拟化身与物理对象的交互方式,申请于2021年12月28日
这项专利描述了一种Avatar与现实场景交互的混合现实方案,简单来讲,就是在AR/VR中使用Avatar远程社交时,允许远程用户通过Avatar与本地用户、用户所在的空间进行物理交互,进一步增强沉浸感和逼真感。
细节方面,当虚拟对象(Avatar)与物理对象的距离达到一定阈值时(足够近),系统会修改Avatar,根据Avatar和物理对象的属性来模拟二者之间的交互,比如实现靠墙、坐沙发等动作。
硬件方面,该方案可兼容各种类型的AR/VR设备,比如PC VR头显、支持VST透视的混合现实头显、AR/VR盒子、AR眼镜等等。AR/VR设备可配备RGB相机、深度相机、运动传感器、雷达、声纳、红外等传感器。
5)US 20220374543 A1,在AR系统中取出隐私敏感信息的方法和架构,申请于2022年4月12日
这项专利描述了一种在AR/VR头显摄像头采集数据时,保护用户信息安全的方法,其特点是可在AR/VR系统中移除敏感信息,比如捕捉到的图像经过处理后再输入AR/VR应用中执行。
该方案保护的数据包括:个人面部图像、汽车牌照、室内布局等等。
此外三星在专利中提到,该AR/VR头显可采用朝外的RGB透视摄像头,它们靠近佩戴者眼睛的位置,以自然的人眼视角记录周围环境,而且这些摄像头或支持红外传感(可能用于手柄定位)。
6)US 20220382356 A1,控制XR设备运行模式、优化性能的系统和方法,申请于2022年5月23日
这项专利涉及了关于AR/VR头显运行的大量技术实现方式,比如在XR渲染器上同时运行多种操作模式,同时运行图像渲染任务和计算机视觉任务等等。此外,还包含了AR/VR性能优化、降低耗电的方法,比如根据应用场景关闭不需要的传感器,或是动态调节传感器追踪分辨率、计算精度。
专利中提到的一些关键信息包括:
- 1)显示屏或采用LCD、LED、OLED、MEMS、电子纸显示屏,可支持多焦点显示、深度感知,采用一块或两块屏幕;
- 2)交互方式支持触觉、手势、靠近、悬停输入、电子笔等等;
- 3)支持AR/VR两种模式,或支持单目或双目显示,透光率未定,外壳可能为不透明、半透明或反光设计;
- 4)或采用HUD设计,即抬头显示器;
- 5)或采用支持触控的透光AR显示单元,或是不透明显示面板,加上透视相机来实现AR;
- 6)每个组件都可以针对功率/性能进行优化,比如根据应用场景关闭/开启部分组件,若应用只需要显示2D内容,那么便可关闭定位相机,或是降低图像传输分辨率和色彩深度、关闭手势追踪等功能,以此来达到省电、优化性能的效果;
- 7)方案具有可扩展性,兼容任何渲染系统(边缘计算或云渲染方案)、XR设备和配件;
- 8)配备CV(计算机视觉)、SLAM和6DoF定位能力。
7)US 20220383598 A1,显示AR对象的方法和架构,申请者为三星电子,申请日期2022年8月8日
这项专利描述了一种AR设备,特点是可捕捉图像、头显位置和姿态信息,并生成虚拟对象、用户交互,以及根据传感器信息将AR叠加在物理位置中。
该专利主要突出了一种在设备中共享基于准确定位的AR的方式,即通过设备的传感器(IMU等)、GPS、相机(至少一个)来扫描3D空间信息,在定位完成后可支持6DoF追踪。除此之外,AR设备还将包含通信模块、显示模组、处理器。参考:naver