NVIDIA超分辨率介绍
- 参考链接:NVIDIA RTX 视频超分辨率
- NVIDIA 目前推出的 RTX 视频超分辨率 (VSR) 更新可实现更出色的整体图形保真度,同时保留精美细节,提供对原生视频的上采样技术,并且还支持 GeForce RTX 20 系列 GPU。
RTX VSR 的 AI 模型经过重新训练,可以更准确地识别微小细节和压缩伪影之间的差异,从而在上采样过程中更好地保留图像细节。更精致的细节变得更加明朗,并且整个图像看上去比之前更加清晰明了。
- RTX VSR 1.5 版还能减少以原生分辨率播放的视频的伪影,而在此次更新前,只有上采样视频才能得到增强。RTX VSR 更新能让视频在内容和显示器常用的 1080p 分辨率下更顺畅地以其原生分辨率播放,即使视频有严重伪影亦可如此,这为拥有 1080p 屏幕的笔记本电脑用户带来了图形保真度的飞跃提升。
- 有了 RTX VSR 的扩展支持,GeForce RTX 20 系列 GPU 用户可从与 RTX 30 和 40 系列 GPU 用户相同的 AI 增强型视频中获益。
- AI 驱动的图像超分辨率功能以提升 Google Chrome 和 Microsoft Edge 浏览器上视频内容的质量。
Windows 11 Edge浏览器开启超分辨率支持
- 查看自己的显卡类型和驱动版本:RTX3060、驱动546+版本。
- 查看自己edge浏览器是否是最新版本:更新后重启下浏览器。
- 打开NVIDIA控制面板,调整视频图像设置,找到"RTX视频图像增强",选择合适的超分等级,选择最强的4级,应用。
- B站找个低分辨率的视频验证下:GPU占用率确实上来了,但主观感觉差别不大😂。
关于RTX超分辨率原理
-
RTX VSR是 AI 图像处理的一个突破,它超越了传统的边缘检测和特征锐化技术,极大地提升直播视频内容的质量。
-
块状的压缩伪影是直播视频长期存在的问题。无论是服务器、客户端还是内容本身的错误,在传统的图像放大中上述问题往往被放大,给直播观众带来不太愉快的观看体验。
-
RTX VSR 可减少或消除因压缩视频而产生的伪影, 如块效应、边缘的振铃伪影、高频细节的消失和平坦区域的带状现象, 同时减少纹理损失。它还能锐化边缘和丰富细节。
-
该技术使用深度学习网络,在单次推理中进行图像放大和减少压缩伪影。该网络分析低分辨率的视频帧并预测目标分辨率下的残差图像。然后,残差图像被叠加到传统的图像增强上,纠正伪影错误并锐化边缘以匹配输出分辨率。
-
该深度学习网络使用不同压缩程度的内容进行训练。它学习那些在未压缩图像中不存在,但存在于低分辨率或低质量视频中的压缩伪影的类型,把这些伪影及其未压缩图像作为网络训练的参考。深度学习网络还进行广泛的视觉评估,确保生成的模型适用于几乎所有的真实世界和游戏内容。