「Paraverse平行云」助力数字栩生突破超写实数字人“千言”的实时交互挑战

news2024/11/17 14:33:06

图片

“超写实数字人”一直是图形学界的圣杯之一,力求在虚拟世界中创造出逼真无比的3D人类角色,并使其能够实时与用户进行互动,营造身临其境的虚拟体验,超写实手语主持人“千言”便是“超写实数字人”领域的佼佼者。

“千言”由数字栩生和千博信息联合打造,可以实现电视转播手语的自动生成,完成从汉语到手语、手语到汉语的双向翻译,实现听障聋人群的信息无障碍交流。作为一名手语主播,“千言”已签约上百家电视台;同时,在针对聋哑人的教育场景,及政府的无障碍办事通道等场景中,千言也承担了AI翻译的角色。

为了实现“超写实数字人”的实时交互,数字栩生携手「Paraverse平行云」基于实时云渲染技术打造了“千言”在云端的“大脑中枢”,为“千言”赋予实时模仿听障人士的能力,以高质量、低延迟的渲染效果进行手语实时交互。除此之外,千言还能演唱三山五园歌曲、跳手语舞蹈。透过“千言”,我们可以真正看到一个虚拟技术与现实世界的高频交互的案例。“超写实数字人”正在提升现实世界人类的生活质量。

图片

实时交互:超写实数字人的关键技术

数字人技术领域历经多年发展,传统数字人的构建依赖艺术家进行数字雕刻和骨骼绑定,但面临表情细腻度和艺术家要求高的问题。

现如今,数字孪生技术通过采集真实演员的多角度照片并结合算法,高效、低成本地制作出精准的超写实数字人,实现动态表情逼真复刻和脸部光学几何特征的捕捉。这种"照相机"式的技术和方式,为“超写实数字人”带来了更高效的解决方案。

然而,以上只解决了超写实数字人的生产,超写实数字人的成功应用还与“实时交互”能力强绑定。如果无法实时交互,数字人就缺少了很多应用场景,只能用于视频。

目前渲染技术分为离线渲染和实时渲染两类,离线渲染受限于设备和软件架构,根据预先定义好的光线、轨迹渲染图片,主要用于2D虚拟数字人;而实时云渲染可以实时计算并输出图形数据,每一帧都针对当时实际环境光源、相机位置和材质参数计算出的图像,大多用于3D虚拟数字人。

可以说,实时云渲染技术是3D超写实数字人实时交互的核心。

渲染超写实数字人是个复杂的过程,包括材料和纹理的渲染、光线的渲染、细节的渲染、反馈与完善、以及最终输出等步骤。通常渲染一帧虚拟数字人的画面需要几分钟到几小时不等,而为了实现能实时互动的3D超写实虚拟数字人,不仅需要渲染更多帧数、耗费更长时间,更需要巨大的计算量。

实时云渲染可以实时计算并输出“超写实数字人”海量的图形数据,每一帧都针对当时实际环境光源、相机位置和材质参数计算出的图像,满足了实时性的需求,同时利用了云端近乎于无限的GPU算力资源,有效处理繁重的图像渲染计算。

「Paraverse平行云」实时云渲染解决方案LarkXR兼容实时渲染、实时3D可视化、像素流送等相关技术服务于一身,可以满足超写实数字人随时随地跨终端、可交互的需求。

平行云

,赞1

“千言”实时翻译香港財政司司長陳茂波在記者招待會中的發言 

LarkXR:显著降低数字人访问成本

在“超写实数字人”制作的多项技术障碍被突破后,数字人的广泛推广和和落地至关重要,特别是降低“超写实数字人”的访问成本。

降低成本可以提高数字人技术的普及度,让更多用户能够负担得起数字人的应用和服务。其次,低成本的数字人访问有助于支持商业化应用,吸引更多企业和开发者使用数字人技术,推动数字人技术在商业领域的发展。

超写实、高精度的内容与AI实时交互的实现依赖于 GPU 算力,往往需要借助专用设备才能运行。而对于“千言”面向的用户而言,手机、平板、笔记本电脑等主要的个人电子产品往往并不具备本地渲染所需的算力,因而,如何降低乃至避免用户的额外访问支出,之于像“千言”这样的“超写实数字人”的应用、推广与发展都具有重要意义。

借助「Paraverse平行云」实时云渲染解决方案 LarkXR,“千言”支持手机、平板、电脑等轻终端设备,以及VR\MR\AR多多类型XR终端访问,有效节约用户本地设备成本。除此之外,在公有云场景下,实时云渲染技术从“计算资源”,“弹性资源分配”等方面也同样有效降低了“超写实数字人”的访问成本,为用户提供更加方便、高效的体验。

“未来我们在不断地提高,同时也努力降低数字人的生产成本,让更多的人能用上,需求和成本之间更加匹配。”数字栩生创始人&CEO宋震表示。

未来「Paraverse平行云」还将为数字人应用在更多场景带来了可能性,与数字栩生携手促进数字人技术的发展和普及。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/906494.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2337. 移动片段得到字符串

给你两个字符串 start 和 target ,长度均为 n 。每个字符串 仅 由字符 L、R 和 _ 组成,其中: 字符 L 和 R 表示片段,其中片段 L 只有在其左侧直接存在一个 空位 时才能向 左 移动,而片段 R 只有在其右侧直接存在一个 …

Linux内核学习(四)—— 系统调用(基于Linux 2.6内核)

在现代操作系统中,内核提供了用户进程与内核进行交互的一组接口,这些接口在应用程序和内核之间扮演了使者的角色。这些接口保证了系统的稳定可靠,避免应用程序肆意妄行。 一、与内核通信 系统调用在用户空间进程和硬件设备之间添加了一个中…

阿里云——云存储:对象存储管理与安全

作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。 座右铭:低头赶路,敬事如仪 个人主页:网络豆的主页​​​​​ 目录 一.传统存储介绍: 1.存储的发展历史 2.硬盘发展历史与趋势 3.SDD硬盘介…

谷歌浏览器最新版本进行控制台调试js代码时候无法显示代码行数

问题描述 谷歌浏览器打开控制台进行js代码调试,js代码没有行数显示想当难受 原因分析: 最新版本谷歌浏览器进行了自动设置关闭那个功能,要自己去设置 解决方案: 最终效果 舒服了

用C++/JS/Python/Java代码描述秋天的味道

前言 秋天是一个充满诗意和浪漫的季节,它带来了清新、芬芳和美食的味道。让我们一起探索如何用编程语言来写出秋天味道的代码吧!无论是C、JavaScript、Python还是Java,以下是几个简单的步骤来帮助你创造出充满秋天味道的代码: …

ChatGPT的创造力已达到人类顶尖水平-蒙大拿大学研究

美国蒙大拿大学的一项新研究表明,ChatGPT的创造力已经达到了前1%的人类思想家水平。研究人员对ChatGPT进行了托兰斯创造力思维测验(TTCT, Torrance Tests of Creative Thinking),并记录了8个回答。此外,他们…

C++破坏电脑病毒

写了这么多python病毒,今天我来给大家分享一个C病毒。 创作背景:我有个同学对电脑十分精通,而且对MBR十分感兴趣,他跟我分享了他怎么把MBR搞报废的历程。听完之后,我开始研究MBR。用python研究了2个月,结果…

Apache和Nginx各有什么优缺点,应该如何选择?

Apache和Nginx各有什么优缺点,应该如何选择? Apache和Nginx都有各自的优点和缺点,选择应该根据您的具体需求而定。Nginx的优点包括:轻量级,与同等web服务相比,Nginx占用更少的内存和资源;抗并发…

面试热题(不同的二分搜索树)

给你一个整数 n ,求恰由 n 个节点组成且节点值从 1 到 n 互不相同的 二叉搜索树 有多少种?返回满足题意的二叉搜索树的种数。 经典的面试题,这部分涉及了组合数学中的卡特兰数,如果对其不清楚的同学可以去看我以前的博客卡特兰数 …

stack,queue,deque的使用

1.stack是后进先出的&#xff0c;这也影响其对应的接口&#xff0c;所能实现的功能也有限&#xff0c;其中主要的功能如下&#xff1a; void test_stack1() {stack<int> st;st.push(1);st.push(2);st.push(3);st.push(4);st.push(5);st.push(6);while (!st.empty()){c…

代码随想录打卡—day24—【回溯】— 基础,最新820 8.21 todo

1 理论基础 回溯法也可以叫做回溯搜索法&#xff0c;它是一种搜索的方式。回溯算法——回溯和递归是相辅相成的。回溯法的效率&#xff0c;回溯法其实就是暴力查找&#xff0c;并不是什么高效的算法。回溯法解决的问题都可以抽象为树形结构&#xff08;N叉树&#xff09; 1.1…

Linux面试笔试题(1)

1、以长格式列目录时&#xff0c;若文件test的权限描述为&#xff1a;drwxrw-r–&#xff0c;则文件test的类型及文件主的权限是__A____。 A.目录文件、读写执行 B.目录文件、读写 C.普通文件、读写 D.普通文件、读 在这个问题中&#xff0c;我们需要解析文件权限的描述&…

【记录】Python3|selenium4 极速上手入门(Windows)

环境&#xff1a;Windows 版本&#xff1a;python3&#xff0c;selenium 4.11.2 文章目录 1 装ChromeEdge其他浏览器 2 运行报错RequestsDependencyWarning: urllib3 (1.26.9) or chardet (3.0.4) doesn‘t match a supported version打开了浏览器&#xff0c;但是没有显示网页…

李沐pytorch学习-经典CNN的原理及代码实现

一、LeNet 1.1 模型结构 LeNet结构如图1所示&#xff0c;汇聚层即池化层&#xff0c;这里池化Stride&#xff08;步幅&#xff09;与池化层长宽一致&#xff0c;因此使得池化后大小减半。 图1. LeNet结构 1.2 代码实现 代码实现如下&#xff1a; import torch from torch imp…

KDAB QML学习笔记Day3(5,6,7,8)

KDAB QML学习笔记Day3&#xff08;5,6,7,8&#xff09; 学习视频链接&#xff1a;Introduction to Qt / QML - all videos so far - YouTube B站链接&#xff1a;Introduction to Qt / QML_哔哩哔哩_bilibili Part05&#xff0c;06 示例代码 import QtQuick 2.15 import Q…

根据源码,模拟实现 RabbitMQ - 虚拟主机设计(5)

目录 一、虚拟主机设计 1.1、需求分析 1.1.1、核心 API 1.1.2、虚拟主机的是用来干什么的&#xff1f; 1.1.3、如何表示 交换机和虚拟主机 之间的从属关系&#xff1f; 二、实现 VirtualHost 类 2.1、属性 2.2、锁对象 2.3、公开实例 2.4、虚拟主机构造方法 2.5、交…

Ubuntu系统更换Linux内核的详细方法汇总

文章目录 一、写在前面二、方法一&#xff08;手动下载编译安装Linux内核并更换&#xff09;三、方法二&#xff08;自动下载安装Linux内核并更换&#xff09;四、最后总结 一、写在前面 最近在复现Linux内核漏洞的时候&#xff0c;经常需要更换Ubuntu系统的Linux内核版本&…

索引下推及具体实践

什么是索引下推 索引下推(Index Condition Pushdown&#xff0c;简称ICP)&#xff0c;是MySQL5.6版本的新特性&#xff0c;它能减少回表查询次数&#xff0c;提高查询效率。 索引下推优化的原理 我们先简单了解一下MySQL大概的架构&#xff1a; MySQL服务层负责SQL语法解析…

Spring 中 @Primary 注解的原理是什么?

1. 问题分析 当我们使用 Spring 的时候&#xff0c;有时候会遇到下面这种情况。 假设我有 A、B 两个类&#xff0c;在 A 中注入 B&#xff0c;如下&#xff1a; Component public class A {AutowiredB b; }至于 B&#xff0c;则在配置类中存在多个实例&#xff1a; Configu…

windows上先简单使用libevent,运行demo

使用libevent 1:获取libevent库。 从libevent 官网中获取&#xff0c;这里获取到的版本是libevent-2.1.12-stable.tar 2:windows上编译libevent库&#xff08;VS2019上使用&#xff09; 2.1&#xff1a;cmake准备 注&#xff1a;这里要用cmake进行编译&#xff0c;除此之外…