数字人解决方案——ER-NeRF实时对话数字人模型推理部署带UI交互界面

news2025/2/2 22:48:54

简介

这个是一个使用ER-NeRF来实现实时对话数字人、口播数字人的整体架构，其中包括了大语言回答模型、语音合成、成生视频流、背景替换等功能，项目对显存的要求很高，想要达到实时推理的效果，建议显存在24G以上。

实时对话数字人

讨论群企鹅：787501969

一、环境安装

#下载源码
git clone https://github.com/Fictionarry/ER-NeRF.git
cd ER-NeRF
#创建虚拟环境
conda create --name vrh python=3.10
activate vrh
#pytorch 要单独对应cuda进行安装，要不然训练时使用不了GPU
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.7 -c pytorch -c nvidia
conda install -c fvcore -c iopath -c conda-forge fvcore iopath
#安装所需要的依赖
pip install -r requirements.txt

#处理音频时用的
pip install tensorflow

下载pytorch3d源码,如果下载不了，按上面的百度网盘下载：链接：https://pan.baidu.com/s/1xPFo-MQPWzkDMpLHhaloCQ
提取码：1422

git clone https://github.com/facebookresearch/pytorch3d.git
cd pytorch3d
python setup.py install

二、对话模型ChatGLM3

1. ChatGLM3简介

ChatGLM3作为一个支持中英双语的开源对话语言模型，由智谱 AI 和清华大学 KEG 实验室合作发布，基于 General Language Model (GLM) 架构，拥有 62 亿参数。ChatGLM3-6B 在保留了前两代模型对话流畅、部署门槛低等优点的基础上，还增加了更多特性。虽然目前ChatGLM 比 GPT 稍有逊色，但ChatGLM 在部署后可以完全本地运行，用户可以完全掌控模型的使用。这为用户提供了更多的灵活性和自主权。
ChatGLM3-6B 是一个更强大的基础模型，它的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。ChatGLM3-6B 还有更完整的功能支持。它采用了全新设计的 Prompt 格式，不仅支持正常的多轮对话，还原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。除了对话模型 ChatGLM3-6B，还有基础模型 ChatGLM3-6B-Base 和长文本对话模型 ChatGLM3-6B-32K 开源。所有这些权重都对学术研究完全开放，在填写问卷进行登记后也允许免费商业使用。
在这里插入代码片在这里插入图片描述

2.模型与下载

ChatGLM3-6B 开源ChatGLM3-6B、ChatGLM3-6B-Base、ChatGLM3-6B-32K三种模型：

ModelSeq LengthDownload
ChatGLM3-6B8kHuggingFace — ModelScope
ChatGLM3-6B-Base8kHuggingFace — ModelScope
ChatGLM3-6B-32K32kHuggingFace — ModelScope
量化等级生成 8k 长度的最小显存
FP1615.9 GB
INT811.1 GB
INT48.5 GB

3.项目部署

  1. 本项目需要 Python 3.10 或更高版本：
conda create -n ChatGLM3 python=3.10
conda activate ChatGLM3
  1. 下载源码与模型
git clone https://github.com/THUDM/ChatGLM3.git
git lfs clone https://huggingface.co/THUDM/chatglm3-6b
  1. 安装依赖：
cd ChatGLM3
pip install -r requirements.txt
  1. 多显卡需要安装accelerate
pip install accelerate

4.测试项目

打开basic_demo/cli_demo.py,把模型路径更改成刚刚下载的模型路径，要不然在运行的过程中，代码会自动去下载模型，有可能会下载失败：

MODEL_PATH = os.environ.get('MODEL_PATH', './chatglm3-6b')

在这里插入图片描述

三、语音合成Edge-tts

1.edge-tts安装

Edge-TTS 是一个使用微软的 Azure Cognitive Services 实现文本到语音转换（TTS）的 Python 库。它提供了一个简单的 API，允许将文本转换为语音，并支持多种语言和声音。

要使用 Edge-TTS 库，可以通过以下步骤进行安装：

pip install edge-tts

安装完成后，可以在 Python 中使用这个库，调用相应的 API 来进行文本到语音的转换。这通常包括向 Azure Cognitive Services 发送请求，并处理返回的语音数据。

2.edge-tts测试

async def main(voicename: str, text: str, OUTPUT_FILE):
    communicate = edge_tts.Communicate(text, voicename)

    with open(OUTPUT_FILE, "wb") as file:
        async for chunk in communicate.stream():
            if chunk["type"] == "audio":
                file.write(chunk["data"])
            elif chunk["type"] == "WordBoundary":
                pass

四、语音特征提取DeepSpeech

PaddleSpeech 是基于飞桨 PaddlePaddle 的语音方向的开源模型库，用于语音和音频中的各种关键任务的开发，包含大量基于深度学习前沿和有影响力的模型。这里使用DeepSpeech来对生成的语音进行特征提取，提取出来的语音特征保存为npy文件用于合成视频：

def main():
    """
    Main body of script.
    """
    args = parse_args()
    in_audio = os.path.expanduser(args.input)
    if not os.path.exists(in_audio):
        raise Exception("Input file/directory doesn't exist: {}".format(in_audio))
    deepspeech_pb_path = args.deepspeech
    #add
    deepspeech_pb_path = True
    args.deepspeech = '~/.tensorflow/models/deepspeech-0_1_0-b90017e8.pb'
    #deepspeech_pb_path="/disk4/keyu/DeepSpeech/deepspeech-0.9.2-models.pbmm"
    if deepspeech_pb_path is None:
        deepspeech_pb_path = ""
    if deepspeech_pb_path:
        deepspeech_pb_path = os.path.expanduser(args.deepspeech)
    if not os.path.exists(deepspeech_pb_path):
        deepspeech_pb_path = get_deepspeech_model_file()
    if os.path.isfile(in_audio):
        extract_features(
            in_audios=[in_audio],
            out_files=[args.output],
            deepspeech_pb_path=deepspeech_pb_path,
            metainfo_file_path=args.metainfo)
    else:
        audio_file_paths = []
        for file_name in os.listdir(in_audio):
            if not os.path.isfile(os.path.join(in_audio, file_name)):
                continue
            _, file_ext = os.path.splitext(file_name)
            if file_ext.lower() == ".wav":
                audio_file_path = os.path.join(in_audio, file_name)
                audio_file_paths.append(audio_file_path)
        audio_file_paths = sorted(audio_file_paths)
        out_file_paths = [""] * len(audio_file_paths)
        extract_features(
            in_audios=audio_file_paths,
            out_files=out_file_paths,
            deepspeech_pb_path=deepspeech_pb_path,
            metainfo_file_path=args.metainfo)

五、视频合成ER-NeRF

1.语言模型

  • 简单回答
    为了测试方便，这里写了个简单的回复函数，如果机器没有大显存的话，可以使用这个函数来测试数字人是否能运行起来。
def test_answer(message):
    message = message.lower()

    if message == "你好":
        response = "你好，有什么可以帮到你吗?"

    elif message == "你是谁":
        response = f"我是虚拟数字人静静，这是我的一个测试版本。"

    elif message == "你能做什么":
        response = "我可以陪你聊天，回答你的问题，我还可以做很多很多事情！"
    else:
        response = "你的这个问题超出了我的理解范围，等我学习后再来回答你。或者你可以问我其他问题，能回答的我尽量回答你！"

    return response
  • GLM回答
    使用GLM语言模型来回答，可以直接把代码整合在一个推理代码里面，这样很吃GPU，如果没有12G以上的显存，建议把GLM做成服务器形势进行访问：
tokenizer = AutoTokenizer.from_pretrained("ChatGLM3/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("ChatGLM3/chatglm3-6b", trust_remote_code=True, device='cuda')
video_pre_process()

def glm_answer(query):
    global model
    model = model.eval()
    query = query +"(请在20个字内回答)"
    response, history = model.chat(tokenizer, query, history=[])

    return response

2.语音合成与语音特征提取

选择生成语音发声人：


    audio_eo_path,audio_path_wav = text_to_audio(response,dir,voicename)

    output_video_path = compound_video(audio_path_wav, audio_eo_path, cv_bg, dir, 0)

    return history, history, output_video_path

def text_to_audio(text,save_path,voicename):
    global voices_list;

    asyncio.set_event_loop(asyncio.new_event_loop())
    name = ''
    if voicename == "晓晓":
        name = 'zh-CN-XiaoxiaoNeural'
    if voicename == "晓依":
        name = 'zh-CN-XiaoyiNeural'
    if voicename == "云霞":
        name = 'zh-CN-YunxiaNeural'
    if voicename == "东北":
        name = 'zh-CN-liaoning-XiaobeiNeural'
    if voicename == "陕西":
        name = 'zh-CN-shaanxi-XiaoniNeural'
    if voicename == "云剑":
        name = 'zh-CN-YunjianNeural'
    if voicename == "云溪":
        name = 'zh-CN-YunxiNeural'
    if voicename == "云阳":
        name = 'zh-CN-YunyangNeural'

    timestamp = int(time.time())
    audio_path_mp3 = os.path.join(save_path, str(timestamp) + ".mp3")
    audio_path_wav = os.path.join(save_path, str(timestamp) + ".wav")

    asyncio.get_event_loop().run_until_complete(main(name, text,audio_path_mp3))

    command = ['ffmpeg', '-i', audio_path_mp3, audio_path_wav]
    subprocess.run(command, capture_output=True, text=True)

    cmd = f'python data_utils/deepspeech_features/extract_ds_features.py --input {audio_path_wav}'
    os.system(cmd)

    audio_eo_path = os.path.join(save_path, str(timestamp) + ".npy")

    return audio_eo_path,audio_path_wav

3.合成视频

合成的视频可以选择使用的背景，还有人像所在的位置，分三个位置，左，中，右，也可以在执行中动态更改位置。

def answer(message, history,voicename,llm_name):
    global dir
    global cv_bg
    history = history or []

    response = ''
    if llm_name =="测试":
        response = test_answer(message)
    elif llm_name =="ChatGLM3":
        response = glm_answer(message)

    history.append((message, response))

    audio_eo_path,audio_path_wav = text_to_audio(response,dir,voicename)

    output_video_path = compound_video(audio_path_wav, audio_eo_path, cv_bg, dir, 0)

    return history, history, output_video_path

4.webui代码整合

这里使用gradio来做交互的UI。

import gradio as gr
import time
import cv2
import os
from tools import video_pre_process, compound_video

from transformers import AutoTokenizer, AutoModel

import asyncio
import edge_tts
import subprocess


dir = "workspace"
cv_bg = cv2.imread('bg_1.jpg')

tokenizer = AutoTokenizer.from_pretrained("ChatGLM3/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("ChatGLM3/chatglm3-6b", trust_remote_code=True, device='cuda')
video_pre_process()

def glm_answer(query):
    global model
    model = model.eval()
    query = query +"(在20个字内回答)"
    response, history = model.chat(tokenizer, query, history=[])

    return response


async def main(voicename: str, text: str, OUTPUT_FILE):
    communicate = edge_tts.Communicate(text, voicename)

    with open(OUTPUT_FILE, "wb") as file:
        async for chunk in communicate.stream():
            if chunk["type"] == "audio":
                file.write(chunk["data"])
            elif chunk["type"] == "WordBoundary":
                pass

def test_answer(message):
    message = message.lower()

    if message == "你好":
        response = "你好，有什么可以帮到你吗?"

    elif message == "你是谁":
        response = f"我是虚拟数字人静静，这是我的一个测试版本。"

    elif message == "你能做什么":
        response = "我可以陪你聊天，回答你的问题，我还可以做很多很多事情！"
    else:
        response = "你的这个问题超出了我的理解范围，等我学习后再来回答你。或者你可以问我其他问题，能回答的我尽量回答你！"

    return response

def answer(message, history,voicename,llm_name):
    global dir
    global cv_bg
    history = history or []

    response = ''
    if llm_name =="测试":
        response = test_answer(message)
    elif llm_name =="ChatGLM3":
        response = glm_answer(message)

    history.append((message, response))

    audio_eo_path,audio_path_wav = text_to_audio(response,dir,voicename)

    output_video_path = compound_video(audio_path_wav, audio_eo_path, cv_bg, dir, 0)

    return history, history, output_video_path

def text_to_audio(text,save_path,voicename):
    global voices_list;

    asyncio.set_event_loop(asyncio.new_event_loop())
    name = ''
    if voicename == "晓晓":
        name = 'zh-CN-XiaoxiaoNeural'
    if voicename == "晓依":
        name = 'zh-CN-XiaoyiNeural'
    if voicename == "云霞":
        name = 'zh-CN-YunxiaNeural'
    if voicename == "东北":
        name = 'zh-CN-liaoning-XiaobeiNeural'
    if voicename == "陕西":
        name = 'zh-CN-shaanxi-XiaoniNeural'
    if voicename == "云剑":
        name = 'zh-CN-YunjianNeural'
    if voicename == "云溪":
        name = 'zh-CN-YunxiNeural'
    if voicename == "云阳":
        name = 'zh-CN-YunyangNeural'

    timestamp = int(time.time())
    audio_path_mp3 = os.path.join(save_path, str(timestamp) + ".mp3")
    audio_path_wav = os.path.join(save_path, str(timestamp) + ".wav")

    asyncio.get_event_loop().run_until_complete(main(name, text,audio_path_mp3))

    command = ['ffmpeg', '-i', audio_path_mp3, audio_path_wav]
    subprocess.run(command, capture_output=True, text=True)

    cmd = f'python data_utils/deepspeech_features/extract_ds_features.py --input {audio_path_wav}'
    os.system(cmd)

    audio_eo_path = os.path.join(save_path, str(timestamp) + ".npy")

    return audio_eo_path,audio_path_wav


with gr.Blocks(css="#chatbot{height:300px} .overflow-y-auto{height:500px}") as rxbot:
    tts_checkbox = gr.Dropdown(["晓晓", "晓依", "云霞", "东北", "陕西", "云剑", "云溪", "云阳"],
                                 label="语音选择", info="晓晓:女, 晓依:女, 云霞:女, 东北:女, 陕西:女, 云剑:男, 云溪:男,云阳:男")

    answer_checkbox = gr.Dropdown(["测试","ChatGLM3", "ChatGPT", "LLaMA"],
                               label="大语言模型",
                               info="测试:只有固定的几个问题, ChatGLM3:GPU在12G以上可以选择这个模型, ChatGPT:暂时没有接入, LLaMA:暂时没有接入")
    with gr.Row():
        video_src = gr.Video(label="数字人", autoplay=True)
        with gr.Column():
            state = gr.State([])
            chatbot = gr.Chatbot(label="消息记录").style(color_map=("green", "pink"))
            txt = gr.Textbox(show_label=False, placeholder="请输入你的问题").style(container=False)
    txt.submit(fn=answer, inputs=[txt, state,tts_checkbox,answer_checkbox], outputs=[chatbot, state, video_src])

# rxbot.launch()

if __name__ == "__main__":
    # response = glm_answer('你好')
    # print(response)
    rxbot.launch()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1328916.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

关于Python里xlwings库对Excel表格的操作（十六）

关于Python里xlwings库对Excel表格的操作（十六）

这篇小笔记主要记录如何【设置单元格数据的对齐方式】。 前面的小笔记已整理成目录，可点链接去目录寻找所需更方便。 【目录部分内容如下】【点击此处可进入目录】（1）如何安装导入xlwings库； （2）如何在Wps下…
阅读更多...
MyBatis——MyBatis的延迟加载

MyBatis——MyBatis的延迟加载

MyBatis的延迟加载（一对多查询案例） 1.什么是延迟加载？ 开启延迟加载后，在真正使用数据的时候才发起级联查询，不用的时候不查询。 2.pojo User类： package com.wt.pojo;import java.io.Serializable; …
阅读更多...
Rust中peekable的使用

Rust中peekable的使用

在 Rust 中，从迭代器中获取（也就是“消费”）一个元素时，每次调用 next 方法都会“消费”迭代器的一个元素，这意味着此元素被从迭代器中移除并返回给调用者， 一旦一个元素被消费，它就不能再次从同…
阅读更多...
Python中的//, /, % 运算符详解与区别

Python中的//, /, % 运算符详解与区别

更多资料获取 📚 个人网站：ipengtao.com 在Python中，//, /, % 是常用的数学运算符，用于执行整除、除法和取余操作。本文将深入探讨这三个运算符的作用、用法以及区别，并通过丰富的示例代码帮助大家更好地理解它们的用…
阅读更多...
大数据开发职业介绍

大数据开发职业介绍

........................................................................................................................................................... 大数据开发转正 ...................................................................................…
阅读更多...
只更新软件，座椅为何能获得加热功能？——一文读懂OTA

只更新软件，座椅为何能获得加热功能？——一文读懂OTA

2020年，特斯拉发布过一次OTA更新，车主可以通过这次系统更新获得座椅加热功能。当时，这则新闻震惊了车圈和所有车主，彼时的大家还没有把汽车当作可以“升级”的智能设备。 如今3年过去了，车主对各家车企的OTA升级早已见…
阅读更多...
【三维生成与重建】ZeroRF：Zero Pretraining的快速稀疏视图360°重建

【三维生成与重建】ZeroRF：Zero Pretraining的快速稀疏视图360°重建

系列文章目录 题目：ZeroRF: Fast Sparse View 360◦ Reconstruction with Zero Pretraining 任务：稀疏重建；拓展：Image to 3D、文本到3D 作者：Ruoxi Shi* Xinyue Wei* Cheng Wang Hao Su ，来自UC San Dieg…
阅读更多...
PyTorch随机数生成：torch.rand，torch.randn，torch.randind，torch.rand_like

PyTorch随机数生成：torch.rand，torch.randn，torch.randind，torch.rand_like

在用PyTorch做深度学习开发过程中，时常用到随机数生成功能，但经常记不住几个随机数生成函数的用法，现在正好有点时间，整理一下。 1. torch.rand() torch.rand(*size, *, generatorNone, outNone, dtypeNone, layouttorch.stride…
阅读更多...
VBA_MF系列技术资料1-247

VBA_MF系列技术资料1-247

MF系列VBA技术资料 为了让广大学员在VBA编程中有切实可行的思路及有效的提高自己的编程技巧，我参考大量的资料，并结合自己的经验总结了这份MF系列VBA技术综合资料，而且开放源码（MF04除外），其中MF01-04属于定…
阅读更多...
C语言操作符详解+运算符优先级表格

C语言操作符详解+运算符优先级表格

目录 前言 一、操作符是什么？ 二、操作符的分类 三、算术操作符 四、逻辑操作符 五、比较操作符 六、位操作符 七、赋值操作符 八、其他操作符 九、运算符优先级表格 总结 前言 在编写程序时，最常用到的就是操作符，本文将详细的介绍…
阅读更多...
C++ Qt开发：Charts绘图组件概述

C++ Qt开发：Charts绘图组件概述

Qt 是一个跨平台C图形界面开发库，利用Qt可以快速开发跨平台窗体应用程序，在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置，实现图形化开发极大的方便了开发效率，本章将重点介绍QCharts二维绘图组件的常用方法及灵活运用。 …
阅读更多...
Unity自带的NavMesh寻路组件

Unity自带的NavMesh寻路组件

最近看了一下Unity自带的NavMesh寻路组件，先说一下基本的使用： 首先先把AI Navgation的package包给安装上。 给场景地图添加上NavMeshSurface组件，然后进行烘焙，烘焙出对应的场景地图文件。 给移动物体添加对应的Nav MeshAgent组…
阅读更多...
C语言中的关键字

C语言中的关键字

Static 静态局部变量 结果： a作为静态局部变量，第一次进入该函数的时候，进行第一次变量的初始化，在程序整个运行期间都不释放。（因为下一次调用还继续使用上次调用结束的数值） 但是其作用域为局部作用域&…
阅读更多...
Android Studio 显示前进后退按钮

Android Studio 显示前进后退按钮

在写代码的过程中我们经常需要快速定位到先前或者往后的代码位置，可以使用Alt左右箭头 但是新安装的Android Studio工具栏上是没有显示左右箭头的工具按钮的，需要我们设置将Toolbar显示出来 View-Appearance-Toolbar 勾选即可 显示后
阅读更多...
综述 2022-Briefings in Bioinformatics：多模态AI+生物医学数据（主要集中于多组学数据）

综述 2022-Briefings in Bioinformatics：多模态AI+生物医学数据（主要集中于多组学数据）

Stahlschmidt, Sren Richard, Benjamin Ulfenborg, and Jane Synnergren. "Multimodal deep learning for biomedical data fusion: a review." Briefings in Bioinformatics 23.2 (2022): bbab569. https://doi.org/10.1093/bib/ bbab569 被引次数：124 …
阅读更多...
【数据库模拟题目集】选择题

【数据库模拟题目集】选择题

数据库应用程序的编写是基于数据库三级模式中的（外模式） 对创建数据库模式一类的数据库对象的授权可由CREATE USER时实现。新创建的数据库用户有三种权限，CONNECT、RESOURCE和DBA。拥有RESOURCE权限的用户（不能创建模式 &#xf…
阅读更多...
怎么提取视频中的背景音乐？

怎么提取视频中的背景音乐？

当我们在刷视频的时候，有时候听到一个背景音乐很好听，但是又不知道歌名，比如英语歌，这个时候我们很难找到这首歌，相信有很多朋友会遇到这样的问题，不知道怎么弄，下面小编给大家推荐一些方法帮助…
阅读更多...
TCP/IP：从数据包到网络的演变

TCP/IP：从数据包到网络的演变

引言 TCP/IP协议的起源可以追溯到20世纪60年代末和70年代初，美国国防部高级研究计划局（ARPA）研究开发一种可靠的通信协议，用于连接分散在不同地点的计算机和资源。 在当时，计算机之间的连接并不像现在这样普遍和便捷…
阅读更多...
MapReduuce配置YARN集群部署并启动(非常详细！！)

MapReduuce配置YARN集群部署并启动(非常详细！！)

🐮博主syst1m 带你 acquire knowledge！ ✨博客首页——syst1m的博客💘 😘《CTF专栏》超级详细的解析，宝宝级教学让你从蹒跚学步到健步如飞🙈 😎《大数据专栏》大数据从0到秃头👽&…
阅读更多...
Python to_numeric函数参数解读与最佳实践！

Python to_numeric函数参数解读与最佳实践！

更多资料获取 📚 个人网站：ipengtao.com Python中的to_numeric函数是pandas库提供的一个强大而灵活的工具，用于将数据转换为数字类型。本文将深入探讨to_numeric函数的各种参数和用法，通过丰富的示例代码帮助大家更全面地理解和运…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023