AI Vtuber一款聚合了多种大模型技术的虚拟主播

news2024/9/29 1:21:55

大家好，笔者荒生，今天调研了一款比较不错的开源项目AI-Vtuber，和大家一起分享。

AI-Vtuber是一款数字人虚拟直播软件，聚合了多种多种市面主流大模型技术，可谓牛得一逼。包括：支持ChatGPT、Claude、ChatGLM、智谱AI、文心一言、Google Bard、Google Gemini等等一系列的 Chat 技术；支持VITS、Bert-Vits2、VALL-E-X、OpenVoice、clone-voice、Edge-TTS等多种的语音技术；同时也支持So-Vits-SVC、DDSP-SVC变声技术。

是不是感觉技术栈满当当的，这还没完。最让笔者感觉牛逼的还是对接了多种数字人平台，包含：Live2D、Vtube Studio、UE5、EasyAIVtuber。而且还支持一键接入多种国内外直播平台，像B站、抖音、快手、小程序、YouTube和近年来最火爆的TikTok。

此时此刻，有没有一点懵逼的感觉，老实说，其实笔者第一反应就是如此。

项目框架

如果大胆的想象一下，不妨将其称之为互联网技术的终点就是 AI 数字人。好了，笔者先带大家看看项目的整体架构吧

有没有很惊讶，AI Vtuber几乎能够模拟出人类肢体主要的特征。当然，笔者尝试了这些技术。整体来看，厂商接口效果肯定更好，开源算法目前只能做验证替代。但是，笔者坚信不久的将来，AI 智能虚拟人一定会完美实现。

上面，看完这个比较宏大的架构，我们也来简单分析下作者是如何实现的。

代码剖析

config.json 配置文件
api.py 接口主程序
main.py GUI 界面主程序
webui.py WEBUI 界面主程序
utils 文件夹，Chat、T2ST、S2TT 和通用类相关功能的封装实现
data 文件夹，存储数据文件、违禁词、文案等
Live2D 文件夹，存储 Live2D 源码及模型

前端工程

整个项目以webui.py文件作为入口，使用NiceGUI这个 Python 框架为整个项目的编写 Web 前端。

后端工程

讲真，作者的后端工程整体就比较粗糙了，整个后端架构不是很合理。

后端工程主要包含：api.py接口代码、main.py界面代码、config.json全局配置代码。

整个项目都是基于各种算法接口直接的配合调用，代码相对简单。如果想自行尝试的同学，可以先本地部署需要的开源算法，然后通过127.0.0.1进行配置调用。针对厂商的商业 AI 服务，则需要先申请权限后才能使用。

针对对接第三方直播平台，作者主要采用了两种方式：第三方 SDK或爬虫逆向，具体如下：

Bilibili：SDK（bilibili-api-python），具体地址：https://github.com/Nemo2011/bilibili-api)
抖音：websockets 接口 + protobuf2 协议方式
快手：https + websockets 接口 + protobuf2 协议方式
视频号：HTTP 回调方式
斗鱼：websockets 接口方式
Youtube：SDK（pytchat），具体地址：https://github.com/EbenKouao/youtube-live-chat-fetch-python
twitch：HTTP 方式
Tiktok：SDK（TikTokLive），具体地址：https://github.com/isaackogan/TikTokLive

做个小结

好了，以上就是整个技术就是介绍，笔者做个小结：

作者以当前的主流AI技术为复合基础，搭建了一个技术全面，脉络清晰的数字人平台，梳理好了当前的技术栈。但是采用的技术较通用，相对比较简单。
整个项目单点架构，用作本地验证可以，如果落地生产，则需要做一个较大的重构。比如：代码框架优化；内存队列改远程分布式队列；内存/文件存储改远程缓存/对象存储；算法使用懒加载机制；Chat 接口支持Stream机制。

以上就是本期的全部内容，笔者荒生，谢谢大家的观看，点赞、评论、加关注笔者也值得拥有。下面是一些项目链接，大家可以自行查阅，或者私信笔者留言询问。