GPT Demo 分享|日不落直播间接入虚拟人AI互动

news2024/12/25 12:44:52

摘要

虚拟人和数字人是人工智能技术在现实生活中的具体应用,它们可以为人们的生活和工作带来便利和创新。在直播间场景里,虚拟人和数字人可用于直播主播、智能客服、营销推广等。接入GPT的虚拟人像是加了超强buff,具备更强大的自然语言处理能力和智能对话能力,可以实现更加智能化、自然化的人机交互。

  • 直播主播:虚拟人可以作为直播间的主播角色,通过与粉丝的对话和互动,提高粉丝的互动效果和兴趣
  • 代替客服:数字人可以作为客服角色,通通过自然语言处理和智能对话,解决客户的问题,并提高客户满意度。
  • 营销推广:虚拟人可以作为品牌形象进行推广,数字人可以通过客观数据进行精准营销,提高粉丝的黏性和忠诚度。

前言

续上一篇文章《「GPT实战」GPT接入直播间实现虚拟人互动》 ,我们实现了ChatGPT与ZIM的对接。使得加入聊天群组就相当于加入了直播间,实时与ChatGPT文字互动。但还缺了点什么:直播间可不是只有文字,还有主播!接下来进入本文主题:如何接入虚拟人直播。

虚拟主播我们可以通过即构Avatar进行个人化定制,之前在他们《官网》体验过Avatar Demo,一键可以打造多元化风格,支持Q版、二次元、动漫、拟人等多种风格,即构自研虚拟形象引擎强大AI驱动能力,四种驱动方式:表情驱动、声音驱动、文本驱动、肢体驱动。根据本期Demo需求定制了拟人版本的主播小姐姐。即构AvatarQ版形象软萌可爱含丰富的服饰和妆容素材库,推荐大家去体验。即构Avatar的文本驱动方式刚好符合咱们的业务需求。

微信图片_20230529131522.png

1 加入ZIM房间,实时收发消息

加入ZIM房间跟上一篇文章介绍的nodejs版原理一致:

  1. 先登录ZIM
  2. 加入房间或创建房间
  3. 发送弹幕
  4. 监听房间消息,如果来自ChatGPT则朗读

1.1 创建ZIM对象

首先引入ZIM库后,可以调用ZIM的create函数创建ZIM对象,然后调用ZIM对象的setEventHandler函数,将ZIMEventHandler对象传入。ZIMEventHandler主要用于处理一些回调事件如用户上线等回调事件。

public class ZIMMngr {
    /**
     * 创建ZIM对象
    */
    private ZIM createZIM(Application app, ZIMEventHandler handler) {
        // 创建 ZIM 对象,传入 APPID 与 Android 中的 Application
        ZIM zim = ZIM.create(KeyCenter.APP_ID, app);
        zim.setEventHandler(handler);
        return zim;
    }
    //其他代码略...
}

1.2 群聊-登录、创建房间、加入房间

登录即构服务首选需要token,生成token算法在附件源码已经给出,直接调用即可。但是需要注意,在这个Demo中直接在客户端上生成了,这是非常危险的操作,因为你的密钥和appid暴露出来了,黑客可以通过密钥和appid蹭你的额度费用。因此,建议把token计算放在服务器端生成。

ZIM的createRoom函数用于创建房间,需要提供房间号;joinRoom函数用于加入房间,同样也需要提供房间号。具体代码如下所示:

public class ZIMMngr {
    //其他代码略....
    /**
     * 登录zim
    */
    public void login(String userId, CB cb) {

        String token = ZIMMngr.getToken(userId);
        ZIMMngr.login(zim, token, userId, new ZIMLoggedInCallback() {
            @Override
            public void onLoggedIn(ZIMError errorInfo) {

                if (errorInfo.getCode() != ZIMErrorCode.SUCCESS) {
                    Log.e(TAG, "login error:" + errorInfo.getMessage());
                    cb.complete(false, "登录失败");
                } else {
                    cb.complete(true, null);
                }
            }
        });
    }
    /**
     * 加入房间
    */
    public void joinRoom(String roomId, CB cb) {
        zim.joinRoom(roomId, new ZIMRoomJoinedCallback() {
            @Override
            public void onRoomJoined(ZIMRoomFullInfo roomInfo, ZIMError errorInfo) {
                Log.e(TAG, ">>" + errorInfo.code);
                if (errorInfo.code == ZIMErrorCode.ROOM_DOES_NOT_EXIST) {
                    cb.complete(false, "房间不存在!");
                } else if (errorInfo.code == ZIMErrorCode.SUCCESS || errorInfo.code == ZIMErrorCode.THE_ROOM_ALREADY_EXISTS) {
                    cb.complete(true, roomInfo.baseInfo.roomName);
                }
            }
        });
    }
 
    /**
     * 创建房间
    */
    public void createRoom(String masterId, String roomId, String roomName, CB cb) {

        ZIMRoomInfo groupInfo = new ZIMRoomInfo();
        groupInfo.roomID = roomId;
        groupInfo.roomName = roomName;

        zim.createRoom(groupInfo, new ZIMRoomCreatedCallback() {
            @Override
            public void onRoomCreated(ZIMRoomFullInfo roomInfo, ZIMError errorInfo) {
                if (errorInfo.code == ZIMErrorCode.SUCCESS) {

                    inviteJoinRoom(masterId, roomId, CHATGPT_ID, cb);//这里把chagpt的用户id硬编码
                } else {
                    Log.e(TAG, "创建房间失败:" + errorInfo.message);
                    cb.complete(false, "房号已存在,请更换一个房间号!");
                }
            }
        });
    }
}

1.3 即时通讯实现收发消息

接下来实现消息收发,主动发送消息与监听接收消息。注意,这里因为我们只关注弹幕消息,因此非弹幕消息过滤。发送消息封装两类:

  • P2P
  • ROOM

注意,因为我们这里只用弹幕消息,因此ROOM消息只表示弹幕消息。

public class ZIMMngr {
  
    //定义属性略....
    /**
     * 收到房间消息
    */
    private void onRcvMsg(ArrayList<ZIMMessage> messageList) {
        if (mListener == null) return;
        for (ZIMMessage zimMessage : messageList) {
            if (zimMessage instanceof ZIMBarrageMessage) {//只看弹幕消息
                ZIMBarrageMessage zimTextMessage = (ZIMBarrageMessage) zimMessage;
                if (zimMessage.getTimestamp() < this.startTime)
                    continue;
                String fromUID = zimTextMessage.getSenderUserID();
                ZIMConversationType ztype = zimTextMessage.getConversationType();
                String toUID = zimTextMessage.getConversationID();
                Msg.MsgType type = Msg.MsgType.P2P; 
                String data = zimTextMessage.message; 

                Msg msg = Msg.parseMsg(data, fromUID, toUID, ztype == ZIMConversationType.ROOM);
                mListener.onRcvMsg(msg);
            }
        }
    } 
        
    /**
     * 发送zim消息
     * */
    public void sendMsg(Msg msg, CB cb) {
        //p2p消息则发送Text,room发送弹幕类型消息
        ZIMMessage zimMsg = null;
        ZIMConversationType type;
        if (msg.type == Msg.MsgType.P2P) {
            ZIMTextMessage m = new ZIMTextMessage();
            m.message = msg.msg;
            zimMsg = m;
            type = ZIMConversationType.PEER;
        } else {
            ZIMBarrageMessage m = new ZIMBarrageMessage();
            m.message = msg.msg;
            zimMsg = m;
            type = ZIMConversationType.ROOM;
        }

        ZIMMessageSendConfig config = new ZIMMessageSendConfig();
        // 消息优先级,取值为 低:1 默认,中:2,高:3
        config.priority = ZIMMessagePriority.LOW;
        // 设置消息的离线推送配置
        ZIMPushConfig pushConfig = new ZIMPushConfig();
        pushConfig.title = "离线推送的标题";
        pushConfig.content = "离线推送的内容";
        config.pushConfig = pushConfig; 
        zim.sendMessage(zimMsg, msg.toUID, type, config, new ZIMMessageSentCallback() {
            @Override
            public void onMessageAttached(ZIMMessage message) {
            } 
            @Override
            public void onMessageSent(ZIMMessage message, ZIMError errorInfo) { 
                cb.complete(errorInfo.code == ZIMErrorCode.SUCCESS, errorInfo.message); 
            }
        }); 
    }  
    // 其他代码略....
}

上面代码只挑选了关键函数, 更多关于即构ZIM接口与官方Demo可以点击参考这里,或者参考附录源码。

2 创建虚拟形象-即构Avatar

接下来需要创建虚拟形象,读者可以参考官方文档获取更多详细信息。

需要注意的是,通过官方封装的ZegoCharacterHelper可以非常简单的创建Avatar。创建虚拟形象封装到setCharacter函数中,在程序初始化期间,需要执行initRes函数,将资源拷贝到SDCard。作为演示,这里是将Assets里面的相关资源拷贝到SDCard。在实际项目中,建议将资源存放在服务器端,通过离线下载的方式存储到SDCard。这样既可以降低安装包的大小,也更灵活。

public class AvatarMngr implements ZegoAvatarServiceDelegate {
 
    //属性定义略.... 
 
    /**
     * 设置虚拟形象如衣服、头发、性别等
    */
    private void setCharacter(User user) {  
        // 创建 helper 简化调用
        // base.bundle 是头模, human.bundle 是全身人模
        mCharacterHelper = new ZegoCharacterHelper(FileUtils.getPhonePath(mApp, "human.bundle", "assets"));
        mCharacterHelper.setExtendPackagePath(FileUtils.getPhonePath(mApp, "Packages", "assets"));
        // 设置形象配置
        mCharacterHelper.setDefaultAvatar(ZegoCharacterHelper.MODEL_ID_FEMALE);
        // 角色上屏, 必须在 UI 线程, 必须设置过avatar形象后才可调用(用 setDefaultAvatar 或者 setAvatarJson 都可以)
        mCharacterHelper.setCharacterView(user.avatarView, () -> {
        });
        mCharacterHelper.setViewport(ZegoAvatarViewState.half);
    
        mCharacterHelper.setPackage("ZEGO_Girl_Hair_0001");
        mCharacterHelper.setPackage("ZEGO_Girl_Tshirt_0001_0002");
        mCharacterHelper.setPackage("facepaint5");
        mCharacterHelper.setPackage("irises2");  
        updateUser(user);  
    }   
    private void initRes(Application app) {
        // 先把资源拷贝到SD卡,注意:线上使用时,需要做一下判断,避免多次拷贝。资源也可以做成从网络下载。
        if (!FileUtils.checkFile(app, "AIModel.bundle", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "AIModel.bundle", "assets");
        if (!FileUtils.checkFile(app, "base.bundle", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "base.bundle", "assets");
        if (!FileUtils.checkFile(app, "human.bundle", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "human.bundle", "assets");
        if (!FileUtils.checkFile(app, "Packages", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "Packages", "assets");

    }

    //...
    //其他代码略....
    //...
}

除了衣服、首饰、发型等"装饰类"形象定义,还可以捏脸,这里不详细描述,建议读者前往官网查看。即构Avatar官网。

4 直播间虚拟人与粉丝互动聊天

创建完虚拟人后,接下来将收到的ChatGPT消息朗读出来,使虚拟主播嘴巴动起来,互动玩法更好。首先执行initTextApi函数,初始化本地文字驱动引擎。接下来就可以调用ZegoTextAPI的playTextExpression函数,驱动虚拟人语音播报文字内容。

/**
 * 朗读文字(嘴唇+语音)
*/
public void playText(String text) {
    if (mTextApi == null) return;
    mTextApi.playTextExpression(text);
    Log.e(TAG, ">>>>已播放" + text);
}
/**
 * 初始化文本驱动接口
*/
private void initTextApi() {
    mTextApi = new ZegoTextAPI(mCharacterHelper.getCharacter());
    mTextApi.setTextExpressionCallback(new ITextExpressionCallback() {
        /**
         * 文本驱动播放启动时,回调
         */
        @Override
        public void onStart() {
            Log.d(TAG, "text drive start");
        }

        /**
         * 文本驱动播放出错时,回调
         * @param errorCode 错误码,详情请参考 [常见错误码 - 文本驱动](https://doc-zh.zego.im/article/14884#2)。
         */
        @Override
        public void onError(int errorCode, String msg) {
        }

        /**
         * 文本驱动播放结束时,回调
         */
        @Override
        public void onEnd() {
            Log.d(TAG, "text drive end");
        }
    });
}

文本驱动部分代码比较简单,也反映了官方对这块封装的比较好。播报文字主要借助即构avatar的文本能力,读者可以查看官方文档描述:官方文档。仔细阅读可以发现,关键核心代码非常少,附件里面的其他代码主要是开发App非核心代码。

本文演示了从0开发、无须服务端开发完成的基于ChatGPT的虚拟人直播,任何人下载该App即可加入直播间。一些小伙伴可能并不需要开发一个虚拟人直播平台,而是想着在抖音、快手、视频号等平台实现虚拟人直播。这里提供一个实现思路:

  1. 复用本文代码,可以实现ChatGPT回复、并将回复的文字驱动虚拟人
  2. 使用直播伴侣等工具录制虚拟人,推流到抖音平台
  3. 去github找开源工具,实时爬取直播间的弹幕
  4. 读取到弹幕后,调用ChatGPT得到回复,再回到第1步。

未来想象方面,虚拟人接入GPT可以实现更加智能化、个性化的服务,可以预见的是,未来的虚拟人将更加人性化,通过情感计算等技术,可以实现更加真实、自然的人机交互。虚拟人还可以与物理机器人结合,成为未来的机器人助手,为人们的生活和工作提供更加便利的服务。

5 Github源码

供一个实现思路:

  1. 复用本文代码,可以实现ChatGPT回复、并将回复的文字驱动虚拟人
  2. 使用直播伴侣等工具录制虚拟人,推流到抖音平台
  3. 去github找开源工具,实时爬取直播间的弹幕
  4. 读取到弹幕后,调用ChatGPT得到回复,再回到第1步。

未来想象方面,虚拟人接入GPT可以实现更加智能化、个性化的服务,可以预见的是,未来的虚拟人将更加人性化,通过情感计算等技术,可以实现更加真实、自然的人机交互。虚拟人还可以与物理机器人结合,成为未来的机器人助手,为人们的生活和工作提供更加便利的服务。

5 Github源码

  1. ChatGPT虚拟直播源码

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/583284.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

面试:JS运行机制

浏览器端和node端的js运行机制执行的过程&#xff0c;进行两者的运行机制比较&#xff0c;以及同步任务和异步任务的说明&#xff0c;两种异步任务的必要性&#xff0c;以及各自有哪些回调&#xff0c;部分回调的优先级。 JS运行机制复述 首先js执行&#xff0c;会有一个函数执…

深度学习--优化器篇(超详细付代码测试流程包含:SGD,SGDM,NAG,Adagrad,RMSProp,Adam,Adadelta,Nadam等常用优化器)

引言 在深度学习过程中总会在代码中遇到优化器.Adam()&#xff0c;在上一篇实现卷积神经网络CNN的代码分析中也提到了优化器的概念,那么优化器如何通俗的理解呢&#xff1f;个人通俗理解(仅供参考)&#xff1a;为梯度下降法配置的一个的"领航员"&#xff0c;寻找模型…

realman——控制真实的机械臂

概述 MoveIt!完成运动规划后的输出接口是一个命名为“FollowJointTrajectory”的 action,其中包含了一系列规划好的路径点轨迹,与使用 MoveIt!控制 Gazebo中的机械臂不同的是,虚拟机械臂有 gazebo 的 ros_control 插件自动帮我们获取了follow_joint_trajectory 的动作 acti…

MVI56-GSC 串行增强通信模块

通用ASCII串行增强通信模块 MVI56E-GSC/GSCXT 通用ASCII串行增强通信模块允许Rockwell Automation ControlLogix可编程自动化控制器(PACs)使用非特定ASCII字符文本串或字节值串行通信协议轻松与串行设备连接。 MVI56E-GSC增强功能包括通过模块的以太网端口进行本地和远程诊断…

2023年高性能计算就业前景如何?IT人的机遇与挑战

在当今数字化时代&#xff0c;高性能计算&#xff08;HPC&#xff09;作为一项关键技术&#xff0c;正迅速成为各行各业的核心需求。不论是在职程序员还是在校大学生&#xff0c;懂高性能计算都将大大提升工作及科研、做课题的效率。而且加之2023年大模型的风靡&#xff0c;人工…

MySQL 连接的使用

MySQL 连接的使用 在前几章节中&#xff0c;我们已经学会了如何在一张表中读取数据&#xff0c;这是相对简单的&#xff0c;但是在真正的应用中经常需要从多个数据表中读取数据。 ​ 本章节我们将向大家介绍如何使用 MySQL 的 JOIN 在两个或多个表中查询数据。 你可以在 SEL…

炸裂开源:你肯定需要的6 个中文版 ChatGPT 提示教程。

提示工程&#xff08;Prompt Engineering&#xff09;是一门相对较新的学科&#xff0c;教你你如何开发、优化提示来更好的使用 GPT 等大模型、更好的将大模型的能力接入到你的系统中。 本文整理了 GitHub 上质量最高的 6 个【中文版】提示工程教程。请收藏、转发&#xff0c;…

vue3-lazy图片懒加载

vue3-lazy&#xff1a;https://github.com/ustbhuangyi/vue3-lazy 1、npm安装 npm install vue3-lazy -S2、main.js注册 import { createApp } from vue import App from ./app import lazyPlugin from vue3-lazyconst app createApp(App) app.use(lazyPlugin, {loading: l…

Linux使用指定账户启动进程的两种思路和实现

出于安全的考虑,通常启动进程会不适用root账户,而是使用一些权限较低的账户。 例如启动nginx,在安装这个应用的时候创建nginx账户,用于启动nginx服务。 在nginx配置文件中,user选项就是指定启动nginx使用的用户名。 这里我们 看到nginx进程除了第一个是root用户,其它…

算法工程师的基本职责概述(合集)

算法工程师的基本职责概述 算法工程师的基本职责概述1 职责&#xff1a; 1、负责图像特征提取、运动物体跟踪算法的开发与实现。 2、负责进行各类机器学习、深度神经网络产品的研发。 3、负责设计研究相关算法&#xff0c;并优化算法性能。 4、负责撰写相关算法研发报告、技术方…

基于分布式ADMM算法的考虑碳排放交易的电力系统优化调度研究(matlab代码)

目录 1 主要内容 目标函数 计算步骤 节点系统 2 部分代码 3 程序结果 4 下载链接 点击直达&#xff01; 1 主要内容 程序完全复现文献《A Distributed Dual Consensus ADMM Based on Partition for DC-DOPF with Carbon Emission Trading》&#xff0c;建立了一个考虑…

3年测试工作经验裸辞,现在有点后悔了····

2020年毕业&#xff0c;现在有3年的测试工作经验&#xff0c;刚毕业前半年在一家知名上市公司&#xff0c;后面则进入一家传统行业公司待到现在2年半。 由于看不到技术成长以及其他原因&#xff0c;上上周辞职了&#xff0c;目前交接中&#xff0c;下个月中旬就得离开了&#…

ChatGPT免费国内在线直连入口,2023持续分享中

这个国内在线版ChatGPT可以提供与OpenAI官方ChatGPT相同的使用效果&#xff0c;让你在不懂技术的情况下轻松接触人工智能。 国内镜像&#xff1a; ChatGPT国内直连版&#xff08;点我&#xff09;http://test.ai111.top 随着OpenAI不断推出更新版本&#xff0c;现在GPT3.5和…

如何成为机器学习工程师

如何成为机器学习工程师 又到一年一度的毕业季。今年的毕业季有点不同&#xff0c;这是迎着 AI 爆发元年的毕业季&#xff0c;很多同学想投身 AI 和机器学习行业&#xff0c;向我咨询了很多如何成为一名机器学习工程师的问题。在此&#xff0c;我结合自身入行十年的经理&#…

科聪控制系统助力铸造行业向“智能”实现“质”的突破!

此项目现场为传统铸造业&#xff0c;铸造是装备制造业发展不可或缺的重要环节&#xff0c;是众多主机和重大技术装备发展的重要支撑。该现场以往由人工遥控车辆来进行物资的挪动&#xff0c;现投运搭载科聪控制系统的AGV来代替人工用遥控车辆来移动物资。实现上位机上一键发送任…

TF卡被格式化后要如何找到照片

TF卡在日常使用时&#xff0c;具有体积小存储大的优势而被我们用来存储一些重要的照片&#xff0c;但由于内存比较小&#xff0c;TF卡用户需要经常对TF卡中的照片进行清理&#xff0c;避免内存不足等问题&#xff0c;接下来讲下TF卡被格式化后要如何找到照片。TF卡被格式化后要…

什么是IPAM(IP地址管理)?

我们目前生活在一个依赖IP的世界&#xff0c;IPAM&#xff08;IP地址管理&#xff09;已成为网络管理不可避免的一部分。在 IP 连接设备爆炸式增长之前&#xff0c;IPAM 网络通常随着连接用户数量的增加而增长。但是&#xff0c;现在网络必须根据我们用于工作的 IP 设备数量为每…

消防安全知识答题活动小程序v4.1.0

消防安全知识答题活动小程序v4.1.0 v4.1.0 1&#xff09;支持多选题 .wxml <checkbox-group class"checkbox-group" bindchange"checkboxChange"><label class"checkbox" wx:for"{{questionList[index].option}}" wx:for…

网络货运系统开发,网络货运系统源码,货主端APP源码、司机端APP源码、PC后台管理系统源码

网络货运系统开发&#xff0c;网络货运系统源码&#xff0c;货主端APP源码、司机端APP源码、PC后台管理系统源码 网络货运为无车承运人更名而来&#xff0c;网络货运平台的好处可以节省找车找货的时间与成本。根据国家对智慧物流行业的发展规划&#xff0c;及《网络平台道路货…

Wincc报表:利用用户归档制作报表查询+打印输出

本文需要结合案例及教学视频共同观看 wincc报表项目案例及完整教学视频下载地址&#xff1a; http://www.zhikonglianmeng.com/t-1635.html 一、创建变量 1、分别创建1个系统变量和1个内部变量&#xff1a;用于时间和日期存储。 WINCC组态项目编辑器——变量管理——单击添加…