多人播客的生成#使用OpenAI Swarm框架

news2024/11/24 7:06:51

f6ddef0ca768d9548fb7cf85e8329fbb.jpeg

使用Swarm来写多智能体的代码,非常简洁高效。

什么是Swarm?

Swarm是由OpenAI开发的一个实验性多代理系统框架,旨在探索多代理系统的高效接口。该框架注重轻量级、可控性高且易于测试,主要用于展示代理之间的交接与例行操作模式。Swarm适用于需要处理大量独立功能和指令的场景,并提供了比Assistants API更高的透明度和精细的控制。Swarm通过Python实现,并使用Chat Completions API来处理代理之间的无状态通信。

0316174c092c478b024227815000f814.png

官方的示例:

代理转移

examples/basic/agent_handoff.py

介绍了如何将说西班牙语的用户从一个英语代理转移到一个西班牙语代理。具体实现是:创建两个代理,一个只能说英语,另一个只能说西班牙语。当用户用西班牙语发送消息时,english_agent 会调用 transfer_to_spanish_agent 函数,将用户转移到 spanish_agent。最终,客户端会处理这个请求并返回响应。

理解了原理之后,我们开始修改。我先改造成了设计师和程序员的代理切换,针对不同的问题,自动切换合适的角色来回答。

faa90e72d6a168fd31323311bf477ddf.png

有了第一步的尝试,我把这个代理切换的DEMO升级成了一个播客生成器。

1 首先创建一个主持人代理,用来根据话题创建若干问题。

2 把创建好的问题,一个个输入给Swarm

3 自动选择角色来回答问题

4 最后合并成一个播客的稿件

83d142ccfb72e3d4558ff33396ff0f68.png

更进一步,我制作了一个ComfyUI的节点:

SimulateDevDesignDiscussions ♾️Mixlab Podcast

a38795ac1ef42b1ee5d96c6afe197139.png

输入新的话题:数字艺术好看吗?

我是用的是gpt-4o,用了自定义的API URL(由Azure提供的)。

主持人的音色采用之前生成好的Opus的音色:

301f57c035fa364ec463c4bfa1ef33e5.png

多人播客语音的生成,也很简单使用由ChatTTS提供支持的Multi Person Podcast节点,直接把生成好的配音稿,输入即可:

a595e0dba739945a38078cdbef7b58f5.png

整体的 ComfyUI 工作流设计,如下:

93ff2570c103cbd96e3fdafad29fea2f.png

第一期播客生产中:

5bace7346b5ff0c161dde20569600254.png

最后的制作效果:

欢迎加入AI编程社区交流

Cursor AI编程#Mix线下训练营@上海N1

实现原理

欢迎加入AI编程社群交流

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2212583.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

多智能体协同太复杂?OpenAI Swarm让问题迎刃而解

OpenAI Solutions团队最新推出的实验性框架Swarm正在为AI领域带来新的可能性。这个专为构建、编排和部署多智能体系统而生的轻量级工具集,正在改变我们处理复杂任务的方式。 Swarm框架的核心理念是让多个AI代理(Agent)协同工作,每…

基于SSM+Vue+MySQL的少儿编程网上报名系统

系统展示 用户前台界面 管理员后台界面 系统背景 在当下,随着国家对教育的重视以及教育部门对教育改革的不断推进,少儿编程教育逐渐成为了一个热门领域。传统的少儿编程报名方式往往依赖于线下填写纸质表格或电话报名,这种方式不仅效率低下&a…

群晖使用frpc连接qbittorrent时会出现Unauthorized

跨域问题: 如果你是通过不同的网络或子网访问 qBittorrent Web UI,可能会引发跨域问题。尝试在 qBittorrent.conf 中添加以下设置,允许跨域访问: find / -name qBittorrent.conf WebUI\HostHeaderValidationfalse 成功

【机器人数值优化】数值优化基础(一)从理论到实战全方位指南 | 解锁机器人技术的核心技能

💯 欢迎光临清流君的博客小天地,这里是我分享技术与心得的温馨角落 💯 🔥 个人主页:【清流君】🔥 📚 系列专栏: 运动控制 | 决策规划 | 机器人数值优化 📚 🌟始终保持好奇心&…

一文简述工程项目管理中的最常见概念

蓝燕云https://www.lanyancloud.com/致力于为工程行业中各类企业和组织提供专业、简单、可靠的工程项目管理系统,专注于提升企业对于项目管理中成本、进度、质量、安全、资料等全场景管理能力。 01 怎么理解工程项目管理? 建设工程项目管理指的是专业…

神经网络模型的“扩散与进化”思想启迪

在上一篇笔记「上交大全华班复现o1旅程式学习下的深思考」中,其中对于上交大提出的旅程学习即system2慢思考认知范式下对于“多步骤的隐式到显式空间状态映射下的细粒度联合概率分布建模”的描述隐喻为“社会心理学或社会经济学两种不同的长程动态系统慢演化现象”。…

Java之lambda

目录 lambda 引入 语法 函数式接口 lambda表达式的使用 语法精简: 代码示例: 变量捕获 局部变量捕获 成员变量捕获 lambda在集合中的使用 lambda的优缺点 lambda 引入 Lambda表达式是Java SE 8中一个重要的新特性。lambda表达式允许你通过表…

设计模式-原型模式(克隆、Clone、Prototype)

原型模式(克隆、Clone、Prototype)是一种创建型设计模式, 使你能够复制已有对象, 而又无需使代码依赖它们所属的类。 问题 譬如美国研制了一种特效药,而且还在专利保护器内,而印度制药公司看中了&#xff0…

常见开源组件的详解

文章目录 RPCRPC架构和工作流程为什么有了HTTP还要用RPC底层协议数据格式连接管理错误处理 使用场景常见的RPC框架 Web应用框架主要功能常见的Web应用框架Spring Boot (Java)Django (Python)Express.js (Node.js) Redis主要特点应用场景缓存问题Redis集群架构主从复制Redis Clu…

【算法】笨小猴

[NOIP2008]笨小猴_牛客题霸_牛客网 【描述】 eg1中,输入“error” “e”出现了1次,“r”出现了3次,“o”出现了1次 最大是3,最小是1,3-12,2是质数,所以输出“Lucky word”和这个单词 eg2中&…

【Oracle数据库进阶】003.SQL基础查询_增、删、改数据

课 程 推 荐我 的 个 人 主 页:👉👉 失心疯的个人主页 👈👈入 门 教 程 推 荐 :👉👉 Python零基础入门教程合集 👈👈虚 拟 环 境 搭 建 :&#x1…

【基于ARM深入分析C程序】1--ARM架构与汇编、分析C语句`a++`的执行过程

【基于ARM深入分析C程序】1–ARM架构与汇编、分析C语句a的执行过程 文章目录 【基于ARM深入分析C程序】1--ARM架构与汇编、分析C语句a的执行过程一、3个操作指令二、CPU是怎么知道执行这三条操作指令的?2.1 CPU的架构 2.2 寄存器 本文作为学习笔记,围绕的…

【ARM】v8架构programmer guide(6)_MMU内存管理模块

快进到内存管理模块吧,其他的后面再补充~ 目录 1.1 TLB (Translation Lookaside Buffer) 1.2 Kernel 和 Application 虚拟地址空间 1.3 转换虚拟地址到物理地址 1.3.1 安全和非安全地址空间 1.3.2 配置和使能MMU 1.3.3 当MMU没有使能的时候 1.4 ARMv8-A的页…

6.2 遍历重定位表

本节我们将编写一个遍历重定位表的示例程序,打印重定位表。 本节必须掌握的知识点: 遍历重定位表 6.2.1 遍历重定位表 实验四十三:遍历重定位表 以下代码实现打印"c:\\notepad64.exe"进程重定位表的所有信息。 /*--------------…

衡石分析平台系统-分析人员手册

应用创建​ 用户可以通过多种方式创建应用,不同场景下应用创建方法不同。 新建空白应用​ 新建空白应用是新建一个空的应用,应用中没有数据集和仪表盘。 点击应用创作页面右上方的新建应用,新建空白的分析应用和查询应用。 新建的空白应用…

记录一下,android studio 登录不上github的问题

android studio 2023.3.1.18 版本的编译器,出现问题,之前连接过的项目可以正常提交和拉取到github。 但是新建立的项目无法上传到github,提示错误cannot load information for github.com/:request response;access to this site,…

log4j2实际项目中使用

一 添加依赖 <!--移除spring-boot中默认的logback日志组件--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId><exclusions><exclusion><groupId>org.spring…

实验9 结构体

1、商品信息处理 【问题描述】 设计结构体&#xff0c;用于存储商品的信息&#xff0c;包含商品编号、商品名称、商品价格以及商品折扣信息。 设计函数input&#xff0c;实现商品数据的输入。 设计函数display&#xff0c;实现商品信息的输出。 在主函数main中定义keyboar…

国外解压视频素材哪里找?五个海外解压视频素材网站推荐

国外解压视频素材哪里找&#xff1f;五个海外解压视频素材网站推荐 如果你正在寻找国外的解压视频素材&#xff0c;那么今天这篇文章一定能帮助你。无论是修牛蹄、洗地毯&#xff0c;还是切肥皂、玩解压游戏等&#xff0c;下面分享的几个网站都是你找到高质量海外解压视频素材…

信息抽取数据集处理——RAMS

引言 RAMS数据集&#xff08;RAMS&#xff1a;Richly Annotated Multilingual Schema-guided Event Structure&#xff09;由约翰斯霍普金斯大学于2020年发布&#xff0c;是一个以新闻为基础的事件抽取数据集。它标注了9,124个事件&#xff0c;涵盖了139种不同的事件类型和65种…