产品上新|语音识别+主题抽取,Magic Data多人会议数据集助您打造领先智能会议系统

news2024/11/24 17:56:32

2020年以来,新冠加快了线下向线上搬迁的速度,使得线上办公、在线教育、远程会议得到飞速普及和发展。艾媒咨询数据显示,2021年中国视频会议行业市场规模达148.2亿元。各类视频会议产品价格较低、操作便捷高效,普及率越来越高,逐步应用到小微企业及个人用户。视频会议市场规模有望进一步扩大,预计到2025年将达304.1亿元。

当下,市场主流的在线会议APP在保证基本功能成熟完备的同时,也在大力发展自动会议纪要、在线字幕生成、智能翻译等基于人工智能算法的功能,而此类算法的精进离不开智能会议数据的支持。

线上会议产品市场

AI赋能在线会议

众所周知,线上会议面临着高清画面分辨率要求高、图像连贯性好、唇音同步、实时性高等挑战。目前基本所有的视频会议都能够支持流畅、实时、清晰的视频通话。但是头部线上会议产品还支持自动识别说话人,自动根据说话人身份对会议内容实时转录存储,自动根据说话人声音添加字幕等功能。这些功能能够高效记录会议内容,提高工作效率。也是目前线上会议产品的主打卖点和竞争砝码。这些高级功能点用到的核心技术包括人声动作检测、声纹识别、语音识别等。功能流程图如下所示:

在上面的流程图中,目前人声动作检测、声纹识别和语音识别技术都是依赖深度神经网络模型,得到SOTA的模型效果。目前主流的人声动作检测包括单一的音频模态和多模态两种检测方式。多模态的信息融合一般采用多头交互注意力机制,声纹识别一般采用卷积神经网络,语音识别模型一般采用基于transformer的网络架构,这些网络模型的性能依赖大量符合当前场景的数据的训练。但是由于会议场景数据录制需要更多的参与人员、专业的录制人员和大量的标注人员,基于会议场景的对话数据非常稀缺。这也是制约线上会议实时转写、添加字幕等高级功能落地的根本原因。

Magic Data

多人自发式会议数据集

鉴于上述会议场景对话数据稀缺的问题,MagicData作为全球领先的AI数据解决方案供应商,预推出一款400场、总时长200小时、参与人数400+的多人自发式会议数据集,涉及通用、金融、科技、法律、保险、医疗、教育、政府、房产等领域,内容涵盖公司活动、员工福利、员工培训、产品设计、产品优化、营销活动、业务管理、团队管理、家庭生活等主题。

同时,考虑到线上会议不同参会者所处不同空间、场景布置、环境等,本次数据采集环境包括大中小三个类别的室内会议室、参会者覆盖室外各场景(地铁、公园、商场、火车站、机场等)。音频采集设备除会议软件内录外,还包括无线蓝牙耳机、手机、平板、八爪鱼、录音笔、头戴式耳机等。该数据包括每个与会人均有一个单独音频通道以及所有参会人总的音频通道,这样该数据既可以用来做说话人分离又可以支持多说话人语音识别相关的研究和技术落地。

此外,Magic Data还对此多人会议音频数据进行了自然语言处理标注,抽取出其中主讲人、参与人、主题,强调要点、会议结论、遇到的问题或困难、会议决策、待办项等会议关键信息,将内容中连续同一人讲话的内容合并在一段,形成合并版会议纪要,避免标注结果被过分拆分成多个零碎片段;在合并版会议纪要中用标签标记出需提取的会议内容,语义完整的子句/句子抽取,并要求在合并版会议纪要中已标记的标签内容支持index,可以按字符追溯到原文。

标注样例如下:

[{"start": 3, "end": 19, "text": "我们今天在线上召开一下团建决策会", "labels": ["theme"]},{""start"": 20, ""end"": 47, ""text"": ""那这次会议是由丽姐主持,参会的人员还有菲菲、陈晨、小南"", ""labels"": [""participant""]}]"

[{"start": 116, "end": 133, "text": "那下面由陈晨和菲菲讲一下各自的方案", "labels": ["speaker"]}]"

只有通过大量实际场景采集的会议场景的对话数据训练线上视频会议产品中的各个模块的深度学习模型,模型的性能才能在实际落地场景效果更佳。Magic Data多人自发式会议数据集基于真实场景,自发式对话的音频及语料内容同时支持ASR及NLP训练,可供各大在线会议软件与应用研发团队进行说话人语音分离、说话人切分、声纹识别、多说话人语音识别技术的研发,优化迭代智能会议产品,脱颖而出,赢得市场机会。

多人自发式会议数据集即将陆续上线,敬请期待。

如有其他问题,欢迎询400-900-2521。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/144160.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

vsftp开启登录,上传,下载,删除等操作审计日志

vsftp开启登录,上传,下载,删除等操作审计日志 背景 今天业务告知说有人把前天下午和昨天一天的ftp上面的附件被人删除了,首先我是非常的惊讶,居然会发生这种事,但是好在这个ftp不是我们负责的,…

驱动之设备模型

1. 起源与新方案 1.1 起源 仅devfs,导致开发不方便以及一些功能难以支持 热插拔不支持一些针对所有设备的同意操作(如电源管理)不能自动mknod用户查看不了设备信息设备信息硬编码,导致驱动代码通用性差,即没有分离设…

终章:学习路线

说明 该文章来源于徒弟lu2ker转载至此处,更多文章可参考:https://github.com/lu2ker/ 文章目录说明一些废话成果路线第一阶段要点第二阶段要点第三阶段要点第四阶段要点最后一些废话 截至这篇文章前已经有150star了,虽然比不上大佬们K级的量…

【链表】leetcode203.移除链表元素(C/C++/Java/Js)

leetcode203.移除链表元素1 题目2 思路 (两种方式)2.1 在原来链表上进行删除2.2 设置一个虚拟头结点删除3 代码3.1 C (两种方式)3.2 C版本(两种方式)3.3 Java版本(两种方式)3.4 JavaScript版本4…

Vue的组件、组件的创建、data、methods

一、组件 组件是vue的重要的特征之一,可以扩展html的功能,也可以封装代码实现重复使用。 二、组件的创建 1. 非脚手架方式下创建 ​ 第一步:使用Vue.extend创建组件 ​ 第二步:使用Vue.component注册组件 ​ …

OpenGov(三):新波卡治理机制有哪些可期待?

OpenGov维持波卡开创的信念投票,与以前相同的方式进行,使用WebAssembly和几个链上投票机制。也就是说,OpenGov通过降低障碍,来更好地管理网络的日常决策,将流程推向去中心化。真正的重点是使提案的范围与通过治理流程的…

企业数字化转型到底是什么?

企业的数字化转型单单是从基础设施上变更,更要从企业数据从文化上入手,培养企业的数据文化,以数据驱动来促进业务发展。大家都把数据基础设施讲的很详细了,那么我就从企业的数据化转型当中的数据文化是什么?以下来为大…

Python类型注解(十)

python学习之旅(十) 👍查看更多可以关注查看首页或点击下方专栏目录 一.为什么需要类型注解 在代码中提供数据类型的注解(显式的说明),使用时能获得相关提示 帮助第三方IDE工具(如PyCharm)对代码进行类型推…

想从事网络信息安全的工作,该如何自学?

前言 【一一帮助网络安全入门和提升学习点这里一一】 由于我之前写了不少网络安全技术相关的文章,不少读者朋友知道我是从事网络安全相关的工作,于是经常有人私信问我: 我刚入门网络安全,该怎么学?要学哪些东西&#…

第56篇-利用jsRpc获取某博的登录参数

声明:该专栏涉及的所有案例均为学习使用,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关!如有侵权,请私信联系本人删帖! 文章目录 一、前言二、JsRpc的基本使用1.准备工作2.简单使用三、使用jsRpc获取微博登录参数1.网站分析2.构建rpc一、前言 以前使用…

记录 一次 小米路由器4C 刷openwrt 过程

前言 起因是4C的性能不太行,用久了网络也不稳定,且100M带宽跑不满,然后就换了路由器,闲置的这个准备哪来跑个Linux挂个bot来着,结果可好,刷完发现内存小的可怜呀,架构也不是主流的(…

低代码助力工业软件发展,提升智能制造“软”实力

在《“十四五”智能制造发展规划》中,将工业软件作为加强自主供给的一个重点任务进行单独部署,强调了工业软件的工业属性,明确了工业软件对于智能制造的核心支撑作用,凸显了我国补足工业软件短板、以工业软件助推智能制造发展的决…

跨境资讯 | 亚马逊三站点将更新供应链标准,1月19日生效

让我们一起来看看今日都有哪些新鲜事吧!01 亚马逊将更新供应链标准 亚马逊美国站、欧洲站和日本站发布公告称2023年1月19日将更新供应链标准,在亚马逊销售的产品必须符合这些新标准。作为定期审查的一部分,这些标准每三年更新一次。亚马逊表…

虹科案例 | 解决ASRS系统的痛点问题居然这么简单?(下)

ASRS中的定位器 在考虑传感技术时,重要的是每种技术都能够以最高程度的重复性和精确度保持绝对分量,并非所有的方法都是一样托盘梭子和立式起重机在任何时候都要求绝对位置。 托盘梭子: 过道位置 行位置 垂直起重机: 高度 线性…

Java中解决lambda表达式内部访问在其外部定义的变量-使用mapToInt

场景 Java8新特性-Stream对集合进行操作的常用API: Java8新特性-Stream对集合进行操作的常用API_霸道流氓气质的博客-CSDN博客_streamapi对集合修改 上面介绍Stream的相关使用示例。 如果遇到在lambda表达式内部访问在其外部定义的变量,比如一个求和…

MATLAB-surf/ezsurf函数绘制三维图形

(1)surf 函数的用法和 mesh函数类似,MATLAB中 surf函数专门用于绘制三维着色曲面图和 surfc是通过矩形区域来观测数学函数的函数。surf和 surfc能够产生由X、Y、Z指定的有色参数化曲面,即三维有色图。具体调用方法如下。1、surf(Z…

JDBC数据库连接

下载jdbc jar包,中央仓库下载https://mvnrepository.com/artifact/mysql/mysql-connector-java/8.0.24项目导入右键jar包,然后add as library数据库操作3.1连接数据库package com.heima.jdbc;import java.sql.Connection; import java.sql.DriverManager…

Appium自动化测试环境搭建

Appium自动化环境搭建 首先整体了解一下Appium自动化环境搭建都需要哪些软件或者组件 Python、Appium、AndroidSDK(主要是adb.exe、aapt.exe)、Node Js、java 一、安装并配置java环境 1、这个可以搜到的教程实在是太多了,建议直接官方下载…

汽车数据分析,2022年汽车产量总体高于2021年,年产量增长了6%左右

哈喽,大家好,春节将近,想必大家也开始抢票准备回家过年了,有车的伙伴也可能打算自驾归家了。大家辛苦工作了一年,手里积攒了一些积蓄,有些伙伴可能想赶在春节购车购房,这里小编为大家准备了一些…

java面试之设计篇

一、基础 1.六大设计原则 单一职责原则 一个类只专注于做一件事;高内聚,低耦合; 开闭原则 对拓展开放,对修改关闭(尽可能不动原有代码进行拓展); 高内聚,低耦合; 为达到…