2023年1月语音合成（TTS)和语音识别(ASR)论文月报

news2024/9/21 16:33:17

论文统计每月更新一次，主要跟踪语音合成和语音识别的发展状况(很多文章都是在会议后才发出，但不影响统计。统计过程难免存在疏漏，因此统计结果仅供参考。所有文章语音合成领域统计列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。开源语音数据查询 http://yqli.tech/page/data.html。

如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。读者有什么建议可以直接给我发消息，我将不断修改该统计。如有转载，请注明出处。

2023年文章统计excel https://docs.google.com/spreadsheets/d/1iDnSeyai91NUrg0CyDj35FAuXPA44-s8H1YxBddEqEs/edit?usp=sharing

前言

ChatGpt有多火，估计大家都感受到其热度，把AI的浪潮带到了新的高度。看看国内的自媒体和大佬资金都涌向了ChatGpt。面对这波热潮我也感到急躁，不是怕未来自己被替换掉，而是自己目前的工作没有直接加入到该浪潮中。我总的2022年语音年度总结（https://mp.weixin.qq.com/s/Vy_Er768iWuVs4Gwpks5Rg）中提到ChatGpt等技术将会给2023年的 AI带来活力，没想到这波浪潮来的这么快这么凶猛。听说OpenAI今年有GPT4以及语音的预训练模型，非常期待~

一语音合成篇

表一给出具体分类说明。2023年1月的语音合成相关的文章有34篇，比前两年同期增加很多。表二和图2是语音合成的具体方向文章的情况。本月的文章的关键词有Diffusion、prompt、xxLM等等大家可注意一下。另外Vall-E这篇文章方法可成为未来的热点。

表一语音合成分类说明

分类	说明
前端	多音字，韵律，g2p等等。
声学模型	语言特征转声学特征，attention工作，多说话人以及双重学习
声码器	波形生成
个性化	少数据，脏数据应用等自适应
多语言和多说话人	多语言模型、多说话人模型
歌唱合成	歌唱和音乐合成
情感	风格和情感
多模态	主要搜集talking head文章
声音转换	基于GAN方案和特征解耦方案
S2S	speech-to-speech
其它	基于EEG合成，开源数据，MOS评测以及语音合成的应用

图1 语音合成论文总数

表二语音合成论文分布情况

	1月
前端	1
声学模型	7
声码器	1
个性化	0
多语言	2
歌唱合成	8
情感风格	3
多模态	6
声音转换	1
s2s	1
其它	4

图2 语音合成论文分布情况柱状图

语音合成的文章列表请访问http://yqli.tech/page/tts_paper.html

2023.1月份的文章

https://docs.google.com/spreadsheets/d/1iDnSeyai91NUrg0CyDj35FAuXPA44-s8H1YxBddEqEs/edit?usp=sharing

二语音识别篇

语音识别的文章分类参照表三说明。图3是语音识别文章总数，本月有17篇，相比去年同期减少很多。语音识别的研究方向具体情况参见表4和图4，其中无监督、speech translation以及多模态较多些。

表三语音识别分类说明

分类	说明
general	包括传统、混合语音识别，以及对asr的优化
ctc	ctc优化
rnn-t	rnn-t的优化
aed	aed优化
dataset	开源数据库
data aug	数据增广
lm	语言模型研究
multilingual	多语音系统以及code-switch
personal	少数据量自适应以及个性化ASR
rescoring	多种模型联合打分
unsupervised	无监督，半监督或者自监督学习
accent ,dialect	口音和方言
other	其它方向研究，包括系统评价标准等等
robust	鲁棒性
speaker diarization	speaker diarization
multichannel	多通道
speech translation	语音翻译
multi-modal	多模态