基于Python+WaveNet+CTC+Tensorflow智能语音识别与方言分类—深度学习算法应用(含全部工程源码)

news2024/10/6 12:31:49

目录

  • 前言
  • 总体设计
    • 系统整体结构图
    • 系统流程图
  • 运行环境
    • Python 环境
    • Tensorflow 环境
  • 模块实现
    • 1. 方言分类
      • 数据下载及预处理
      • 模型构建
      • 模型训练及保存
    • 2. 语音识别
      • 数据预处理
      • 模型构建
      • 模型训练及保存
    • 3. 模型测试
      • 功能选择界面
      • 语言识别功能实现界面
      • 方言分类功能实现界面
  • 系统测试
    • 1. 训练准确率
    • 2. 测试效果
    • 3. 模型应用
  • 工程源代码下载
  • 其它资料下载


在这里插入图片描述

前言

本项目利用语音文件和方言标注文件,提取语音的梅尔倒谱系数特征,并对这些特征进行归一化处理。在基于标注文件的指导下,构建了一个字典来管理数据。接着,我们选择WaveNet机器学习模型进行训练,并对模型的输出进行softmax处理。最终,经过训练后的模型将被保存以备后续使用。

在项目中,我们首先获取语音文件和标注文件,并使用相应的技术来提取梅尔倒谱系数特征。这些特征可以捕捉语音信号的频谱信息,并为后续的模型训练提供输入。

为了准确地将语音文件与标注对应起来,我们根据标注文件建立了一个字典,使得每个语音文件能够与其对应的标注信息关联。

为了训练有效的语音识别模型,我们选择了WaveNet机器学习模型。WaveNet是一种基于深度学习的模型,被广泛用于音频生成和识别任务。我们使用训练数据来训练WaveNet模型,以便它能够学习语音文件与对应标注之间的关联。

最后,在训练完成后,我们将模型的输出通过softmax处理,以得到最终的预测结果。这样的处理可以将输出转换为概率分布,使得模型更容易对语音进行正确的识别。

经过这一系列的步骤,我们的项目能够实现对语音文件的识别,并根据标注信息对方言进行分类。训练好的模型将被保存,以备后续在实际应用中使用。这个项目为语音识别领域的进一步研究和应用提供了可靠的基础。

总体设计

本部分包括系统整体结构图和系统流程图。

系统整体结构图

系统整体结构如图所示。

在这里插入图片描述

系统流程图

语音识别及方言分类流程如图1所示,页面设计流程如图2所示。

在这里插入图片描述

图1 语音识别及方言分类流程图

在这里插入图片描述

图2 页面设计流程图

运行环境

本部分包括 Python 环境和Tensorflow 环境。

Python 环境

需要Python 3.6及以上配置,在Windows环境 下推荐下载Anaconda完成Python所需的配置,下载地址为https://www.anaconda.com/。也可以下载虚拟机在Linux环境下运行代码。

Tensorflow 环境

打开Anaconda Prompt,输入清华仓库镜像:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config -set show_channel_urls yes

创建Python 3.6.5环境,名称为TensorFlow。此时Python版本和后面TensorFlow的版本存在匹配问题,此步选择Python3.x。

conda create -n tensorflow python==3.6.5

有需要确认的地方,都按Y键。
在Anaconda Prompt中激活TensorFlow环境:

conda activate tensorflow

安装与python3.6.5匹配的CPU版本的TensorFlow:

pip install tensorflow==1.9

安装Python和TensorFlow匹配的Keras版本,此处为Keras2.2.0:

pip install Keras==2.2.0

三者版本若不匹配,导入Keras时Kernel将会出现问题。

安装完毕,进行检验,在cmd中输入Python后, 按图所示输入,若成功输出则安装成功。
在这里插入图片描述

模块实现

本项目包括3个模块:方言分类、语音识别和模型测试,下面分别给出各模块的功能介绍及相关代码。

1. 方言分类

本部分包含数据下载及预处理、模型构建、模型训练及保存。

数据下载及预处理

数据集由科大讯飞提供,内有长沙话、上海 话和南昌话3种方言,包含50~300KB的语音数据集19489条,其中17989条训练数据,1500条验证数据,下载地址为http://challenge.xfyun.cn/2019/。下载数据集并导入,训练集、验证集的数据分别命名为train_flesdev_fles。通过使用glob ()函数实现,导入数据代码如下:

#加载pcm文件,其中17989条训练数据,1500条验证数据
#定义训练集
train_files = glob.glob(r'D:\homework\dialect\data\*\train\*\*.pcm')
#定义验证集 
dev_files = glob.glob(r'D:\homework\dialect\data\*\dev\*\*\*.pcm') 
print(len(train_files), len(dev_files),train_files[0])
#打印语音数据集的数量与训练集第一条数据

对下载的语音数据集进行整理分类,为训练集和验证集中的每一条数据打标签。相关代码如下:

labels = {'train': [], 'dev': []}
#对于train_files中的每一条数据
for i in tqdm(range(len(train_files))):
path = train_files[i] #取出路径
label = path.split('\\')[1] #以'\\'划分路径,取出其中对应地区分类的标签
labels['train'].append(label)#以字典进行存储
#对于dev_files中的每一条数据进行如上操作
for i in tqdm(range(len(dev_files))):
path = dev_files[i]
label = path.split('\\')[1]
labels['dev'].append(label)
print(len(labels['train']), len(labels['dev']))
#整理每条语音数据对应的分类标签图

数据集下载后进行预处理。定义处理语音数据、pcm格式转wav格式、可视化语音数据集的3个函数。由于语音片段长短不一,去除少于1s的短片段,并将长片段切分为不超过3s的片段。

a. 处理语音数据

相关代码如下:

def load_and_trim(path, sr=16000):
    audio = np.memmap(path, dtype='h', mode='r')  #对大文件分段读取
    audio = audio[2000:-2000]
    audio = audio.astype(np.float32)
    energy = librosa.feature.rms(audio)  #计算能量
    frames = np.nonzero(energy >= np.max(energy) / 5) #最大能量的1/5视为静音
    indices = librosa.core.frames_to_samples(frames)[1]#去除静音
    audio = audio[indices[0]:indices[-1]] if indices.size else audio[0:0]
    slices = []#存储划分为小于3s大于1s的切片
    for i in range(0, audio.shape[0], slice_length):
        s = audio[i: i + slice_length]#切分为3s片段
        if s.shape[0] >= min_length:
            slices.append(s)  #去除小于1s的片段
    return audio, slices

b. pcm转wav函数

相关代码代码如下:

def pcm2wav(pcm_path, wav_path, channels=1, bits=16, sample_rate=sr):
    data = open(pcm_path, 'rb').read()  #读取文件
    fw = wave.open(wav_path, 'wb')  #存储wav路径
    fw.setnchannels(channels)  #设置通道数:单声道
    fw.setsampwidth(bits // 8)  #将样本宽度设置为bits/8个字节
    fw.setframerate(sample_rate)  #设置采样率
    fw.writeframes(data)  #写入data个长度的音频
    fw.close()

c. 可视化语音数据集函数

相关代码如下:

def visualize(index, source='train'):
    if source == 'train':
        path = train_files[index]  #训练集路径
    else:
        path = dev_files[index]  #验证集路径
    print(path)
    audio, slices = load_and_trim(path)  #去除两端静音,并切分为片段
    print('Duration: %.2f s' % (audio.shape[0] / sr))  #打印处理后的长度
    plt.figure(figsize=(12, 3))  #图像大小
    plt.plot(np.arange(len(audio)), audio)  #绘制波形
    plt.title('Raw Audio Signal')  #设置标题
    plt.xlabel('Time')  #设置横坐标
    plt.ylabel('Audio Amplitude')  #设置纵坐标
    plt.show()  #绘图展示
    feature = mfcc(audio, sr, numcep=mfcc_dim)  #提取mfcc特征
    print('Shape of MFCC:', feature.shape)  #打印mfcc特征
    fig = plt.figure(figsize=(12, 5))  #图像大小
    ax = fig.add_subplot(111)
    im = ax.imshow(feature, cmap=plt.cm.jet, aspect='auto')  #绘制mfcc
    plt.title('Normalized MFCC')  #图像标题
    plt.ylabel('Time')  #设置纵坐标
    plt.xlabel('MFCC Coefficient')  #设置横坐标
    plt.colorbar(im, cax=make_axes_locatable(ax).append_axes('right', size='5%', pad=0.05))
    ax.set_xticks(np.arange(0, 13, 2), minor=False);  #设置横坐标间隔
    plt.show()  #绘图展示
    wav_path = r'D:/homework/dialect/example.wav'#wav文件存储路径
    pcm2wav(path, wav_path)  #pcm文件转化为wav文件
    return wav_path

以可视化第3条语音数据为例,结果如图3所示。分别将训练集和验证集的MFCC特征进行归一化处理,相关代码如下:

#对训练集MFCC特征归一化
X_train = [(x - mfcc_mean) / (mfcc_std + 1e-14) for x in X_train] 
#对验证集MFCC特征归一化
X_dev = [(x - mfcc_mean) / (mfcc_std + 1e-14) for x in X_dev] 

在这里插入图片描述

图3 第3条语音数据可视化结果

使用LabelEncoder()将标签处理为整数,并通过to_categorical()函数将训练集和验证集分别转化为向量,再定义迭代器函数,相关代码如下:

le = LabelEncoder()
Y_train = le.fit_transform(Y_train)  #处理训练集标签
Y_dev = le.transform(Y_dev)  #处理验证集标签
num_class = len(le.classes_)  #3个类别
Y_train = to_categorical(Y_train, num_class)  #将训练集转化为向量
Y_dev = to_categorical(Y_dev, num_class)  #将验证集转化为向量

模型构建

数据加载进模型之后,需要定义模型结构,并优化损失函数。

(1) 定义模型结构

模型使用多层因果空洞卷积(Causal Dilated Convolution)处理数据。首先,构建并使用一维卷积层;其次,引入BN (BatchNormalization) 算法、定义batchnorm ()函数进行正则化,用以消除模型的过拟合问题;再次,定义activation ()函数,用于激活神经网络训练;最后,定义res_block () 函数,基础块常用Conv+BN+Relu+Conv+BN侧边分支的模式,达到修复目的。通过GlobalMaxPooling1D ()对整个序列输出进行降维,定义softmax逻辑回归模型。最后一层卷积的特征图个数和字典大小相同,经过softmax函数处理之后,对每一个小片段对应的MFCC都能得到在整个字典上的概率分布。相关代码如下:

#定义多层因果空洞卷积MFCC一维,使用conv1d
def conv1d(inputs, filters, kernel_size, dilation_rate):
	return Conv1D(filters=filters, kernel_size=kernel_size, strides=1, padding='causal', activation=None, dilation_rate=dilation_rate)(inputs)
#加速神经网络训练BN算法
def batchnorm(inputs):
    return BatchNormalization()(inputs)
#定义神经网络激活函数
def activation(inputs, activation):
    return Activation(activation)(inputs)
def res_block(inputs, filters, kernel_size, dilation_rate):  
	hf = activation(batchnorm(conv1d(inputs, filters, kernel_size, dilation_rate)), 'tanh')
	hg = activation(batchnorm(conv1d(inputs, filters, kernel_size, dilation_rate)), 'sigmoid')
    h0 = Multiply()([hf, hg])
    #tanh激活函数
    ha = activation(batchnorm(conv1d(h0, filters, 1, 1)), 'tanh')
    hs = activation(batchnorm(conv1d(h0, filters, 1, 1)), 'tanh')
    return Add()([ha, inputs]), hs
#tanh激活函数
h0 = activation(batchnorm(conv1d(X, filters, 1, 1)), 'tanh')
shortcut = []
for i in range(num_blocks):
    for r in [1, 2, 4, 8, 16]:
        h0, s = res_block(h0, filters, 7, r)
        shortcut.append(s)
#Relu激活函数
h1 = activation(Add()(shortcut), 'relu')
h1 = activation(batchnorm(conv1d(h1, filters, 1, 1)), 'relu') 
h1 = batchnorm(conv1d(h1, num_class, 1, 1))
h1 = GlobalMaxPooling1D()(h1)  #通过GlobalMaxPooling1D对整个序列输出进行降维
Y = activation(h1, 'softmax')  #softmax逻辑回归模型

(2) 优化损失函数

确定模型架构,进行编译。这是多类别的分类问题,故使用CTC(Connectionist temporalclassification) 算法计算损失函数。由于所有标签都带有相似的权重,故使用精确度作为性能指标。相关代码如下:

#Adam优化算法
optimizer = Adam(lr=0.01, clipnorm=5)
#模型输入/输出
model = Model(inputs=X, outputs=Y)
#模型损失和准确率
model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy'])
#模型保存路径
checkpointer = ModelCheckpoint(filepath='D:/homework/dialect/fangyan.h5', verbose=0)
lr_decay = ReduceLROnPlateau(monitor='loss', factor=0.2, patience=1, min_lr=0.000)

模型训练及保存

在定义模型架构和编译之后,通过训练集训练模型,使模型进行方言分类。这里将使用训练集和验证集拟合并保存模型。

(1) 模型训练

相关代码如下:

#分批读取数据
history = model.fit_generator(
	#训练集批处理器
    generator=batch_generator(X_train, Y_train),
	#每轮训练的数据量
    steps_per_epoch=len(X_train), 
    epochs=epochs, 
	#测试集批处理器
    validation_data=batch_generator(X_dev, Y_dev), 
    validation_steps=len(X_dev) 
    callbacks=[checkpointer, lr_decay])

其中,一批(batch)就是在一次前向/后向传播过程用到的训练样例数量,即一次用1180条语音数据进行训练,共训练11800条语音数据,如图所示。

在这里插入图片描述
通过观察训练集和测试集的损失函数、准确率的大小评估模型训练程度,制定模型训练的进一步决策。训练集和测试集的损失函数(或准确率)不变且基本相等为模型训练的最佳状态。训练过程中保存的准确率和损失函数以图片的形式显示,方便观察。

train_loss = history.history['loss']#训练集损失函数
valid_loss = history.history['val_loss']#验证集损失函数
#画图
plt.plot(train_loss, label='训练')
plt.plot(valid_loss, label='验证')
plt.legend(loc='upper right')
plt.xlabel('训练次数')
plt.ylabel('损失')
plt.show()
train_acc = history.history['acc']#训练集精确度
valid_acc = history.history['val_acc']#验证集精确度
#画图
mpl.rcParams['font.sans-serif'] = ['SimHei']
plt.plot(train_acc, label='训练')
plt.plot(valid_acc, label='验证')
plt.legend(loc='upper right')
plt.xlabel('训练次数')
plt.ylabel('精确度')
plt.legend()
plt.show()

(2) 模型保存

相关代码如下:

#保存模型
model.save('fangyan.h5') #HDF5文件

模型被保存后,可以被重用,也可以移植到其他环境中使用。为类别预测,将字典保存为.pkl文件,相关代码如下:

#保存字典
with open('resources.pkl', 'wb') as fw:
    pickle.dump([class2id, id2class, mfcc_mean, mfcc_std], fw)

2. 语音识别

本部分包含数据预处理、模型构建、模型训练及模型保存。

数据预处理

数据集来源地址为www.openslr.org/18/,包含100~400KB的语音数据集13388条。下载数据集并导入,通过使用glob ()函数来实现。相关代码如下:

#加载trn,读取语音对应的文本文件
text_paths = glob.glob(r'D:/homework/language/language/data/*.trn')
#导入数据集
total = len(text_paths)  #统计文本个数
print(total)  #打印数据集总数
with open(text_paths[0], 'r', encoding='utf8') as fr:
    lines = fr.readlines()
    print(lines)  #打印第一条数据中内容

语音识别数据集中有表示语音的.wav文件,也有表示标音的.trn文件。打印第一条数据, 输出如图所示。

在这里插入图片描述

对下载的语音数据集进行整理,将文本中的中文保存到texts的列表中、每个音频的路径保存到paths列表中,相关代码如下:

#提取文本内容和语音文件路径,去掉空白格
texts = []  #放置文本
paths = []  #防止每个语音文件的路径
for path in text_paths:
    with open(path, 'r', encoding='utf8') as fr:
        lines = fr.readlines()
        line = lines[0].strip('\n').replace(' ', '')
#用逗号替换空白格,去掉拼音
        texts.append(line)  #更新文本,添加整理好的内容
        paths.append(path.rstrip('.trn'))#除去.trn的文件就是.wav音频文件
print(paths[0], texts[0])#打印语音文件所在路径以及对应的文本内容

下载语音数据集并进行预处理。定义处理语音数据和可视化语音数据集的两个函数。在处理语音数据的函数中,去除语音文件两端的静音部分。处理语音数据部分函数代码如下:

def load_and_trim(path):
    audio, sr = librosa.load(path)  #读取音频
    energy = librosa.feature.rms(audio)  #计算能量
    frames = np.nonzero(energy >= np.max(energy) / 5) #最大能量的1/5视为静音
    indices = librosa.core.frames_to_samples(frames)[1]  #去除静音
    audio = audio[indices[0]:indices[-1]] if indices.size else audio[0:0]
    return audio, sr
#可视化语音数据集部分函数代码
def visualize(index):
    path = paths[index]  #获取某个音频
    text = texts[index]  #获取音频对应的文本
    print('Audio Text:', text)
    audio, sr = load_and_trim(path)  #调用函数去除两端静音
    plt.figure(figsize=(12, 3))
    plt.plot(np.arange(len(audio)), audio)
    plt.title('Raw Audio Signal')
    plt.xlabel('Time')#x轴为时间
    plt.ylabel('Audio Amplitude')  #y轴为音频高度
    plt.show()
    feature = mfcc(audio, sr, numcep=mfcc_dim, nfft=551)  #计算MFCC特征
    print('Shape of MFCC:', feature.shape)
    fig = plt.figure(figsize=(12, 5))
    ax = fig.add_subplot(111)
    im = ax.imshow(feature, cmap=plt.cm.jet, aspect='auto')
    plt.title('Normalized MFCC')
    plt.ylabel('Time')
    plt.xlabel('MFCC Coefficient')
    plt.colorbar(im, cax=make_axes_locatable(ax).append_axes('right', size='5%', pad=0.05))
    ax.set_xticks(np.arange(0, 13, 2), minor=False);
    plt.show()
    return path

以可视化第一条语音数据为例,结果如图所示。
在这里插入图片描述

将音频文件的MFCC特征进行归一化处理并建立字典,相关代码如下:

features=[(feature-mfcc_mean)/(mfcc_std + 1e-14) for feature in features]
#建立字典
chars = {}
for text in texts:
    for c in text:
        chars[c] = chars.get(c, 0) + 1
chars = sorted(chars.items(), key=lambda x: x[1], reverse=True)
chars = [char[0] for char in chars]
print(len(chars), chars[:100])   #打印随机100段音频中汉字数量
char2id = {c: i for i, c in enumerate(chars)}
id2char = {i: c for i, c in enumerate(chars)}

对数据进行划分,将数据总数的90%作为训练集。定义产生批数据的函数batch_generator()。相关代码如下:

data_index = np.arange(total)
np.random.shuffle(data_index)   #将索引打乱
train_size = int(0.9 * total)   #训练数据占90%
test_size = total - train_size
train_index = data_index[:train_size]            #切分出来训练数据的索引
test_index = data_index[train_size:]             #切分出来测试数据的索引
X_train = [features[i] for i in train_index]   #取出训练音频的MFCC特征
Y_train = [texts[i] for i in train_index]       #取出训练的标签
X_test = [features[i] for i in test_index]      #取出测试音频的MFCC特征
Y_test = [texts[i] for i in test_index]          #取出测试的标签

模型构建

数据加载进模型后,需要定义模型结构,并优化损失函数。

(1) 定义模型结构

定义WaveNet网络。使用多层因果空洞卷积处理数据,模型结构使用方法和方言分类部分大致相同。

(2) 损失函数及模型优化
确定模型架构后进行编译。这是多类别的分类问题,故使用CTC ( Connectionist temporalclassification) 算法计算损失函数。相关代码如下:

def calc_ctc_loss(args):  #CTC损失函数
	y, yp, ypl, yl = args
	return K.ctc_batch_cost(y, yp, ypl, yl)
	
ctc_loss = Lambda(calc_ctc_loss, output_shape=(1,), name='ctc')([Y, Y_pred, X_length, Y_length])  #调用函数
model = Model(inputs=[X, Y, X_length, Y_length], outputs=ctc_loss)
optimizer = SGD(lr=0.02, momentum=0.9, nesterov=True, clipnorm=5)
model.compile(loss={'ctc': lambda ctc_true, ctc_pred: ctc_pred}, optimizer=optimizer)  #定义模型
checkpointer = ModelCheckpoint(filepath='asr.h5', verbose=0)
lr_decay = ReduceLROnPlateau(monitor='loss', factor=0.2, patience=1, min_lr=0.000)

模型训练及保存

在定义模型架构和编译之后,通过训练集训练模型,使模型识别语音。这里,将使用训练集和验证集来拟合并保存模型。

1) 模型训练

相关代码如下:

#分批读取数据
history = model.fit_generator(
	#训练集批处理器
    generator=batch_generator(X_train, Y_train),
	#每轮训练的数据量
    steps_per_epoch=len(X_train), 
    epochs=epochs, 
	#测试集批处理器
    validation_data=batch_generator(X_dev, Y_dev), 
    validation_steps=len(X_dev) 
    callbacks=[checkpointer, lr_decay])

一批(batch) 数据不超过753条,如图所示。

在这里插入图片描述

相关代码如下:

#训练集损失
train_loss = history.history['loss']
#验证集损失
valid_loss = history.history['val_loss']
#绘制损失函数图像
mpl.rcParams['font.sans-serif'] = ['SimHei']  #默认字体黑体
plt.plot(np.linspace(1, epochs, epochs), train_loss, label='训练')
plt.plot(np.linspace(1, epochs, epochs), valid_loss, label='验证')
plt.legend(loc='upper right')
plt.xlabel('训练次数')
plt.ylabel('损失')
plt.legend()
plt.show()

2) 模型保存

为后续图形用户界面设计导入,将模型保存为.h5格式的文件。

相关代码如下:

#模型保存
sub_model.save('asr.h5')

将字典保存为pkl格式文件,相关代码如下:

#字典保存
with open('dictionary.pkl', 'wb') as fw:
    pickle.dump([char2id, id2char], fw)

模型及字典被保存后,可以被重用,也可以移植到其他环境中使用。

3. 模型测试

在设计好的图形用户界面中导入模型,选取语音文件,展示原始波形及MFCC特征图。可选择实现语音识别和方言分类两个功能。图形用户主要包括3个界面:功能选择界面、语言识别功能实现界面和方言识别功能实现界面。

功能选择界面

相关操作如下

(1)设置功能选择界面为根窗体。初始化功能选择界面的各个属性,相关操作如下:

#设置功能选择界面的大小及标题
root = Tk()
root.geometry('300x450')
root.title('语音识别及方言分类')
#界面展示
mainloop()

根窗体是图像化应用程序的根控制器,是Tkinter底层控件的实例。导入Tkinter模块后,调用Tk()函数初始化根窗体实例,用title()函数设置标题文字,用geometry()函数设置窗体大小(以像素为单位)。将根窗体置于主循环中,除非用户关闭,否则程序始终处于运行状态。主循环的根窗体中,可持续呈现其他可视化控件实例,监测事件的发生并执行相应的处理程序。

(2)设置界面需展示的控件及其相应属性和布局,相关操作如下:

#设置文本标签,提示用户欢迎信息   
lb = Label(root, text='欢迎使用!',font=('华文新魏',22))
lb.pack()
#设置文本标签位置
lb.place(relx=0.15, rely=0.2, relwidth=0.75, relheight=0.3)
#设置两个提示按钮及文本字体大小
btn = Button(root, text='语音识别',font=('华文新魏',12),command=asr)
btn.pack()
#设置第一个按钮位置
btn.place(relx=0.3, rely=0.5, relwidth=0.4, relheight=0.1)
btn_btn = Button(root, text='方言分类',font=('华文新魏',12),command = dialect)
btn_btn.pack()
#设置第二个按钮位置
btn_btn.place(relx=0.3, rely=0.65, relwidth=0.4, relheight=0.1)

标签实例lb,按钮实例btn和btn_ btn在父容器root中实例化,设置text (文本)、font (字体)和命令属性;在实例化控件时,实例的属性以“属性=属性值”的形式枚举列出,不区分先后次序。属性值通常用文本形式表示。

按钮主要是为响应鼠标单击事件触发运行程序所设的,除控件共有属性外,命令(command) 是最重要的属性。通常将要触发执行的程序以函数形式预先定义,直接调用函数,参数表达式为“command=函数名”,函数名后面不加括号,不传递参数。故设置命令属性以触发与按钮文本相对应的功能实现界面。

使用place () 方法配合relx、rely和relheight, relwidth参数所得到的界面可自适应根窗体尺寸的大小。

语言识别功能实现界面

相关操作如下:

(1)调用Toplevel () 函数,设置二级界面,用于语音识别功能的实现。

(2)实例化所需文本标签、图像标签、文本及按钮控件。

(3)定义函数用于获取用户输入数字,选取后续进行识别语音文件。

(4) 定义函数读取语音文件,进行一系列处理后,绘制原始波形及MFCC特征两个图像,并保存到本地。

#语音文件初始处理,去除两端静音
        audio, sr = librosa.load(wavs[int(x)]) #读取语音文件
        energy = librosa.feature.rms(audio)     #计算语音文件能量
	    #判定能量小于最大能量1/5为静音
        frames = np.nonzero(energy >= np.max(energy) / 5)        
	    indices = librosa.core.frames_to_samples(frames)[1]
        audio = audio[indices[0]:indices[-1]] if indices.size else audio[0:0] #去除两端静音
        plt.figure(figsize=(12, 3)) #图像大小
        plt.plot(np.arange(len(audio)), audio) #绘制原始波形
        plt.title('Raw Audio Signal') #图像标题
        plt.xlabel('Time') #图像横坐标
        plt.ylabel('Audio Amplitude') #图像纵坐标
        #保存原始波形图像
        plt.savefig('E:/北邮学习/2020课件/信息系统设计/语音识别/原始波形.png')  
        #feature.shape二维数组(切片数量,维度)
        #指定音频文件、采样率、mfcc维度,获取MFCC特征
        feature = mfcc(audio, sr, numcep=mfcc_dim, nfft=551) 
        #绘制MFCC特征图
        fig = plt.figure(figsize=(12, 5))#图像大小
        ax = fig.add_subplot(111) #分块绘图
	    #绘制mfcc特征
        im = ax.imshow(feature, cmap=plt.cm.jet, aspect='auto')
        plt.title('Normalized MFCC') #图像标题
        plt.ylabel('Time') #图像纵坐标
        plt.xlabel('MFCC Coefficient') #图像横坐标
        #右侧colorbar绘制
        plt.colorbar(im, cax=make_axes_locatable(ax).append_axes('right', size='5%', pad=0.05))
        ax.set_xticks(np.arange(0, 13, 2), minor=False); #图像横坐标值设置
        #保存MFCC特征图像
        plt.savefig('E:/北邮学习/2020课件/信息系统设计/语音识别/mfcc.png')

(5) 定义两个函数,分别用于在界面中展示MFCC特征图和原始波形图。

(6)定义函数,取出语音文件标注的文本,并在界面中展示。

(7)定义函数,加载训练好的模型进行语音识别,将识别结果进行输出展示。

audio, sr = librosa.load(wavs[int(x)]) #读取语音文件
energy = librosa.feature.rms(audio) #计算语音文件能量
#判定能量小于最大能量1/5为静音
frames = np.nonzero(energy >= np.max(energy) / 5) 
indices = librosa.core.frames_to_samples(frames)[1]
audio = audio[indices[0]:indices[-1]] if indices.size else audio[0:0] #去除两端静音
X_data = mfcc(audio, sr, numcep=mfcc_dim, nfft=551) #获取mfcc特征
X_data = (X_data - mfcc_mean) / (mfcc_std + 1e-14) #mfcc归一化处理
#加载模型进行语音识别
pred = model.predict(np.expand_dims(X_data, axis=0))
#加载预测结果
pred_ids = K.eval(K.ctc_decode(pred, [X_data.shape[0]], greedy=False,beam_width=10, top_paths=1)[0][0])
pred_ids = pred_ids.flatten().tolist()
#实例化lb标签,在界面中展示识别文本结果
lb3 = Label(top, text='识别结果:'+''.join([id2char[i] for i in pred_ids]))
lb3.place(relx=0.1, rely=0.96, relwidth=0.75, relheight=0.03)

(8)设置按钮控件的command属性,与上述定义好的函数相联系,确保正确触发与按钮相对应的可实现功能。

方言分类功能实现界面

相关操作如下:

(1) 调用Toplevel () 函数,设置二级界面,用于方言分类功能的实现。

(2) 实例化所需文本标签、图像标签、文本及按钮控件。

(3) 定义函数,随机选取后续进行方言分类的语音文件。

(4) 定义函数,读取语音文件,进行一系列处理后,绘制原始波形及MFCC特征两个图像,并保存到本地。

#定义函数,加载语音文件,去除两端静音,对长语音进行片段切片
    def load_and_trim(path, sr=16000):
        audio = np.memmap(path, dtype='h', mode='r') #对大文件分段读取
        audio = audio[2000:-2000]
        audio = audio.astype(np.float32)
        energy = librosa.feature.rms(audio) #计算能量
	    #最大能量的1/5视为静音
        frames = np.nonzero(energy >= np.max(energy) / 5) 
        indices = librosa.core.frames_to_samples(frames)[1] #去除静音
        audio = audio[indices[0]:indices[-1]] if indices.size else audio[0:0] #去除静音后的语音文件
        slices = [] #存储划分为小于3s大于1s的切片
        for i in range(0, audio.shape[0], slice_length):            
            s = audio[i: i + slice_length] #切分为3s片段
            if s.shape[0] >= min_length:
                slices.append(s) #去除小于1s的片段    
        return audio, slices 
#定义函数以读取语音文件,绘制原始波形及MFCC特征两个图像,并保存到本地
    def run2():
	    #从文本框中提取随机选取的语音文件路径
        path = txt1.get("0.0","end")
        path = path.strip("\n").split(" ")[0]
        audio, slices = load_and_trim(path) #去除两端静音,并切分为片段
        #绘制原始波形图像
        plt.figure(figsize=(12, 3))#图像大小
        plt.plot(np.arange(len(audio)), audio) #绘制波形
        plt.title('Raw Audio Signal')#设置标题
        plt.xlabel('Time') #设置横坐标
        plt.ylabel('Audio Amplitude')#设置纵坐标
        #保存原始波形图像
        plt.savefig('E:/北邮学习/2020课件/信息系统设计/原始波形.png') 
        #绘制MFCC特征图像
        feature = mfcc(audio, sr, numcep=mfcc_dim) #提取MFCC特征
        fig = plt.figure(figsize=(12, 5))#图像大小
        ax = fig.add_subplot(111)
        im = ax.imshow(feature, cmap=plt.cm.jet, aspect='auto') #绘制MFCC
        plt.title('Normalized MFCC')#图像标题
        plt.ylabel('Time')#设置纵坐标
        plt.xlabel('MFCC Coefficient')#设置横坐标
        plt.colorbar(im, cax=make_axes_locatable(ax).append_axes('right', size='5%', pad=0.05))
        ax.set_xticks(np.arange(0, 13, 2), minor=False);#设置横坐标间隔
        #保存mfcc特征图像
        plt.savefig('E:/北邮学习/2020课件/信息系统设计/mfcc.png') 

(5) 定义两个函数,分别用于在界面中展示MFCC特征图和原始波形图。

(6) 定义函数,取出语音文件所属类别并在界面中展示。

(7) 定义函数,加载训练好的模型进行方言分类,将识别结果进行输出展示。

    path = txt1.get("0.0","end")
    path = path.strip("\n").split(" ")[0]
    #去除两端静音,并切分为片段
    audio, slices = load_and_trim(path)
    #获取mfcc特征
    X_data = [mfcc(s, sr, numcep=mfcc_dim) for s in slices] 
    #MFCC归一化处理
    X_data = [(x - mfcc_mean) / (mfcc_std + 1e-14) for x in X_data] 
    maxlen = np.max([x.shape[0] for x in X_data])
    X_data = pad_sequences(X_data, maxlen, 'float32', padding='post', value=0.0)
     #加载模型进行方言分类
    prob = model.predict(X_data)
    prob = np.mean(prob, axis=0)
    pred = np.argmax(prob)
    prob = prob[pred]
    pred = id2class[pred]
    #实例化lb标签,在界面中展示识别预测类别
    lb3 = Label(top1, text='预测类别:'+ pred + '  Confidence:'+ str(prob))
    lb3.place(relx=0.1, rely=0.96, relwidth=0.75, relheight=0.03)

(8) 设置按钮控件的command属性,与上述定义好的函数相联系,确保正确触发与按钮相对应的可实现功能。

系统测试

本部分包括训练准确率、测试效果及模型应用。

1. 训练准确率

语音识别任务,预测模型训练比较成功。随着训练次数的增多,模型在训练数据、测试数据上的损失逐渐收敛,最终趋于稳定,如图所示。

在这里插入图片描述

方言分类中,在训练集上测试准确率超过了98%,意味着这个预测模型训练比较成功。随着训练次数的增多,模型在训练数据上的损失和准确率逐渐收敛,最终趋于稳定;但在测试数据上的损失和准确率不够稳定,有一定波动,如图4和图5所示。

在这里插入图片描述

图4 方言分类模型损失

在这里插入图片描述

图5 方言分类模型准确度

2. 测试效果

对测试集进行测试,识别的文本、分类标签与原始数据进行显示和对比,如下图所示。

在这里插入图片描述

由结果可以看出,模型可以实现语音识别及方言分类。

3. 模型应用

本部分包括图形用户界面使用说明和测试效果。

1. 图形用户界面使用说明

编译及运行.py文件后,初始界面如图所示。

在这里插入图片描述

界面从上至下分别是文本提示语和两个按钮。单击[语音识别]按钮,可以弹出二级界面——语音识别功能实现界面,如图6所示;单击[方言分类]按钮,可以弹出二级界面——方言分类功能实现界面,如图7所示。

界面从上至下分别是文本提示语、输入框、按钮和文本框。在输入框中输入数字,单击[选取对应语音文件]按钮,选择本次进行语音识别的文件,文本框中输出该文件路径;单击[保存对应MFCC特征图及原始波形图]按钮,保存对应图像到本地;单击[MFCC特征图]按钮和[原始波形图]按钮以显示保存到本地的图像;单击[标注文本]按钮,显示对应标注文件的文本;单击[识别结果]按钮,进行预测,显示预测的文本结果。
在这里插入图片描述

图6 语言识别初始界面

界面从上至下分别是文本提示语、按钮和文本框。根据文本提示,单击[选取语音文件]按钮,随机选择本次进行语音识别的文件,文本框中输出该文件路径;单击[保存对应MFCC特征图及原始波形图]按钮,保存对应图像到本地后;单击| [MFCC特征图]和[原始波形图]按钮以显示保存到本地的图像;单击[标注类别]按钮,显示文件对应的所属类别;单击[识别类别]按钮,进行预测,显示预测的类别结果。

在这里插入图片描述

图7 方言分类初始界面

2.测试效果

图形用户界面的语音识别测试结果如图所示。

在这里插入图片描述

图形用户界面的方言分类测试结果如图所示。

在这里插入图片描述

工程源代码下载

详见本人博客资源下载页


其它资料下载

如果大家想继续了解人工智能相关学习路线和知识体系,欢迎大家翻阅我的另外一篇博客《重磅 | 完备的人工智能AI 学习——基础知识学习路线,所有资料免关注免套路直接网盘下载》
这篇博客参考了Github知名开源平台,AI技术平台以及相关领域专家:Datawhale,ApacheCN,AI有道和黄海广博士等约有近100G相关资料,希望能帮助到所有小伙伴们。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/784230.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringCloud是SpringBoot 的升级版吗?有什么区别?

目录 一、什么是SpringBoot 二、什么是SpringCloud 三、SpringCloud是SpringBoot 的升级版吗 四、SpringCloud和SpringBoot 有什么区别 一、什么是SpringBoot Spring Boot是一种用于快速构建基于Spring框架的Java应用程序的开发框架。它简化了Spring应用程序的配置和部署过…

超详细图文教程:3DS Max 中创建低多边形游戏长剑模型-下部

推荐: NSDT场景编辑器助你快速搭建可二次开发的3D应用场景 在由两部分组成的教程的第一部分中,我向您展示了如何: 剑柄建模为剑的护手建模剑刃建模 在本教程系列的第二部分中,我将向您展示如何: 打开紫外线包装创建…

【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南(基础功能分析)

探究Redis服务启动的过程机制的技术原理和流程分析的指南 Redis基本概念Redis特点说明 Redis源码结构Redis功能架构Redis启动流程初始化全局服务器配置源码分析分析说明initServerConfig方法初始化的内容保存机制的初始化策略优化的初始化策略 指定配置文件加载配置文件默认的数…

【每日运维】RockyLinux8非容器化安装Mysql、Redis、RabitMQ单机环境

系统版本:RockyLinux 8.6 安装方式:非容器化单机部署 安装版本:mysql 8.0.32 redis 6.2.11 rabbitmq 3.11.11 elasticsearch 6.7.1 前置条件:时间同步、关闭selinux、主机名、主机解析host 环境说明:PC电脑VMware Work…

Hadoop生态体系-HDFS

目录标题 1、Apache Hadoop2、HDFS2.1 设计目标:2.2 特性:2.3 架构2.4 注意点2.5 HDFS基本操作2.5.1 shell命令选项2.5.2 shell常用命令介绍 3、HDFS基本原理3.1 NameNode 概述3.2 Datanode概述 1、Apache Hadoop Hadoop:允许使用简单的编程…

webpack require.context

require.context((directory: String),(includeSubdirs: Boolean) /* 可选的,默认值是 true */,(filter: RegExp) /* 可选的,默认值是 /^\.\/.*$/,所有文件 */,(mode: String) /* 可选的, sync | eager | weak | lazy | lazy-onc…

【C#】使用this进行扩展方法以及静态类和静态成员

2023年,第30周,第2篇文章。给自己一个目标,然后坚持总会有收货,不信你试试! 本篇文章主要简单讲讲,使用this进行扩展方法以及静态类和静态成员 目录 一、this扩展1、扩展条件2、举例代码 二、静态知识点1、…

【Linux网络】 网络套接字(三)socket编程_TCP网络程序

目录 TCP网络程序服务端创建套接字并绑定服务端监听服务端获取连接服务器处理请求 客户端客户端创建套接字客户端连接服务器客户端发起请求测试 服务器存在的问题多进程版的TCP网络程序多线程版的TCP网络程序线程池版的TCP网络程序 TCP网络程序总结图 TCP网络程序 服务端 创建…

一站式财务管家工具:Zoho Books审批功能详细介绍

Zoho Books作为一款功能强大的财务管理软件,提供了多种实用的功能,其中审批流程是非常重要的一个。那么,Zoho Books的审批功能是如何实现的呢?本文将为您详细介绍。 1. 什么是审批功能 审批是企业内部重要业务流程中的前置环节&a…

华为数通HCIP-OSPF基础

路由协议 作用:用于路由设备学习非直连路由; 动态路由协议:使路由设备自动学习到非直连路由; 分类: 按照算法分类: 1、距离矢量路由协议;(RIP、BGP) 只交互路由信息…

基于FPGA实现OSD功能

简介 基于FPGA平台实现简单的OSD的功能,对于FPGA实现OSD只能实行简单的画框和文字叠加,如果实现复杂的车道线画框,则没法实现(起码我个人感觉,这个功能没有思路执行)。 FPGA实现OSD功能需要7系列平台,以及VDMA、OSD等Xilinx公司的IP使用(本功能工程采用Vivado2017.4平台…

windows关闭某个进程

一、使用命令 (1)winR键打开命令提示符,输入cmd (2)输入netstat -ano (3)输入taskkill /f /pid 进程ID。例如:taskkill /f /pid 19216 如果成功终止的话,会出现成功&…

Vue+Nodejs 使用WebSocket创建一个简易聊天室

文章目录 一、页面效果二、架构流程三、技术细节1.客户端2. 服务端 一、页面效果 二、架构流程 使用vue编写前端页面&#xff0c;nodejs处理服务端消息&#xff0c;WebSocket进行实时通信 三、技术细节 1.客户端 <template><div><form onsubmit"return…

Ubuntu录屏软件Kazam

1. 安装 1.1. 桌面右键“打开终端” 1.2. 安装kazam这款软件。 sudo apt-get install kazam 2. 使用 2.1. 安装后打开&#xff0c;我们看看这款软件界面还是很友好很简洁的。 2.2. 除了录像我们还可以截图&#xff0c;也可以选择全屏、窗口、区域的方式录制。 2.3. 如果要录…

Hybird app 热更新工作原理

大家对于原生应用和混合应用已经非常熟悉了&#xff0c;这里就不再进行详细的介绍&#xff0c;用通俗易懂的话解释下他们的一些特点。 1、原生应用 在 Android、iOS 等移动平台上利用提供的开发语言、开发类库、开发工具进行 App 软件开发。比如 Android 是用 Java、Eclipse、…

改进的北方苍鹰算法优化VMD参数,最小包络熵、样本熵、信息熵、排列熵(适应度函数可自行选择,一键修改)包含MATLAB源代码...

今天给大家带来一期由改进的北方苍鹰算法(SCNGO)优化VMD的两个参数。 同样以西储大学数据集为例&#xff0c;选用105.mat中的X105_BA_time.mat数据中1000个数据点。没有数据的看这篇文章。西储大学轴承诊断数据处理&#xff0c;matlab免费代码获取 选取四种适应度函数进行优化&…

【开发问题】flink-cdc不用数据库之间的,不同类型的转化

不同的数据库之期间数据类型转化 问题来源与原因解决过程&#xff0c;思路错误&#xff0c;导致各种错误错误思路是什么 正确解决方式&#xff0c;找官网对应的链接器&#xff0c;数据转化 问题来源与原因 我一开始是flink-cdc&#xff0c;oracle2Mysql&#xff0c;sql 我一开…

Hygon海光电脑:window无法对计算机进行,windows无法对计算机进行启动到下一个安装阶段怎么办...

海光CPU电脑安装第2个系统&#xff0c;Windows10LTSC&#xff0c;U盘引导顺利&#xff0c;安装顺利&#xff0c;在最后一步时出错&#xff1a;。 出错提示 Windows10安装过程中提示&#xff1a; windows无法对计算机进行启动到下一个安装阶段的准备。要安装Windows&#xff0…

时空复杂度详解

&#x1f493;博主个人主页:不是笨小孩&#x1f440; ⏩专栏分类:数据结构与算法&#x1f440; &#x1f69a;代码仓库:笨小孩的代码库&#x1f440; ⏩社区&#xff1a;不是笨小孩&#x1f440; &#x1f339;欢迎大家三连关注&#xff0c;一起学习&#xff0c;一起进步&#…

【CAS6.6源码解析】调试Rest API接口

CAS的web层默认是基于webflow实现的&#xff0c;ui和后端是耦合在一起的&#xff0c;做前后端分离调用和调试的时候不太方便。但是好在CAS已经添加了支持Rest API的support模块&#xff0c;添加相应模块即可。 文章目录 添加依赖并重新build效果 添加依赖并重新build 具体添加…