文章目录
- 文本转语音音频
- 第一步:讯飞平台的注册
- 第二步:导入程序所需要的依赖库
- 第二步:websocket对象类的初始化
- 第三步:websocket建立连接后的函数
- 第四步:websocket数据返回结果的处理函数
- 第五步:pcm音频转换为wav音频
- 整合并运行
- 完整代码
文本转语音音频
程序为python程序,通过讯飞语音开放平台将输入的文本转换为wav音频文件。
第一步:讯飞平台的注册
1.注册讯飞平台账号讯飞官网网址。
2.打开讯飞控制台。
3.点击“创建新应用”。
4.输入“应用名称”,“应用分类”,“应用功能描述”(这些都是自定义的)。
5.创建成功后,记住“APPID”,“APISecret”,“APIKey”这三个关键。
第二步:导入程序所需要的依赖库
import websocket
import datetime
import hashlib
import base64
import hmac
import json
from urllib.parse import urlencode
import time
import ssl
from wsgiref.handlers import format_date_time
from datetime import datetime
from time import mktime
import _thread as thread
import os
import wave
如果有没有的依赖库,通过pip在Anaconda的配置虚拟环境进行依赖库的下载。
例如:
pip install websockets
第二步:websocket对象类的初始化
此类包含讯飞连接对象的初始化(包括APPID,APIKey,APISecret),还有输入转换语音音频的中文文本;初始化讯飞连接的url。
这些都是固定的参数,无需必要的修改。
class Ws_Param(object):
# 初始化
def __init__(self, APPID, APIKey, APISecret, Text):
self.APPID = APPID
self.APIKey = APIKey
self.APISecret = APISecret
self.Text = Text
# 公共参数(common)
self.CommonArgs = {"app_id": self.APPID}
# 业务参数(business),更多个性化参数可在官网查看
self.BusinessArgs = {"aue": "raw", "auf": "audio/L16;rate=16000", "vcn": "xiaoyan", "tte": "utf8"}
self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-8')), "UTF8")}
# 使用小语种须使用以下方式,此处的unicode指的是 utf16小端的编码方式,即"UTF-16LE"”
# self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-16')), "UTF8")}
# 生成url
def create_url(self):
url = 'wss://tts-api.xfyun.cn/v2/tts'
# 生成RFC1123格式的时间戳
now = datetime.now()
date = format_date_time(mktime(now.timetuple()))
# 拼接字符串
signature_origin = "host: " + "ws-api.xfyun.cn" + "\n"
signature_origin += "date: " + date + "\n"
signature_origin += "GET " + "/v2/tts " + "HTTP/1.1"
# 进行hmac-sha256进行加密
signature_sha = hmac.new(self.APISecret.encode('utf-8'), signature_origin.encode('utf-8'),
digestmod=hashlib.sha256).digest()
signature_sha = base64.b64encode(signature_sha).decode(encoding='utf-8')
authorization_origin = "api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"" % (
self.APIKey, "hmac-sha256", "host date request-line", signature_sha)
authorization = base64.b64encode(authorization_origin.encode('utf-8')).decode(encoding='utf-8')
# 将请求的鉴权参数组合为字典
v = {
"authorization": authorization,
"date": date,
"host": "ws-api.xfyun.cn"
}
# 拼接鉴权参数,生成url
url = url + '?' + urlencode(v)
# print("date: ",date)
# print("v: ",v)
# 此处打印出建立连接时候的url,参考本demo的时候可取消上方打印的注释,比对相同参数时生成的url与自己代码生成的url是否一致
# print('websocket url :', url)
return url
第三步:websocket建立连接后的函数
此函数是建立websocket连接后运行的函数,对对象数据加载后,将对象data转换我json格式发送到讯飞平台进行消息处理。
需要更改的参数:pcm音频路径(通过讯飞平台处理后,返回的pcm音频保存路径)。
# 收到websocket连接建立的处理
def on_open(ws):
def run(*args):
d = {"common": wsParam.CommonArgs,
"business": wsParam.BusinessArgs,
"data": wsParam.Data,
}
d = json.dumps(d)
print("------>开始发送文本数据")
ws.send(d)
if os.path.exists('../dataset/audio_pcm/demo3.pcm'):
os.remove('../dataset/audio_pcm/demo3.pcm')
thread.start_new_thread(run, ())
第四步:websocket数据返回结果的处理函数
三个函数的作用:websocket消息正确处理;websocket异常处理;websocket关闭处理。
on_message函数需要更改的参数:pcm音频路径(通过讯飞平台处理后,返回的pcm音频保存路径)。
def on_message(ws, message):
try:
message = json.loads(message)
code = message["code"]
sid = message["sid"]
audio = message["data"]["audio"]
audio = base64.b64decode(audio)
status = message["data"]["status"]
print(message)
if status == 2:
print("ws is closed")
ws.close()
if code != 0:
errMsg = message["message"]
print("sid:%s call error:%s code is:%s" % (sid, errMsg, code))
else:
with open('../dataset/audio_pcm/demo3.pcm', 'ab') as f:
f.write(audio)
except Exception as e:
print("receive msg,but parse exception:", e)
# 收到websocket错误的处理
def on_error(ws, error):
print("### error:", error)
# 收到websocket关闭的处理
def on_close(ws):
print("### closed ###")
第五步:pcm音频转换为wav音频
pcm2wav函数参数:需要传入的pcm音频文件路径,需要保存wav音频文件路径,其他参数无需改动。
def pcm2wav(pcm_file, wav_file, channels=1, bits=16, sample_rate=16000):
# 打开 PCM 文件
pcmf = open(pcm_file, 'rb')
pcmdata = pcmf.read()
pcmf.close()
# 打开将要写入的 WAVE 文件
wavfile = wave.open(wav_file, 'wb')
# 设置声道数
wavfile.setnchannels(channels)
# 设置采样位宽
wavfile.setsampwidth(bits // 8)
# 设置采样率
wavfile.setframerate(sample_rate)
# 写入 data 部分
wavfile.writeframes(pcmdata)
wavfile.close()
整合并运行
- 需要将讯飞平台的APPID,APISecret,APIKey以及要转换的中文文本Text,这四个参数输入。
- 更改pcm2wav函数的参数中你的pcm文件保存路径和wav音频文件路径。
if __name__ == "__main__":
# 测试时候在此处正确填写相关信息即可运行
wsParam = Ws_Param(APPID='5d27dbc6', APISecret='ZTQ5NTAwZTk0YzQ5MDdhNWViZjcyYjVh',
APIKey='d61163a9bdb5d0a0508f98dee66e0383',
Text="机器人把书桌清理一下")
websocket.enableTrace(False)
wsUrl = wsParam.create_url()
ws = websocket.WebSocketApp(wsUrl, on_message=on_message, on_error=on_error, on_close=on_close)
ws.on_open = on_open
ws.run_forever(sslopt={"cert_reqs": ssl.CERT_NONE})
pcm2wav("../dataset/audio_pcm/demo3.pcm", "../dataset/audio/demo3.wav")
此时,可以运行完整代码。
完整代码
import websocket
import datetime
import hashlib
import base64
import hmac
import json
from urllib.parse import urlencode
import time
import ssl
from wsgiref.handlers import format_date_time
from datetime import datetime
from time import mktime
import _thread as thread
import os
import wave
STATUS_FIRST_FRAME = 0 # 第一帧的标识
STATUS_CONTINUE_FRAME = 1 # 中间帧标识
STATUS_LAST_FRAME = 2 # 最后一帧的标识
class Ws_Param(object):
# 初始化
def __init__(self, APPID, APIKey, APISecret, Text):
self.APPID = APPID
self.APIKey = APIKey
self.APISecret = APISecret
self.Text = Text
# 公共参数(common)
self.CommonArgs = {"app_id": self.APPID}
# 业务参数(business),更多个性化参数可在官网查看
self.BusinessArgs = {"aue": "raw", "auf": "audio/L16;rate=16000", "vcn": "xiaoyan", "tte": "utf8"}
self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-8')), "UTF8")}
# 使用小语种须使用以下方式,此处的unicode指的是 utf16小端的编码方式,即"UTF-16LE"”
# self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-16')), "UTF8")}
# 生成url
def create_url(self):
url = 'wss://tts-api.xfyun.cn/v2/tts'
# 生成RFC1123格式的时间戳
now = datetime.now()
date = format_date_time(mktime(now.timetuple()))
# 拼接字符串
signature_origin = "host: " + "ws-api.xfyun.cn" + "\n"
signature_origin += "date: " + date + "\n"
signature_origin += "GET " + "/v2/tts " + "HTTP/1.1"
# 进行hmac-sha256进行加密
signature_sha = hmac.new(self.APISecret.encode('utf-8'), signature_origin.encode('utf-8'),
digestmod=hashlib.sha256).digest()
signature_sha = base64.b64encode(signature_sha).decode(encoding='utf-8')
authorization_origin = "api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"" % (
self.APIKey, "hmac-sha256", "host date request-line", signature_sha)
authorization = base64.b64encode(authorization_origin.encode('utf-8')).decode(encoding='utf-8')
# 将请求的鉴权参数组合为字典
v = {
"authorization": authorization,
"date": date,
"host": "ws-api.xfyun.cn"
}
# 拼接鉴权参数,生成url
url = url + '?' + urlencode(v)
# print("date: ",date)
# print("v: ",v)
# 此处打印出建立连接时候的url,参考本demo的时候可取消上方打印的注释,比对相同参数时生成的url与自己代码生成的url是否一致
# print('websocket url :', url)
return url
def on_message(ws, message):
try:
message = json.loads(message)
code = message["code"]
sid = message["sid"]
audio = message["data"]["audio"]
audio = base64.b64decode(audio)
status = message["data"]["status"]
print(message)
if status == 2:
print("ws is closed")
ws.close()
if code != 0:
errMsg = message["message"]
print("sid:%s call error:%s code is:%s" % (sid, errMsg, code))
else:
with open('../dataset/audio_pcm/demo3.pcm', 'ab') as f:
f.write(audio)
except Exception as e:
print("receive msg,but parse exception:", e)
# 收到websocket错误的处理
def on_error(ws, error):
print("### error:", error)
# 收到websocket关闭的处理
def on_close(ws):
print("### closed ###")
# 收到websocket连接建立的处理
def on_open(ws):
def run(*args):
d = {"common": wsParam.CommonArgs,
"business": wsParam.BusinessArgs,
"data": wsParam.Data,
}
d = json.dumps(d)
print("------>开始发送文本数据")
ws.send(d)
if os.path.exists('../dataset/audio_pcm/demo3.pcm'):
os.remove('../dataset/audio_pcm/demo3.pcm')
thread.start_new_thread(run, ())
def pcm2wav(pcm_file, wav_file, channels=1, bits=16, sample_rate=16000):
# 打开 PCM 文件
pcmf = open(pcm_file, 'rb')
pcmdata = pcmf.read()
pcmf.close()
# 打开将要写入的 WAVE 文件
wavfile = wave.open(wav_file, 'wb')
# 设置声道数
wavfile.setnchannels(channels)
# 设置采样位宽
wavfile.setsampwidth(bits // 8)
# 设置采样率
wavfile.setframerate(sample_rate)
# 写入 data 部分
wavfile.writeframes(pcmdata)
wavfile.close()
if __name__ == "__main__":
# 测试时候在此处正确填写相关信息即可运行
wsParam = Ws_Param(APPID='5d27dbc6', APISecret='ZTQ5NTAwZTk0YzQ5MDdhNWViZjcyYjVh',
APIKey='d61163a9bdb5d0a0508f98dee66e0383',
Text="机器人把书桌清理一下")
websocket.enableTrace(False)
wsUrl = wsParam.create_url()
ws = websocket.WebSocketApp(wsUrl, on_message=on_message, on_error=on_error, on_close=on_close)
ws.on_open = on_open
ws.run_forever(sslopt={"cert_reqs": ssl.CERT_NONE})
pcm2wav("../dataset/audio_pcm/demo3.pcm", "../dataset/audio/demo3.wav")