功能实现,将长文本分段实时转成音频流,达到边转换边播放的效果,减少等待效果,像豆包通义千问chatgpt差不多也是这样实现的,
下面的效果展示
20240930_084035_哔哩哔哩_bilibili【原创】基于websocket的实时文本转语音功能功能实现,将长文本分段实时转成音频流,达到边转换边播放的效果,减少等待效果,像豆包通义千问chatgpt的app差不多也是这样实现的,, 视频播放量 0、弹幕量 0、点赞数 0、投硬币枚数 0、收藏人数 0、转发人数 0, 视频作者 三哥的锅, 作者简介 三块钱,三哥,三哥的锅,qq364345866,相关视频:ESP-AI 官方固件烧录(零代码/不搞环境配置/不下载包),带有情绪控制的TTS文字转语音软件EmotiVoice整合包下载,免费文本转语音工具,用 llama3 和 whisper 大模型搭建语音助手, 使用whisper.cpp项目及C++调用Windows原生tts_科技杂谈,ESP-AI 内测版抢先体验(ESP32 最强AI对话助手),免费配音工具:不限制字数,稳定自用,文字转语音,配音新选择!,ESP-AI开发者平台服务配置教程(小白一样玩转智能助手 硬件+软件),天问 asrpro 唤醒 ESP-AI教程,【AI主播-TTS篇】对接 CosyVoice API Win 0819,整体很简单,懂得不看也没啥问题,【开源项目】Mini-Omni 一个开源的多模态大型语言模型,可以边听边说边思考。具有实时端到端语音输入和流式音频输出会话功能。,【AI主播-TTS篇】对接 GPT-SOVITS V2 API,使用整合包版本为0821,版本不同导致的接口不一致问题可以自行修改适配,也可以下单定制https://www.bilibili.com/video/BV1gCxmegE5x/
Z:\026-实时语音转文字>python ss实时播放.py
{'event': 'sentence_start', 'sentence_start_result': {'readable_text': '财联社9月28日电,2024清华五道口首席经济学家论坛于9月28日在北京举行。'}, 'code': 0, 'message': ''}
{'event': 'sentence_end', 'code': 0, 'message': ''}
{'event': 'sentence_start', 'sentence_start_result': {'readable_text': '中国人民银行调查统计司原司长盛松成建议,降低中低收入群体个税。'}, 'code': 0, 'message': ''}
{'event': 'sentence_end', 'code': 0, 'message': ''}
{'event': 'sentence_start', 'sentence_start_result': {'readable_text': '提高个税起征点和调降中低收入税率。'}, 'code': 0, 'message': ''}
{'event': 'sentence_end', 'code': 0, 'message': ''}
{'event': 'sentence_start', 'sentence_start_result': {'readable_text': '“短期内虽然会减少税收,但从长期看,随着经济增长和居民收入提高,税收收入也 将增加”,他说。'}, 'code': 0, 'message': ''}
{'event': 'sentence_end', 'code': 0, 'message': ''}
{'event': 'sentence_start', 'sentence_start_result': {'readable_text': '第一,盛松成提出,提高个税起征点至8000元/月,据其测算,税收每年减少约300亿 元,这仅为2023年税收总额的0.17%。'}, 'code': 0, 'message': ''}
{'event': 'sentence_end', 'code': 0, 'message': ''}
{'event': 'sentence_start', 'sentence_start_result': {'readable_text': '“对财政没有多大影响的,但是这个钱是实实在在的低收入人群的收入,对促进消费 是特别有益的”。'}, 'code': 0, 'message': ''}
{'event': 'sentence_end', 'code': 0, 'message': ''}
{'event': 'sentence_start', 'sentence_start_result': {'readable_text': '第二,调降中低收入税率方面,盛松成建议,年收入10万-35万元个税税率降低5个百 分点,目前年收入10万-20万、20万-35万分别按10%和20%的税率累进征收个税,建议分别下降至5%和15%。'}, 'code': 0, 'message': ''}
{'event': 'sentence_end', 'code': 0, 'message': ''}
{'event': '', 'code': 710010701, 'message': 'connection timeout'}
An error occurred: received 1000 (OK); then sent 1000 (OK)
import asyncio
import websockets
import json
from pydub import AudioSegment
from pydub.playback import play
from io import BytesIO
import re
# 自定义请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 SamanthaDoubao/1.25.3",
"Origin": "chrome-extension://obk*****",
"Sec-WebSocket-Key": "*****==",
"Sec-WebSocket-Extensions": "permessage-deflate; client_max_window_bits",
"Cookie": "******"
}
# 使用 pydub 从内存流中播放音频
async def play_audio_stream(audio_data):
try:
audio = AudioSegment.from_file(BytesIO(audio_data), format="aac")
play(audio)
except Exception as e:
print(f"Error playing audio: {e}")
async def tts_by(text):
buffer = bytearray() # 缓冲区
playing = False # 播放状态
finish_received = False # 标记是否收到了 finish
connection_closed = False # 标记 WebSocket 是否关闭
async def play_buffer():
nonlocal playing
while True:
if len(buffer) > 0:
await play_audio_stream(buffer)
buffer.clear() # 清空缓冲区
playing = False # 标记播放完成
await asyncio.sleep(0.1) # 控制播放的检查频率
def split_text(text):
# 基于标点符号的分段逻辑
return re.split(r'(?<=[。!?;])', text)
text_parts = split_text(text) # 将文本按标点符号分段
part_index = 0 # 当前发送的段落索引
try:
async with websockets.connect('wss://wss.******.com/', extra_headers=headers) as websocket:
# 启动播放任务
asyncio.create_task(play_buffer())
# 循环发送每段文字
while part_index < len(text_parts) and not connection_closed:
payload = {
"event": "text", "text": text_parts[part_index]
}
await websocket.send(json.dumps(payload))
part_index += 1
while True:
response = await websocket.recv()
if isinstance(response, str):
json_data = json.loads(response)
print(json_data)
if json_data.get('event') == 'sentence_start': # 收到句子开始信号
continue
elif json_data.get('event') == 'sentence_end': # 收到句子结束信号
playing = True # 准备播放音频
break # 发送下一段文字
elif json_data.get('event') == 'finish': # 所有文本发送和处理完成
finish_received = True
break
else:
buffer.extend(response) # 收到音频数据,添加到缓冲区
# 所有文本发送完毕,等待 'finish' 信号
while not finish_received and not connection_closed:
response = await websocket.recv()
if isinstance(response, str):
json_data = json.loads(response)
if json_data.get('event') == 'finish':
finish_received = True
elif json_data.get('code') == 1000: # WebSocket 正常关闭
connection_closed = True
else:
buffer.extend(response)
# 等待播放缓冲区中的剩余音频数据
while len(buffer) > 0:
await asyncio.sleep(0.1)
except Exception as e:
print(f"An error occurred: {e}")
# 运行 WebSocket 请求
asyncio.run(tts_by("财联社9月28日电,2024清华五道口首席经济学家论坛于9月28日在北京举行。中国人民银行调查统计司原司长盛松成建议,降低中低收入群体个税。提高个税起征点和调降中低收入税率。“短期内虽然会减少税收,但从长期看,随着经济增长和居民收入提高,税收收入也将增加”,他说。第一,盛松成提出,提高个税起征点至8000元/月,据其测算,税收每年减少约300亿元,这仅为2023年税收总额的0.17%。“对财政没有多大影响的,但是这个钱是实实在在的低收入人群的收入,对促进消费是特别有益的”。第二,调降中低收入税率方面,盛松成建议,年收入10万-35万元个税税率降低5个百分点,目前年收入10万-20万、20万-35万分别按10%和20%的税率累进征收个税,建议分别下降至5%和15%。"))
全部代码由chatgpt完成