讯飞语音听写WebApi(流式)【React Native版】

news2024/12/27 12:45:11

假设已有 Base64 编码的音频文件(16kHz, s16le, pcm)

1、获取websocket url

import * as CryptoJS from 'crypto-js';

/**
 * 获取websocket url
 */
const getWebSocketUrl = () => {
	const config = {
		// 请求地址
		hostUrl: "wss://iat-api.xfyun.cn/v2/iat",
		host: "iat-api.xfyun.cn",
		//在控制台-我的应用-语音听写(流式版)获取
		appid: '',
		apiSecret: '',  // 替换为你的 APISecret
		apiKey: '',		// 替换为你的 APIKey
		file: "./16k_10.pcm", //请填写您的音频文件路径
		uri: "/v2/iat",
		highWaterMark: 1280
	}
	const date = new Date().toUTCString()
	// 鉴权签名
	let signatureOrigin = `host: ${config.host}\ndate: ${date}\nGET ${config.uri} HTTP/1.1`
	let signatureSha = CryptoJS.HmacSHA256(signatureOrigin, config.apiSecret);
	let signature = CryptoJS.enc.Base64.stringify(signatureSha)
	let authorizationOrigin = `api_key="${config.apiKey}", algorithm="hmac-sha256", headers="host date request-line", signature="${signature}"`
	let authStr = CryptoJS.enc.Base64.stringify(CryptoJS.enc.Utf8.parse(authorizationOrigin))
	let wssUrl = `${config.hostUrl}?authorization=${authStr}&date=${encodeURIComponent(date).replace(/%2C/g, ',').replace(/%3A/g, ':')}&host=${config.host}`

	return wssUrl
}

2、建立连接并发送数据

需要注意的是如果 base64 数据很大不能一次发送完成,就需要将 base64 重新转为二进制数据后按需要的大小切割,然后将切割后的二进制片段再重新转为 base64 编码后发送,否则服务端无法正确读取数据。

import { Buffer } from 'buffer'; // 导入 Buffer

// 如果有socket地址
const url = getWebSocketUrl();
const ws = new WebSocket(url);
ws.onopen = () => {
	console.log("🚀 ~ 连接成功")
	const params = {
		common: { app_id: '' },//appId
		business: {
			language: "zh_cn",
			domain: "iat",
			accent: "mandarin",
			vad_eos: 5000,
			dwa: "wpgs",
		},
		data: {
			status: 0,
			format: "audio/L16;rate=16000",
			encoding: "raw",
		},
	};
	ws.send(JSON.stringify(WebApiSocketStore.params));

	try {
		// 解码 Base64 字符串为二进制数据
		const audioPcmData = Buffer.from(data.base64Pcm, 'base64');

		let offset = 0;
		while (offset < audioPcmData.length) {
			const subString = audioPcmData.slice(offset, offset + 1280)
			offset += 1280
			const isEnd = offset >= audioPcmData.length;

			const btoa = Buffer.from(subString, 'utf-8').toString('base64');

			const dataAudio = JSON.stringify({
				data: {
					status: isEnd ? 2 : 1,
					format: "audio/L16;rate=16000",
					encoding: "raw",
					audio: `${btoa}`, // 将二进制字符串转换为 Base64
				},
			})
			ws?.send(dataAudio);
		}
	} catch (error) {
		console.log('🚀 ~ Error reading file:', error);
	}
};
ws.onmessage = (e) => {
	// a message was received
	console.log("🚀 ~ e.data:", e.data)
	const jsonData = JSON.parse(e?.data || {});
	// 处理返回结果
	renderResult(e?.data || {});

	if (jsonData.code === 0 && jsonData.data.status === 2) {
		setVoiceText(resultText.current);
		ws.close();
	}
	if (jsonData.code !== 0) {
		ws.close();
	}
};

ws.onerror = (e) => {
	// an error occurred
	console.log("🚀 ~ e.error", e.message)
};

ws.onclose = (e) => {
	// connection closed
	console.log("🚀 ~ e.code:", e.code, e.reason)
};

3、处理语音返回结果

const resultText = React.useRef<string>('');
const resultTextTemp = React.useRef<string>('');
// 识别结束 处理返回结果
const renderResult = (resultData: string) => {
	let jsonData = JSON.parse(resultData);
	if (jsonData.data && jsonData.data.result) {
		let data = jsonData.data.result;
		let str = "";
		let { ws } = data;
		for (let i = 0; i < ws.length; i++) {
			str = str + ws[i].cw[0].w;
		}
		// 开启wpgs会有此字段(前提:在控制台开通动态修正功能)
		// 取值为 "apd"时表示该片结果是追加到前面的最终结果;取值为"rpl" 时表示替换前面的部分结果,替换范围为rg字段
		if (data.pgs) {
			if (data.pgs === "apd") {
				// 将resultTextTemp同步给resultText
				resultText.current = resultTextTemp.current;
			}
			// 将结果存储在resultTextTemp中
			resultTextTemp.current = resultText.current + str;
		} else {
			resultText.current = resultText.current + str;
		}
	}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2266393.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

FPGA自学之路:到底有多崎岖?

FPGA&#xff0c;即现场可编程门阵列&#xff0c;被誉为硬件世界的“瑞士军刀”&#xff0c;其灵活性和可编程性让无数开发者为之倾倒。但谈及FPGA的学习难度&#xff0c;不少人望而却步。那么&#xff0c;FPGA自学之路到底有多崎岖呢&#xff1f; 几座大山那么高&#xff1f;…

两分钟掌握 TDengine 全部写入方式

1. 背景 TDengine 写入过程会涉及很多概念&#xff0c;这些概念目前你是不是还一团乱&#xff0c;参数绑定写入、无模式写入、websocket 写入、RESTFUL 写入 、各种连接器写入等等一堆的写入&#xff0c;都是做什么的&#xff0c;不明白&#xff0c;这里花两分钟时间给你彻底整…

GJB289A总线典型网络理论分析

1.GJB289A总线典型网络理论分析 根据相关标准&#xff0c;“某个支路的故障不影响整个系统”及耦合变压器特性&#xff0c;本文在仿真与实测时均采用典型的一发一收两端口总线网络。 典型两端口总线网络电气结构如图1所示&#xff0c;包含终端匹配电阻、故障隔离电阻、耦合变…

BLE core 内容整理解释

本文内容比较杂散&#xff0c;只是做记录使用&#xff0c;后续会整理的有条理些 link layer 基本介绍 **Link Layer Control&#xff08;链路层控制&#xff09;**是蓝牙低功耗&#xff08;BLE&#xff09;协议栈的核心部分&#xff0c;负责实现设备间可靠、安全、低功耗的数…

DP动态规划+贪心题目汇总

文章目录 背包01背包416. 分割等和子集 完全背包279. 完全平方数322. 零钱兑换 两个字符串DPLCR 095. 最长公共子序列139. 单词拆分 单个数组字符串DP5. 最长回文子串300. 最长递增子序列53.最大子数组和152. 乘积最大子数组198. 打家劫舍 三角形120. 三角形最小路径和 贪心121…

传统网络架构与SDN架构对比

传统网络采用分布式控制&#xff0c;每台设备独立控制且管理耗时耗力&#xff0c;扩展困难&#xff0c;按 OSI 模型分层&#xff0c;成本高、业务部署慢、安全性欠佳且开放性不足。而 SDN 架构将控制平面集中到控制器&#xff0c;数据转发由交换机负责&#xff0c;可统一管理提…

CI/CD是什么?

CI/CD 定义 CI/CD 代表持续集成和持续部署&#xff08;或持续交付&#xff09;。它是一套实践和工具&#xff0c;旨在通过自动化构建、测试和部署来改进软件开发流程&#xff0c;使您能够更快、更可靠地交付代码更改。 持续集成 (CI)&#xff1a;在共享存储库中自动构建、测试…

Vue中动态样式绑定+CSS变量实现切换明暗主题功能——从入门到进阶

1.直接借助Vue的动态绑定样式绑定 Vue动态样式绑定 在Vue中&#xff0c;动态样式绑定是一种强大的功能&#xff0c;它允许开发者根据数据的变化动态地更新元素的样式。以下是对Vue动态样式绑定的详细知识梳理与详解&#xff1a; 一、基础知识 Vue的动态样式绑定主要通过v-b…

科汛网校KesionEDU CheckOrder SQL注入漏洞复现

0x01 产品简介 科汛网校KesionEDU是KESION科汛开发的在线教育建站系统,支持在线直播教学、课程点播、录播授课等多种教学方式,满足不同场景下的教学需求。提供问答互动、学习点评、在线笔记等功能,增强学员与教师之间的互动交流。拥有在线考试系统,支持单选、多选、问答等…

Windows Subsystem for Linux——设置默认登录用户名

大纲 问题解法 问题 在《Windows Subsystem for Linux——安装多个相同的操作系统》一文中&#xff0c;我们实现了子系统的导出和导入&#xff0c;但是也带来了一个问题&#xff1a;登录到系统时&#xff0c;会使用root用户。在一些场景下&#xff0c;这并不符合我们的使用场景…

【编译原理】往年题汇总(山东大学软件学院用)

&#x1f308; 个人主页&#xff1a;十二月的猫-CSDN博客 &#x1f525; 系列专栏&#xff1a; &#x1f3c0;编译原理_十二月的猫的博客-CSDN博客 &#x1f4aa;&#x1f3fb; 十二月的寒冬阻挡不了春天的脚步&#xff0c;十二点的黑夜遮蔽不住黎明的曙光 目录 1. 前言 2. …

智慧农业物联网传感器:开启农业新时代

在当今科技飞速发展的时代&#xff0c;农业领域正经历着一场前所未有的变革&#xff0c;而智慧农业物联网传感器无疑是这场变革中的关键利器。它宛如农业的 “智慧大脑”&#xff0c;悄然渗透到农业生产的各个环节&#xff0c;为传统农业注入了全新的活力&#xff0c;让农业生产…

观察者模式和发布-订阅模式有什么异同?它们在哪些情况下会被使用?

大家好&#xff0c;我是锋哥。今天分享关于【观察者模式和发布-订阅模式有什么异同&#xff1f;它们在哪些情况下会被使用&#xff1f;】面试题。希望对大家有帮助&#xff1b; 观察者模式和发布-订阅模式有什么异同&#xff1f;它们在哪些情况下会被使用&#xff1f; 1000道 …

C# OpenCvSharp DNN 卡证检测矫正

目录 说明 效果 模型 项目 代码 下载 参考 说明 源码地址&#xff1a;https://modelscope.cn/models/iic/cv_resnet_carddetection_scrfd34gkps 在实人认证、文档电子化等场景中需要自动化提取卡证的信息&#xff0c;以便进一步做录入处理。这类场景通常存在两类问题&…

前端入门之VUE--ajax、vuex、router,最后的前端总结

前言 VUE是前端用的最多的框架&#xff1b;这篇文章是本人大一上学习前端的笔记&#xff1b;欢迎点赞 收藏 关注&#xff0c;本人将会持续更新。本人不是学前端的&#xff0c;这个是大一的时候上学的和做的笔记&#xff0c;那个时候学的也蒙&#xff0c;故这里对前端做一个总…

要查询 `user` 表中 `we_chat_subscribe` 和 `we_chat_union_id` 列不为空的用户数量

文章目录 1、we_chat_subscribe2、we_chat_union_id 1、we_chat_subscribe 要查询 user 表中 we_chat_subscribe 列不为空的用户数量&#xff0c;你可以使用以下 SQL 查询语句&#xff1a; SELECT COUNT(*) FROM user WHERE we_chat_subscribe IS NOT NULL;解释&#xff1a; …

RocketMQ的集群架构是怎样的?

大家好&#xff0c;我是锋哥。今天分享关于【RocketMQ的集群架构是怎样的?】面试题。希望对大家有帮助&#xff1b; RocketMQ的集群架构是怎样的? 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 RocketMQ 是阿里巴巴开源的分布式消息中间件&#xff0c;广泛用于处…

使用DynadotAPI查看域名清仓中的过期域名列表

前言 Dynadot是通过ICANN认证的域名注册商&#xff0c;自2002年成立以来&#xff0c;服务于全球108个国家和地区的客户&#xff0c;为数以万计的客户提供简洁&#xff0c;优惠&#xff0c;安全的域名注册以及管理服务。 Dynadot平台操作教程索引&#xff08;包括域名邮箱&…

uni-app 中使用微信小程序第三方 SDK 及资源汇总

&#x1f380;&#x1f380;&#x1f380;uni-app 跨端开发系列 &#x1f380;&#x1f380;&#x1f380; 一、uni-app 组成和跨端原理 二、uni-app 各端差异注意事项 三、uni-app 离线本地存储方案 四、uni-app UI库、框架、组件选型指南 五、uni-app 蓝牙开发 六、uni-app …

探索 Pencils Swap 的叙事:为 DeFi 的再次爆发蓄力

Pencils Protocol 最初是 Scroll 生态上一个综合性的 DeFi 平台&#xff0c;以 Farming、Vaults 以及 Auction 等系列产品板块为基础&#xff0c;其不仅成为了 Scroll 上重要的流动性、收益枢纽&#xff0c;同时也是重要的 LaunchPad 市场以及流量池&#xff0c;为 Scroll 生态…