智能手表上的音频(三):音频文件播放

news2024/12/23 19:41:07

上篇讲了智能手表上音频相关的驱动。本篇开始讲具体的功能,先讲音频文件播放。

音频文件格式众多,目前我们仅支持了最常见的几种:WAV/MP3/AAC/AMR(主要用于播放录音文件)。相对于播放WAV(即PCM),MP3/AAC/AMR多了个解码过程。音频文件播放时只有AP和ADSP在运行。音频可以从speaker(即内置codec)放出来,也可以从蓝牙耳机放出来。这两种方式不管是AP/ADSP的交互过程还是audio data path都有差异。下面分开讲。

1,音频从speaker放出来

下图是其audio data path的软件框图:

从上图看出,AP把音乐流(当是WAV文件时是PCM数据,当是其他支持的文件类型时是比特流)送给ADSP。ADSP收到后做解码(WAV文件没有这一步)、重采样(系统把内置codec的采样率固定在48K,不是48K的都要转到48K)、音效处理(比如EQ)、混音后送给audio driver,通过speaker播放出来。

下图是speaker播放音频文件时AP 与ADSP的主要交互命令:

1)  AP给ADSP发命令STREAM_DEV_SELECT,告诉ADSP选择哪个device(内置codec或者BT)播放

2)  AP给ADSP发命令ENABLE_STREAM,告诉ADSP使能哪一条stream。系统中定义了很多条stream(music / voice / record / ……),每一条都有相对应的ID。

3)  ADSP给AP发命令DATA_REQ,stream被使能后,ADMA中断就会等间隔的来。前面文章说过,内置codec下系统就是靠ADMA中断转起来的。ADMA中断触发去取采集到的音频数据送给ADSP的audio buffer,以及从ADSP的audio buffer里取数据去播放。Stream使能后,ADSP没数据播放(音频文件在AP上),因此ADSP向AP发DATA_REQ来请求音频数据。

4)  AP收到ADSP发来的DATA_REQ后就会给ADSP回DATA_REQ_ACK,带上音频数据(AP把音频数据放在双方都能访问的share memory里,实际上在命令里带上的是这块音频数据在share memory里的起始地址, ADSP收到命令后从这个起始地址处拿音频数据)。ADSP收到音频数据后会做解码等,最终播放出来,来消耗从AP收到的音频数据。当消耗到快没有时,又会向AP发DATA_REQ。AP收到后又会通过DATA_REQ_ACK向ADSP发送音频数据。如此反复完成整个音频文件的播放。

5)  AP给ADSP发命令DISABLE_STREAM,告诉ADSP停止哪一条stream。ADSP收到后将停止这条stream相关的处理。

6)  ADSP给AP发命令DISABLE_STREAM_ACK,告诉AP这条stream已停止处理。AP收到后做相应处理。

2,音频从BT放出来

下图是其audio data path的软件框图:

从上图看出,AP把音乐流送给ADSP。ADSP收到后做解码、重采样、音效处理、混音后送给BT SBC encoder做编码处理,得到SBC码流后将其发送给AP,最终AP上的BT host将SBC码流通过UART发送给BT chip,BT chip再通过蓝牙的空口将码流送给蓝牙耳机,音频从蓝牙耳机播放出来。这里BT chip 做master,蓝牙耳机做slave。ADSP在BT播放音频的场景中起加速器的作用,音频流从AP到ADSP,ADSP处理后又把音频流(这时是SBC码流)送给AP。这跟speaker播放音频是有明显差异的。

下图是BT播放音频文件时AP 与ADSP的主要交互命令:

1)  AP给ADSP发命令STREAM_DEV_SELECT,告诉ADSP选择哪个device(内置codec或者BT)播放

2)  AP给ADSP发命令SET_BT_PARAM,告诉ADSP做SBC编码时用的参数。这些参数包括bitpool(2--250) / subband(4 / 8) / blocks(4 / 8 / 12 / 16) / mode(MONO/DUAL/STEREO/JOINT STEREO) / allocation(LOUDNESS / SNR)。

3)  AP给ADSP发命令ENABLE_STREAM,告诉ADSP使能哪一条stream。

4)  AP给ADSP发命令A2DP_DATA_REQ,告诉ADSP A2DP模块需要多少字节的SBC码流数据。音频播放中都是靠数据消耗者来驱动的。这里A2DP是数据消耗者,因此由它来要播放的数据。

5)  ADSP给AP发命令DATA_REQ。 Stream使能后,ADSP没数据播放(音频文件在AP上),因此ADSP向AP发DATA_REQ来请求音频数据。

6)  AP收到ADSP发来的DATA_REQ后就会给ADSP回DATA_REQ_ACK,带上音频数据(AP把音频数据放在双方都能访问的share memory里,实际上在命令里带上的是这块音频数据在share memory里的起始地址, ADSP收到命令后从这个起始地址处拿音频数据)。

7)  ADSP给AP发命令A2DP_DATA_REQ_ACK。ADSP上音频数据后就做相关处理,直到得到SBC码流。当SBC码流的字节数达到A2DP_DATA_REQ请求的个数时就会给AP发A2DP_DATA_REQ_ACK。SBC码流也是放在双方都能访问的share memory里,在命令里带上的是这块SBC码流在share memory里的起始地址, AP收到命令后从这个起始地址处拿SBC码流。这SBC码流会被BT host通过UART发给BT chip。当SBC码流消耗到快没有时,又会向ADSP发A2DP_DATA_REQ。ADSP没有音频数据时又会通过DATA_REQ向AP要音频数据,AP收到后会向ADSP发送音频数据,当SBC码流的字节数达到A2DP_DATA_REQ请求的个数时又会给AP发A2DP_DATA_REQ_ACK。如此反复完成整个音频文件的播放。

8)  AP给ADSP发命令DISABLE_STREAM,告诉ADSP停止哪一条stream。ADSP收到后将停止这条stream相关的处理。

9)  ADSP给AP发命令DISABLE_STREAM_ACK,告诉AP这条stream已停止处理。AP收到后做相应处理。

至此两种场景下的音频文件播放就讲完了。最后再上一张ADSP上的音频数据流向图,它把不同stream(PCM stream / bit stream)以及不同的播放方式(speaker / BT)都呈现出来。图中有多个FIFO(也就是ring buffer),主要是保证播放的流畅性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1183669.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Synchronized关键字详解

1. Synchronized简介及使用 1.1 简介 在Java中,synchronized 是一个关键字,用于实现多线程环境下的同步控制,确保线程安全性。它可以应用于方法、代码块或静态方法上,提供了对临界区(共享资源)的互斥访问…

Python知识点——高维数据的格式化

常用JSON格式对高维数据进行表达和存储&#xff1a; 常见的高维数据最典型的例子&#xff1a;<key,value>键值对 JSON格式表达键值对<key, value>的基本格式如下&#xff0c;键值对都保存在双引号中&#xff1a; "key" : "value" Json库 dump…

前后端交互常见的几种数据传输格式 form表单+get请求 form表单+post请求 json键值对格式

目录 1. get请求 query string 2.form表单get请求 3..form表单post请求 4..json格式 5.总结 1. get请求 query string 前端通过get请求携带 query string&#xff08;键值对&#xff09; ,后端通过req.getParameter(key)方法获取数据。如果key不存在&#xff0c;获取到的就…

苹果手机钱包怎么付款?教你如何使用Apple Pay支付

苹果钱包是iPhone手机的一项实用功能&#xff0c;可以将银行卡、信用卡、交通卡、学生证等收纳在其中。在日常生活中&#xff0c;手机支付变得越来越方便。那么&#xff0c;如何在苹果手机上使用Apple Pay进行支付呢&#xff1f;苹果手机钱包怎么付款&#xff1f;下面请跟着小编…

Redis小记(一)

NoSQL数据库简识 引入 随着web时代的到来&#xff0c;PC端和移动端的用户越来越多&#xff0c;之前的单体服务器已经承载不住这么大量的访问请求操作&#xff0c;如今就演化成了下图这种&#xff0c;通过ngnix负载均衡&#xff0c;将请求以分摊到多个不同的服务器上&#xff…

微信小程序rich-text里面写单行溢出显示省略号在ios中不显示的问题

项目用uniapp开发。然后赋值用v-html来写。&#xff08;v-html可以转换html格式并且展示。运行到小程序里面是用rich-text标签展示&#xff09; 原来返回的item.titleName如下&#xff1a;<font style"color: #ff4343;">测试</font>课程名称长度加加加爱…

【微信小程序】新版获取手机号码实现一键登录(uniapp语法)(完整版附源码)

需求 如图&#xff0c;点击按钮&#xff0c;获取用户手机号实现一键登录&#xff0c;当然&#xff0c;用户也可以自行输入其他手机号进行登录 问题 要想获取用户手机号并不复杂&#xff0c;但由于近几年微信小程序获取手机号的api进行了更新&#xff0c;当前很多帖子使用的…

【delphi】中 TNetHTTPClient 注意事项

一、TNetHTTPClient 是什么&#xff1f; 用于管理 HTTP 客户端的组件。相当于indy中的TidHTTP控件&#xff0c;是实现HTTP请求的客户端控件。 二、TNetHTTPClient 需要注意什么&#xff1f; 需要注意的是几个Timeout&#xff0c;因为我们使用TNetHTTPClient控件的时候&#x…

1 快速了解Paimon数据湖核心原理及架构

1.1 什么是Apache Paimon Apache Paimon的前身属于Flink的子项目&#xff1a;Flink Table Store。 目前业内主流的数据湖存储项目都是面向批处理场景设计的&#xff0c;在数据更新处理时效上无法满足流式数据湖的需求&#xff0c;因此Flink社区在2022年的时候内部孵化了 …

Golang Windows系统使用make build

gcc -v 找到上面mingw64/bin目录&#xff0c;复制mingw32-make.exe一份&#xff0c;改成make.exe ,即可。

9.spark自适应查询-AQE之动态调整Join策略

目录 概述动态调整Join策略原理实战 动态优化倾斜的 Join原理实战 概述 broadcast hash join 类似于 Spark 共享变量中的广播变量&#xff0c;Spark join 如果能采取这种策略&#xff0c;那join 的性能是最好的 自适应查询AQE(Adaptive Query Execution) 动态调整Join策略 原…

金蝶云星空单据转换下推时上游单据的主键和明细主键获取和保存

文章目录 金蝶云星空单据转换下推时上游单据的主键和明细主键获取和保存产品序列号对照表增加字段创建单据转换插件在单据转换规则注册插件测试 金蝶云星空单据转换下推时上游单据的主键和明细主键获取和保存 比如&#xff1a;售后单下推对照表&#xff0c;是一对一&#xff0…

(深度全面解析)ChatGPT的重大更新给创业者带来了哪些红利机会

hi&#xff0c;同学们&#xff0c;我是赤辰 7月份的时候&#xff0c;Open AI就找来了一位全球顶级的华人产品经理Peter Deng&#xff0c;要给这个技术很强但交互很差ChatGPT动一番大手术。 在11月7日凌晨2点&#xff0c;终于等到了Open AI发布的首届开发者大会&#xff0c;也被…

Vb6 TCP Server服务端监听多个RFID读卡器客户端上传的刷卡数据

本示例使用设备介绍&#xff1a;WIFI无线4G网络RFID云读卡器远程网络开关物流网阅读器TTS语音-淘宝网 (taobao.com) Option ExplicitConst BUSY As Boolean False 定义常量 Const FREE As Boolean TrueDim ConnectState() As Boolean 定义连接状态 Dim ServerSendbuf(…

超级好用的几个工具

JamTools JamTools是一个全平台支持的小工具集软件&#xff0c;可用于Windows 7/8/10/11、MacOS、Ubuntu等系统&#xff08;其他系统可自行编译源码进行打包&#xff09;。该工具集包含了多项实用功能&#xff0c;如滚动/区域截屏、录屏、文字识别、多语言互译、多媒体格式转换…

计算机网络——物理层-物理层的基本概念、物理层下面的传输媒体

目录 物理层的基本概念 传输媒体 物理层的基本概念 在计算机网络中&#xff0c;用来连接各种网络设备的传输媒体种类众多。大致可以分为两类。一类是导引型传输媒体&#xff0c;另一类是非导引型传输媒体。 在导引型传输媒体中&#xff0c;常见的有双绞线、同轴电缆、光纤。…

Qt开发流程

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、pandas是什么&#xff1f;二、使用步骤 1.引入库2.读入数据总结 前言 提示&#xff1a;这里可以添加本文要记录的大概内容&#xff1a; 例如&#xff1a;…

是时候和 Confluence 说再见了

作为最早为 Confluence 中文化提供服务的社区&#xff0c;我们也面临着最后的时间了。 Confluence 已经不再为用户签发开源许可证了&#xff0c;这意味着在今年许可证到期后&#xff0c;我们要不就需要把所有数据迁移到 Confluence 云平台上。 要不就自己部署完整的云平台服务…

Apache Airflow (一) : Airflow架构及

&#x1f3e1; 个人主页&#xff1a;IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 &#x1f6a9; 私聊博主&#xff1a;加入大数据技术讨论群聊&#xff0c;获取更多大数据资料。 &#x1f514; 博主个人B栈地址&#xff1a;豹哥教你大数据的个人空间-豹…

three.js点滴yan(整理后)

场景、相机和渲染器 Three.js整个系统主要包含场景Scene、相机Camera和WebGL渲染器WebGLRenderer三大块&#xff0c;其中场景又包含模型和光源。WebGL渲染器的主要作用就是把相机对应场景渲染出来&#xff0c;显示在网页Cnavas画布上。 Three.js源码 Three.js各个构造函数对应…