Android 音频框架 基于android 12

news2024/7/6 12:19:05

文章目录

      • 前言
      • 音频服务audioserver
      • 音频数据链路
      • hal 提供什么样的作用

前言

  • Android 的音频是一个相当复杂的部分。从应用到框架、hal、kernel、最后到硬件,每个部分的知识点都相当的多。而android 这部分代码在版本之间改动很大、其中充斥着各种workaround的处理,让人看的云里雾里。网上相应的分析文章也很多,有些就贴大段的代码 是很不容易理解的。
  • 本系列就遵循从整体到局部, 从简单到复杂来分析。很多时候可能是带着问题来看文章。而写博客的目的 一是记录分析的过程,从迷茫 混乱到清晰 有序的关键概念和流程的理解。二是对系统或者框架思想的一个整体理解,为解决问题打下基础。
  • 总体的一个理解:借用android 官网的一张图, 从应用层开始,所有封装中的音频数据经过解码后为pcm数据(或者音频的裸数据),这个数据就拷贝到framework层,framework根据设备和配置文件中定义的路由情况,将应用层指定的数据送到对应的设备进行输出。
    在这里插入图片描述

本篇文章的目标包括以下几点

  1. 从开机出发理解android audioservice 中audioflinger、audiopolicy提供怎样的服务。
  2. 从播放出发理解android的音频数据如何一路送到硬件。
  3. 从vendor.auio-hal出发理解hal层提供了怎样的服务。

音频服务audioserver

  • 首先从开机启动的音频相关服务audioserver开始

    • 开机init.rc文件中和音频有关的service audioserver其包括android 音频框架两个最重要的服务audioflinger 和audiopolicy。当然这两个服务之间并没有相互隔离的很开,有些函数会在这两个服务直接相互调用。
  • audioflinger的作用:

    • 跟HAL层的接口进行交互的地方, 包括load具体的某个module的实现,open相应的stream、往stream中写数据。
    • 为每个open的stream 创建相对应的线程,并维护线程和dev之间的关系,创建线程的时机是在成功open stream之后。
    • 维护和暴露给外部接口相对应的track,对外部track写到stream的数据进行处理包括mix、格式转换、采样率转换、音效处理、音量处理等等。
    • 创建patch,为音频输入和输出直接创建通路和线程, 使输入的数据直接输出到输出设备,而不需要通过应用层。
    • 根据配置track的模式、生成不同的线程,对数据进行不同的处理 主要有三种分别为direct(track的数据直接写到hal)、mix(经过混音 格式转换等处理)、offload (不经过解码数据直接写到dsp中。
  • audiopolicy的作用:

    • 载入音频audio_policy_configuration.xml配置文件,并将配置文件中的moules、module、port、profile、routes抽象成代码中的各种概念比如modules、device、port等等。并在解析到attach device后 去调用audioflinger的openOutput stream打开设备.
    • 保存路由的信息、这里面包括xml定义的 和 通过外部注册到policy的mix。
    • track 启动播放的时候 会调用audiopolicy的接口getoutputfromattr 通过attr获取输出的设备。获取设备后同时可以找到对应的线程,这样往track写的数据 就会写到hal。

音频数据链路

  • 简单的来讲 外部通过解码或者未解码的数据 buffer 写到track(这个track 可以是应用层也可以是framework层,应用层的调用到mediaPlayerservice 中的AudioOutput 其继承了AudioSink,audioSink是外部用的),

  • 从前面的分析可以往这个track写数据最终都会要通过output device对应的线程里面去写的。可以看出这两个是属于不同的进程。一个是mediaserver 一个是audioserver,其数据交互是通过匿名共享内存来实现。 这个共享内存在audioflinger创建track的时候分配的。在mediaserver 往track写数据的时候,会把数据拷贝到这个共享内存中,然后audioflinger 把数据从共享内存中拷贝出来 经过一系列处理写到hal中。

hal 提供什么样的作用

hal的功能有定义的一系列的接口,主要就是打开声卡设备、然后往声卡设备里面写数据。hal提供给外部audioFlinger的主要接口是openDevice 和open_output_stream。不同vendor实现的方式不一样,目前看到的大部分的实现是基于tinyalsa提供的接口来实现对声卡控件的操作和声卡的读写。

  • open_output_stream

    实现是创建了stream_out结构体,并赋值实现stream_out结构体中的不同函数指针。并将这个结构体返回给外部调用。这个会转换为外部的结构体 AudioStreamOut。 这个结构体会传递到audioFlinger 创建MixerThread中,后续应用调用audiotrack的write 函数会调用到hal层的write函数hal层使用tinyalsa 或者alsa的写到内核驱动中。

  • out_write

    hal中只有在out_write里面才会真正的去打开底层的硬件 进行数据的写入。

总结:
总的来说, 外部 framework audioflinger 通过hal提供的接口创建出dev 和stream以用来获取hal层的能力,相关的接口实现在audio hal中有定义,然后audioFlinger 通过调用dev和stream的指针函数来操作hal,主要的接口有打开设备 打开流 写数据 读数据等等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/954994.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

AI能完全取代PS吗?两者僵持背后的设计思路!

PS 是功能强大的位图图片处理软件。它的核心功能是图片处理,最大特点是放大图片时会出现马赛克模糊。PS 存在下载安装复杂,功能繁杂,新手不易上手等缺点。越来越多设计师更青睐轻量级的协作设计软件,例如新一代国产软件即时设计。…

openCV实战-系列教程11:文档扫描OCR识别上(轮廓检测/轮廓近似/透视变换/OCR识别)项目实战、源码解读

🧡💛💚💙💜OpenCV实战系列总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 下篇内容: openCV实战-系列教程13:文档扫描OCR识别下&am…

李跳跳下载-《告别广告困扰,让李跳跳助力打造清爽浏览体验》

大家好,👋今天我想向大家介绍一款非常好用的应用程序——李跳跳 App 🚀。 随着智能手机的普及,应用程序已经成为了我们日常生活中必不可少的一部分。但是,随之而来的是各种各样的广告,这些广告不仅浪费我们…

【C++】输入输出及格式控制

在各类算法竞赛和机试中,对测试数据和输出格式往往会有明确的规定,笔者结合个人刷题经历,得到了以下C语言输入输出控制的方法。 cin:从缓冲区中读取数据 cin>>从缓冲区中读取数据时,若缓冲区中第一个字符是空格…

PXE网络批量装机

目录 一、什么是PXE? 二、PXE(Preboot Execution Environment)的主要组件 1、PXE服务器(PXE Server) 2、DHCP服务器(Dynamic Host Configuration Protocol Server) 3、TFTP服务器&#xff…

信号完整性分析基础知识之有损传输线、上升时间衰减和材料特性(四):有损传输线建模

传输线中信号衰减的两个损耗过程是通过信号和返回路径导体的串联电阻以及通过有损耗介电材料的分流电阻。这两个电阻器的电阻都与频率相关。 值得注意的是,理想电阻器的电阻随频率恒定。我们已经证明,在理想的有损传输线中,用于描述损耗的两个…

CAD 中Spline(样条曲线)的创建

我把自己研究的流程留下,读者需慢慢探索: Polyline pl new Polyline(); pl.AddVertexAt(0, new Point2d(2, 2), 0, 0, 0); pl.AddVertexAt(1, new Point2d(5, 5), 0, 0, 0); pl.AddVertexAt(2, new Point2d(10, 3), 0, 0, 0); pl.AddVertexAt(3, new Point2d(15, …

uniapp 布局(自定义导航栏加固定高度的主要内容)

不想让整体页面出现滚动条 页面大致分为三部分,导航栏、主题内容、tabbar,不想让整个页面出现滚动条,只想让主要内容滚动。 我这里是直接用了uni.getSystemInfoSync(),整体分为两部分,自定义头部和滚动内容&#xff…

UE5- c++ websocket客户端写法

# 实现目标 ue5 c 实现socket客户端,读取服务端数据,并进行解析 #实现步骤 {projectName}.Build.cs里增加 "WebSockets","JsonUtilities", "Json"配置信息,最终输出如下: using UnrealBuildTool;…

【SpringSecurity】九、Base64与JWT

文章目录 1、base64编码2、Base64Url3、JWT的产生背景4、JWT介绍5、JWT组成5.1 Header5.2 Payload5.3 Signature 6、JWT的使用方式7、JWT的几个特点 1、base64编码 base64是一种编码方式,不是加密方式。 所谓Base64,就是说选出64个字符:小写…

LNMP 平台搭建(四十)

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 目录 前言 搭建LNMP 一、安装Nginx 二、安装Mysql 三、安装PHP 四、部署应用 前言 LNMP平台指的是将Linux、Nginx、MySQL和PHP(或者其他的编程语言,如…

【Apollo学习笔记】——规划模块TASK之SPEED_BOUNDS_PRIORI_DECIDER

文章目录 前言SPEED_BOUNDS_PRIORI_DECIDER功能简介SPEED_BOUNDS_PRIORI_DECIDER相关配置SPEED_BOUNDS_PRIORI_DECIDER流程将障碍物映射到ST图中ComputeSTBoundary(PathDecision* path_decision)ComputeSTBoundary(Obstacle* obstacle)GetOverlapBoundaryPointsComputeSTBounda…

视觉化洞察:为什么我们需要数据可视化?

为什么我们需要数据可视化?这个问题在信息时代变得愈发重要。数据,如今已成为生活的一部分,我们每天都在产生大量的数据,从社交媒体到购物记录,从健康数据到工作表现,数据无处不在。然而,数据本…

uniapp项目实践总结(五)自定义底部导航栏

在底部导航栏这个模块,很多时候默认的样式不符合我们的设计规范和需求,因此需要自定义底部导航栏,这样可以满足我们的需求,也可以更加个性化,增加用户体验,下面就介绍如何自定义底部导航栏。 目录 准备导航素材配置页面导航自定义导航栏准备导航素材 要自定义底部导航栏…

HTML基础--标签

目录 列表标签 有序列表 type属性 有序列表嵌套 无序列表 type属性 无序列表嵌套 常见应用场景 表格标签 表格展示效果 表格属性 表格单元格合并 单元格合并属性 列表标签 HTL作为构建网页内容的标记语言,提供了多种列表标签,用于在网页中展…

栈和队列(优先级队列)

一)删除字符串中所有相邻字符的重复项 1047. 删除字符串中的所有相邻重复项 - 力扣(LeetCode) 算法原理:栈结构模拟,只是需要遍历所有字符串中的字符,一次存放到栈里面即可,也是可以使用数组来模拟一个栈结构的: class…

工厂人员作业行为动作识别检测算法

工厂人员作业行为动作识别检测算法通过yolov7python深度学习算法框架模型,工厂人员作业行为动作识别检测算法实时识别并分析现场人员操作动作行为是否符合SOP安全规范流程作业标准,如果不符合则立即抓拍告警提醒。Python是一种由Guido van Rossum开发的通…

2023-08-31 打印IEEE标准的 float 符号位, 阶码位, 尾数位

老林的C语言新课, 想快速入门点此 <C 语言编程核心突破> 打印IEEE标准的float符号位, 阶码位, 尾数位 前言一、实现算法二、实现代码总结 前言 学过深入理解计算机系统的同学, 都知道float的实现方式, 按照IEEE标准, 由符号位, 阶码位, 尾数位组成, 本文给出一个代码, …

山海炮性能版售价25.88万元,越来越野

8月25日&#xff0c;长城炮全性能家族霸屏成都车展。作为领衔车型、长城炮旗下大型高性能豪华皮卡——山海炮性能版&#xff0c;全球首秀&#xff0c;以“更大、更强、更豪华”的极致实力&#xff0c;携光而至&#xff0c;成就中国最强硬派越野皮卡。 个性化定制共创新品2023款…

【Linux】0基础从获取docker,一步一步到部署PaddleSpeech

一、利用VMware安装ubuntu 1.安装VMware 具体操作详细安装VMware的方式 另外附部分VMware密匙 4A4RR-813DK-M81A9-4U35H-06KND NZ4RR-FTK5H-H81C1-Q30QH-1V2LA JU090-6039P-08409-8J0QH-2YR7F 4Y09U-AJK97-089Z0-A3054-83KLA 4C21U-2KK9Q-M8130-4V2QH-CF810 MC60H-DWH…