Android 13 - Media框架（28）- ACodec（五）

news2024/11/18 9:36:40

前面几节我们了解了OMXNodeInstance是如何处理setPortMode、allocateBuffer、useBuffer的，这一节我们再回到ACodec，来看看 ACodec start 的其他部分。

我们首先来回顾一下，ACodec start 的状态切换以及处理的事务，我们用一张不太准确的图来表示：请添加图片描述
可以看到将 OMX 组件设置为 OMX_StateIdle 之后，OMX 组件会等待所有的 buffer 都分配完成，然后将状态设置完成的消息返回给ACodec层。我们之前说OMX再处理这个状态时会处在阻塞的情况，现在看来，每次接收到buffer都去判断一下有没有收到所有buffer应该就好了，可以不需要阻塞等待 buffer 到来。

ACodec 收到 OMX 组件 OMX_StateIdle 状态设置完成的事件后，会继续将 OMX 组件的状态设置为 OMX_StateExecuting，同时将 ACodec 自身的状态切换到 IdleToExecutingState，到这里组件就开始正式运转起来了，同时会将状态设置完成的事件通知到上层。

ACodec 接收到事件后会正式切换到 ExecutingState，开始运行。

这里会有一个问题，OMX 组件和 ACodec 都正式开始运行了，它们是如何运行起来的，所有的buffer是如何被驱动的？

答案就是在 IdleToExecutingState 的 onOMXEvent 中，在切换到 ExecutingState 之前，会先调用 resume 方法，把 input buffer 交给上层，把output buffer都送给 OMX 组件，这样buffer就开始流转了。

正式看 resume 方法之前，我原先有一个疑惑，LoadedState 状态里，将 OMX 组件状态设置为 OMX_StateExecuting，万一 这个状态设定特别快，ACodec 还没有进入到 IdleToExecutingState ，ACodec 就收到 OMX_StateExecuting 设定完成的事件怎么办呢？是不是 ACodec 就无法执行到 resume 方法了呢？答案是杞人忧天了，ACodec 所有的消息是在一个线程中处理的，sendCommand 和 changeState 方法在同一个函数中执行，属于同一条消息的处理过程，在收到OMX_StateExecuting设定完成时，ACodec 状态时一定进入到 IdleToExecutingState 的。

1、resume

void ACodec::ExecutingState::resume() {
	// 首先判断是否要驱动提交 buffer，只有在 未启动，flush之后才会真正提交
    if (mActive) {
        ALOGV("[%s] We're already active, no need to resume.", mCodec->mComponentName.c_str());
        return;
    }

    submitOutputBuffers();

    // Post all available input buffers
    if (mCodec->mBuffers[kPortIndexInput].size() == 0u) {
        ALOGW("[%s] we don't have any input buffers to resume", mCodec->mComponentName.c_str());
    }

    for (size_t i = 0; i < mCodec->mBuffers[kPortIndexInput].size(); i++) {
        BufferInfo *info = &mCodec->mBuffers[kPortIndexInput].editItemAt(i);
        if (info->mStatus == BufferInfo::OWNED_BY_US) {
            postFillThisBuffer(info);
        }
    }

    mActive = true;
}

我们在上文中已经讲过了，ACodec 通过调用 resume 来驱动 buffer 流转，调用postFillThisBuffer 将 input buffer 传递给 MediaCodec，调用 submitOutputBuffers 将 output buffer 传递给 OMX 组件。

1.1、 submitOutputBuffers

void ACodec::ExecutingState::submitOutputBuffers() {
    submitRegularOutputBuffers();
    if (mCodec->storingMetadataInDecodedBuffers()) {
        submitOutputMetaBuffers();
    }
}

submitOutputBuffers 分为两个步骤，首先会调用 submitRegularOutputBuffers，翻译过来就是 提交常规的 output buffer，这里有个问题，什么是常规 output buffer呢？来看代码：

void ACodec::ExecutingState::submitRegularOutputBuffers() {
    bool failed = false;
    for (size_t i = 0; i < mCodec->mBuffers[kPortIndexOutput].size(); ++i) {
        BufferInfo *info = &mCodec->mBuffers[kPortIndexOutput].editItemAt(i);
		// 有 surface（native window）
        if (mCodec->mNativeWindow != NULL) {
        	// output buffer必须归属于 ACodec 或者是 native window
            if (info->mStatus != BufferInfo::OWNED_BY_US
                    && info->mStatus != BufferInfo::OWNED_BY_NATIVE_WINDOW) {
                ALOGE("buffers should be owned by us or the surface");
                failed = true;
                break;
            }
			// 如果归属于 native window 则直接退出
            if (info->mStatus == BufferInfo::OWNED_BY_NATIVE_WINDOW) {
                continue;
            }
        } else {
        	// 没有 surface 的情况下，output buffer应该归属于 ACodec
            if (info->mStatus != BufferInfo::OWNED_BY_US) {
                ALOGE("buffers should be owned by us");
                failed = true;
                break;
            }
        }

        ALOGV("[%s] calling fillBuffer %u", mCodec->mComponentName.c_str(), info->mBufferID);
		// 打印 log 检查 fence
        info->checkWriteFence("submitRegularOutputBuffers");
        // 提交 output buffer 给 OMX 组件
        status_t err = mCodec->fillBuffer(info);
        if (err != OK) {
            failed = true;
            break;
        }
    }
	// 如果以上过程出现异常则直接报错
    if (failed) {
        mCodec->signalError(OMX_ErrorUndefined, FAILED_TRANSACTION);
    }
}

首先 output buffer 分为有 Surface 和 无Surface 两种情况，这两种情况下buffer 分别来自于：

  • Surface：在 native window 中分配，归属于 OWNED_BY_NATIVE_WINDOW；
  • no Surface：在 ACodec 中分配，共享内存， 归属于 OWNED_BY_US；

有 surface 的情况下，会检查BufferInfo的归属，如果有buffer归属于组件直接报错，如果有 buffer 归属于 nativewindow，说明graphic buffer还未分配，不需要进行传递。执行到最后我们会发现，BufferInfo 归属于 ACodec 时，该buffer会被传递给 OMX 组件。

没有 surface 的情况下，会检查 BufferInfo 是否归属于 ACodec，如果不是则直接报错。执行到最后会把属于 ACodec 的output buffer 全部传递给 OMX 组件。

综上我们可以得知，BufferInfo 中的 graphic buffer已经被分配，和普通的 output buffer 被认为是 RegularOutput，这两种buffer在一开始就会直接被传递给 OMX 组件。

还有两个问题要注意，初始状态下为什么有surface时，output buffer可能有两个归属呢？这是因为使用有两种情况，我们这里只要求了解 dynamic native window buffer，也就是 BufferInfo 一开始归属于 native window的情况。

这里出现的 fence 我们后面再了解。

1.2、 submitOutputBuffers

上面讲了 regular buffer 是如何提交的，接下来要讲其他buffer是如何提交的。这里的其他指的就是 BufferInfo 中的 graphic buffer 还未分配的情况，之所以要单独拎出来，是因为在提交之前还需要获取 graphic buffer。

调用 submitOutputMetaBuffers 之前要先判断是不是 metadata mode（kPortModeDynamicANWBuffer），我们之前也讲过了，这种模式下，output buffer是动态分配的，一开始是归属于native window的，如果不是这种情况就可以跳过了。

void ACodec::ExecutingState::submitOutputMetaBuffers() {
    // submit as many buffers as there are input buffers with the codec
    // in case we are in port reconfiguring
    for (size_t i = 0; i < mCodec->mBuffers[kPortIndexInput].size(); ++i) {
        BufferInfo *info = &mCodec->mBuffers[kPortIndexInput].editItemAt(i);

        if (info->mStatus == BufferInfo::OWNED_BY_COMPONENT) {
            if (mCodec->submitOutputMetadataBuffer() != OK)
                break;
        }
    }
    if (mCodec->mIsLowLatency) {
        maybePostExtraOutputMetadataBufferRequest();
    }

    // *** NOTE: THE FOLLOWING WORKAROUND WILL BE REMOVED ***
    mCodec->signalSubmitOutputMetadataBufferIfEOS_workaround();
}

看完这段我们要直呼好家伙了，在调用 submitOutputMetadataBuffer 之前会判断 BufferInfo 是否归属于 OWNED_BY_COMPONENT，我们之前刚说过初始状态下，BufferInfo 是归属于 OWNED_BY_NATIVE_WINDOW，也就是说启动一开始，OMX组件是不会获得真正的output buffer的，是不是和我们预期的不一样了呢…

output buffer如何被送给 OMX 组件我们后面会了解到的。

1.3、 postFillThisBuffer

初始状态下，把input buffer送给MediaCodec之前会检查BufferInfo 是否归属于 ACodec，如果是则调用postFillThisBuffer：

void ACodec::BaseState::postFillThisBuffer(BufferInfo *info) {
	// 检查端口是否已经收到eos
    if (mCodec->mPortEOS[kPortIndexInput]) {
        return;
    }

    CHECK_EQ((int)info->mStatus, (int)BufferInfo::OWNED_BY_US);
	// 给 input buffer 设置初始format
    info->mData->setFormat(mCodec->mInputFormat);
    // 提交给 ACodec
    mCodec->mBufferChannel->fillThisBuffer(info->mBufferID);
    // 解除 BufferInfo 对 MediaCodecBuffer 的引用
    info->mData.clear();
    // 设置bufferinfo 状态
    info->mStatus = BufferInfo::OWNED_BY_UPSTREAM;
}
  1. 检查端口是否已经收到eos，如果是则不会把input buffer回传给上层；
  2. 将默认的input format 设置给 mediaCodecBuffer；
  3. 将 MediaCodecBuffer 传递给 MediaCodec；
  4. 解除 BufferInfo 对 MediaCodecBuffer 的引用，填充数据期间，ACodec无法使用该buffer
  5. 将 BufferInfo 状态设置为 OWNED_BY_UPSTREAM，表示input buffer送给上层填充

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1338486.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

23、Qt使用fftw3.3.5

23、Qt使用fftw3.3.5

一、下载 FFTW Installation on Windows 二、使用fftw 新建一个Qt项目&#xff0c;把“fftw3.h”和“libfftw3-3.dll”两个文件拷贝到项目目录下 在.pro中添加如下代码 LIBS -L$$PWD/ -llibfftw3-3 右击项目名称&#xff0c;选择“添加现有文件”&#xff0c;选择“fftw3.h…
阅读更多...
【Echarts】使用echarts和echarts-wordcloud生成词云图

【Echarts】使用echarts和echarts-wordcloud生成词云图

一、下载echarts和echarts-wordcloud 地址&#xff1a;https://download.csdn.net/download/qq_25285531/88663006 可直接下载放在项目中使用 二、词云数据 词云数据是对象的格式&#xff0c;可以从后端获取&#xff0c;这里以下面数据为例 $list3 array(array(name >…
阅读更多...
《当初恋撞上人生》

《当初恋撞上人生》

《当初恋撞上人生》是很久以前起早的一个作品&#xff0c;然而断断续续、伤伤感感一直没写下去&#xff0c;最近打开看了一下&#xff0c;总算概述还完整&#xff0c;暂且贴出来也好。不想哪天一改&#xff0c;失了原本初心与色彩。 简章如下&#xff1a; 《初恋撞上人生》简述…
阅读更多...
视频批量转码：一键转换多个视频mp4格式到FLV视频

视频批量转码：一键转换多个视频mp4格式到FLV视频

在数字媒体时代&#xff0c;视频格式的多样性给处理工作带来了诸多不便。满足不同的播放需求&#xff0c;经常要视频从一种格式转换为另一种格式。其中&#xff0c;将mp4格式转换为FLV格式的需求很常见。现在一起来看下云炫AI智剪如何高效的将视频批量转码方法&#xff0c;一键…
阅读更多...
CSS 文字弹跳效果

CSS 文字弹跳效果

鼠标移过去 会加快速度 <template><div class"bounce"><p class"text" :style"{animationDuration: animationDuration}">欢迎使用UniApp Vue3&#xff01;</p></div> </template><script> export d…
阅读更多...
运动轨迹仿真

运动轨迹仿真

重型运载火箭轨迹/总体参数一体化优化方法 硬核推导火箭运动方程&#xff0c;并用python仿真实现 rocket-simulation:MATLAB-火箭仿真软件 MatRockSim:Matlab 火箭飞行模拟器 【开源】飞鹰一号探空火箭——箭体设计、制造回顾与仿真对比 偏航角&#xff0c;滚动角&#xf…
阅读更多...
HOJ 项目部署-前端定制 默认勾选显示标签、 在线编辑器主题和字号大小修改、增加一言功能 题目AC后礼花绽放

HOJ 项目部署-前端定制 默认勾选显示标签、 在线编辑器主题和字号大小修改、增加一言功能 题目AC后礼花绽放

# 项目拉取地址&#xff1a; https://gitee.com/himitzh0730/hoj.git # 切换到hoj-vue目录执行以下命令 #安装依赖 npm install #运行服务 npm run serve #修改代码后构建项目到dist文件夹&#xff0c;到服务器docker-compose.yml中修改hoj-frontend文件映射即可 npm run build…
阅读更多...
FPGA-AMBA协议、APB协议、AHB规范、AXI４协议规范概述及它们之间的关系

FPGA-AMBA协议、APB协议、AHB规范、AXI４协议规范概述及它们之间的关系

FPGA-AMBA协议、APB协议、AHB协议、AXI&#xff14;协议规范概述 笔记记录&#xff0c;AMBA协议、APB协议、AHB规范、AXI&#xff14;协议规范概述&#xff0c;只是概述描述&#xff0c;具体详细的协议地址传输、数据传输等内容将在下一章节详细说明。 文章目录 FPGA-AMBA协议…
阅读更多...
自动化测试工程师怎样能规划好自己的职业生涯？

自动化测试工程师怎样能规划好自己的职业生涯？

确定职业目标&#xff1a;首先&#xff0c;自动化测试工程师需要明确自己的职业目标&#xff0c;是希望在测试领域深入发展&#xff0c;还是希望向其他方向转型。如果希望在测试领域深入发展&#xff0c;可以专注于自动化测试技术的不断提升&#xff0c;以及测试管理的相关技能…
阅读更多...
python3下载手机安卓版,python下载手机版最新

python3下载手机安卓版,python下载手机版最新

大家好&#xff0c;小编为大家解答python3下载手机安卓版的问题。很多人还不知道python下载手机版最新&#xff0c;现在让我们一起来看看吧&#xff01; 1、先去python官网下载python3的源码包&#xff0c;网址&#xff1a;https://www.python.org/ 1)进去之后点击导航栏的Down…
阅读更多...
生成超清分辨率视频，南洋理工开源Upscale-A-Video

生成超清分辨率视频，南洋理工开源Upscale-A-Video

大模型在生成高质量图像方面表现出色,但在生成视频任务中&#xff0c;经常会面临视频不连贯、图像模糊、掉帧等问题。 这主要是因为生成式抽样过程中的随机性,会在视频序列中引入无法预测的帧跳动。同时现有方法仅考虑了局部视频片段的时空一致性,无法保证整个长视频的整体连贯…
阅读更多...
物联网协议Coap之Californium CoapServer解析

物联网协议Coap之Californium CoapServer解析

目录 前言 一、CoapServer对象 1、类对象定义 2、ServerInterface接口 3、CoapServer对象 二、CoapServer服务运行分析 1、CoapServer对象实例化 1.1 调用构造方法 1.2 生成全局配置 1.3 创建Resource对象 1.4-1.8、配置消息传递器、添加CoapResource 1.9-1.12 创建线…
阅读更多...
C# ASP.NET 实验室 检验中心 医疗LIS源码

C# ASP.NET 实验室 检验中心 医疗LIS源码

LIS系统能够自动处理大量的医学数据&#xff0c;包括样本采集、样本处理、检测分析、报告生成等。它能够快速、准确地进行化验检测&#xff0c;提高医院的运营效率。LIS系统还提供了丰富的数据分析功能&#xff0c;能够对医院化验室的业务流程进行全面、细致的监控。 LIS系统优…
阅读更多...
Hooked协议掀起WEB3新浪潮

Hooked协议掀起WEB3新浪潮

随着区块链技术和加密货币的兴起&#xff0c;币圈已经成为全球范围内的一个热门领域。在这个充满机遇与挑战的行业中&#xff0c;Hook机制正逐渐成为一种重要的技术手段&#xff0c;为投资者、开发者以及相关机构提供了更多的选择和可能性。本文将详细介绍币圈中的Hook机制&…
阅读更多...
Qt/C++音视频开发61-多屏渲染/一个解码渲染到多个窗口/画面实时同步

Qt/C++音视频开发61-多屏渲染/一个解码渲染到多个窗口/画面实时同步

一、前言 多屏渲染就是一个解码线程对应多个渲染界面&#xff0c;通过addrender这种方式添加多个绘制窗体&#xff0c;我们经常可以在展会或者卖电视机的地方可以看到很多电视播放的同一个画面&#xff0c;原理应该类似&#xff0c;一个地方负责打开解码播放&#xff0c;将画面…
阅读更多...
【每日一坑】高Q电感的“SRF”是什么？

【每日一坑】高Q电感的“SRF”是什么？

先上截图 SRF Self-Resonant Frequency 自我共振频率 电感器中端子电极与绕组导体等之间存在微小的分布容量&#xff0c;因此在特定频率下会发生共振。 此时的频率称为自我共振频率&#xff0c;超过自我共振频率时&#xff0c;电感器将无法发挥其功能。 在为高频电路或高频…
阅读更多...
图解集线器、中继器、交换机、网桥、路由器、光猫到底有啥区别？

图解集线器、中继器、交换机、网桥、路由器、光猫到底有啥区别？

集线器、中继器、交换机、网桥、光猫这些都是网络设备&#xff0c;但它们在功能、工作层次、数据传输方式、带宽占用方式等方面存在差异 集线器 集线器的英文称为“Hub”。“Hub”是“中心”的意思&#xff08;就像是GitHub&#xff09;&#xff0c;集线器的主要功能是对接收…
阅读更多...
张江智荟毁约offer

张江智荟毁约offer

毕业8年后&#xff0c;找工作被国企歧视学历&#xff01;已经收到了offer&#xff0c;在入职前一周被通知要撤回offer&#xff0c;拒绝录用&#xff0c;理由居然是他们只要本科211以上的人 这是我今天&#xff08;2023-12-26&#xff09;亲身经历的事&#xff0c;听说过面试前…
阅读更多...
重磅！最新版北大核心期刊目录出炉，1987种期刊入选！26本期刊已经官宣！

重磅！最新版北大核心期刊目录出炉，1987种期刊入选！26本期刊已经官宣！

近日&#xff0c;北京大学图书馆网站发布消息&#xff0c;称2023版《中文核心期刊要目总览》已开放采购&#xff0c;这也意味着&#xff0c;备受学界关注的第10版北大核心期刊目录已经出炉。此前&#xff0c;官网已经发布消息称评审工作结束&#xff0c;结果已经通过邮件告知相…
阅读更多...
如何将图片（matlab、python）无损放入word论文

如何将图片（matlab、python）无损放入word论文

许多论文对插图有要求&#xff0c;直接插入png、jpg一般是不行的&#xff0c;这是一篇顶刊文章&#xff08;pdf&#xff09;的插图&#xff0c;放大2400%后依旧清晰&#xff0c;搜罗了网上的方法&#xff0c;总结了一下如何将图片无损放入论文中。 这里主要讨论的是数据生成的图…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023