Android 13 - Media框架（27）- ACodec（五）

news2025/1/18 9:07:46

前面几节我们了解了OMXNodeInstance是如何处理setPortMode、allocateBuffer、useBuffer的，这一节我们再回到ACodec，来看看 ACodec start 的其他部分。

我们首先来回顾一下，ACodec start 的状态切换以及处理的事务，我们用一张不太准确的图来表示：请添加图片描述
可以看到将 OMX 组件设置为 OMX_StateIdle 之后，OMX 组件会等待所有的 buffer 都分配完成，然后将状态设置完成的消息返回给ACodec层。我们之前说OMX再处理这个状态时会处在阻塞的情况，现在看来，每次接收到buffer都去判断一下有没有收到所有buffer应该就好了，可以不需要阻塞等待 buffer 到来。

ACodec 收到 OMX 组件 OMX_StateIdle 状态设置完成的事件后，会继续将 OMX 组件的状态设置为 OMX_StateExecuting，同时将 ACodec 自身的状态切换到 IdleToExecutingState，到这里组件就开始正式运转起来了，同时会将状态设置完成的事件通知到上层。

ACodec 接收到事件后会正式切换到 ExecutingState，开始运行。

这里会有一个问题，OMX 组件和 ACodec 都正式开始运行了，它们是如何运行起来的，所有的buffer是如何被驱动的？

答案就是在 IdleToExecutingState 的 onOMXEvent 中，在切换到 ExecutingState 之前，会先调用 resume 方法，把 input buffer 交给上层，把output buffer都送给 OMX 组件，这样buffer就开始流转了。

正式看 resume 方法之前，我原先有一个疑惑，LoadedState 状态里，将 OMX 组件状态设置为 OMX_StateExecuting，万一 这个状态设定特别快，ACodec 还没有进入到 IdleToExecutingState ，ACodec 就收到 OMX_StateExecuting 设定完成的事件怎么办呢？是不是 ACodec 就无法执行到 resume 方法了呢？答案是杞人忧天了，ACodec 所有的消息是在一个线程中处理的，sendCommand 和 changeState 方法在同一个函数中执行，属于同一条消息的处理过程，在收到OMX_StateExecuting设定完成时，ACodec 状态时一定进入到 IdleToExecutingState 的。

1、resume

void ACodec::ExecutingState::resume() {
	// 首先判断是否要驱动提交 buffer，只有在 未启动，flush之后才会真正提交
    if (mActive) {
        ALOGV("[%s] We're already active, no need to resume.", mCodec->mComponentName.c_str());
        return;
    }

    submitOutputBuffers();

    // Post all available input buffers
    if (mCodec->mBuffers[kPortIndexInput].size() == 0u) {
        ALOGW("[%s] we don't have any input buffers to resume", mCodec->mComponentName.c_str());
    }

    for (size_t i = 0; i < mCodec->mBuffers[kPortIndexInput].size(); i++) {
        BufferInfo *info = &mCodec->mBuffers[kPortIndexInput].editItemAt(i);
        if (info->mStatus == BufferInfo::OWNED_BY_US) {
            postFillThisBuffer(info);
        }
    }

    mActive = true;
}

我们在上文中已经讲过了，ACodec 通过调用 resume 来驱动 buffer 流转，调用postFillThisBuffer 将 input buffer 传递给 MediaCodec，调用 submitOutputBuffers 将 output buffer 传递给 OMX 组件。

1.1、 submitOutputBuffers

void ACodec::ExecutingState::submitOutputBuffers() {
    submitRegularOutputBuffers();
    if (mCodec->storingMetadataInDecodedBuffers()) {
        submitOutputMetaBuffers();
    }
}

submitOutputBuffers 分为两个步骤，首先会调用 submitRegularOutputBuffers，翻译过来就是 提交常规的 output buffer，这里有个问题，什么是常规 output buffer呢？来看代码：

void ACodec::ExecutingState::submitRegularOutputBuffers() {
    bool failed = false;
    for (size_t i = 0; i < mCodec->mBuffers[kPortIndexOutput].size(); ++i) {
        BufferInfo *info = &mCodec->mBuffers[kPortIndexOutput].editItemAt(i);
		// 有 surface（native window）
        if (mCodec->mNativeWindow != NULL) {
        	// output buffer必须归属于 ACodec 或者是 native window
            if (info->mStatus != BufferInfo::OWNED_BY_US
                    && info->mStatus != BufferInfo::OWNED_BY_NATIVE_WINDOW) {
                ALOGE("buffers should be owned by us or the surface");
                failed = true;
                break;
            }
			// 如果归属于 native window 则直接退出
            if (info->mStatus == BufferInfo::OWNED_BY_NATIVE_WINDOW) {
                continue;
            }
        } else {
        	// 没有 surface 的情况下，output buffer应该归属于 ACodec
            if (info->mStatus != BufferInfo::OWNED_BY_US) {
                ALOGE("buffers should be owned by us");
                failed = true;
                break;
            }
        }

        ALOGV("[%s] calling fillBuffer %u", mCodec->mComponentName.c_str(), info->mBufferID);
		// 打印 log 检查 fence
        info->checkWriteFence("submitRegularOutputBuffers");
        // 提交 output buffer 给 OMX 组件
        status_t err = mCodec->fillBuffer(info);
        if (err != OK) {
            failed = true;
            break;
        }
    }
	// 如果以上过程出现异常则直接报错
    if (failed) {
        mCodec->signalError(OMX_ErrorUndefined, FAILED_TRANSACTION);
    }
}

首先 output buffer 分为有 Surface 和 无Surface 两种情况，这两种情况下buffer 分别来自于：

  • Surface：在 native window 中分配，归属于 OWNED_BY_NATIVE_WINDOW；
  • no Surface：在 ACodec 中分配，共享内存， 归属于 OWNED_BY_US；

有 surface 的情况下，会检查BufferInfo的归属，如果有buffer归属于组件直接报错，如果有 buffer 归属于 nativewindow，说明graphic buffer还未分配，不需要进行传递。执行到最后我们会发现，BufferInfo 归属于 ACodec 时，该buffer会被传递给 OMX 组件。

没有 surface 的情况下，会检查 BufferInfo 是否归属于 ACodec，如果不是则直接报错。执行到最后会把属于 ACodec 的output buffer 全部传递给 OMX 组件。

综上我们可以得知，BufferInfo 中的 graphic buffer已经被分配，和普通的 output buffer 被认为是 RegularOutput，这两种buffer在一开始就会直接被传递给 OMX 组件。

还有两个问题要注意，初始状态下为什么有surface时，output buffer可能有两个归属呢？这是因为使用有两种情况，我们这里只要求了解 dynamic native window buffer，也就是 BufferInfo 一开始归属于 native window的情况。

这里出现的 fence 我们后面再了解。

1.2、 submitOutputBuffers

上面讲了 regular buffer 是如何提交的，接下来要讲其他buffer是如何提交的。这里的其他指的就是 BufferInfo 中的 graphic buffer 还未分配的情况，之所以要单独拎出来，是因为在提交之前还需要获取 graphic buffer。

调用 submitOutputMetaBuffers 之前要先判断是不是 metadata mode（kPortModeDynamicANWBuffer），我们之前也讲过了，这种模式下，output buffer是动态分配的，一开始是归属于native window的，如果不是这种情况就可以跳过了。

void ACodec::ExecutingState::submitOutputMetaBuffers() {
    // submit as many buffers as there are input buffers with the codec
    // in case we are in port reconfiguring
    for (size_t i = 0; i < mCodec->mBuffers[kPortIndexInput].size(); ++i) {
        BufferInfo *info = &mCodec->mBuffers[kPortIndexInput].editItemAt(i);

        if (info->mStatus == BufferInfo::OWNED_BY_COMPONENT) {
            if (mCodec->submitOutputMetadataBuffer() != OK)
                break;
        }
    }
    if (mCodec->mIsLowLatency) {
        maybePostExtraOutputMetadataBufferRequest();
    }

    // *** NOTE: THE FOLLOWING WORKAROUND WILL BE REMOVED ***
    mCodec->signalSubmitOutputMetadataBufferIfEOS_workaround();
}

看完这段我们要直呼好家伙了，在调用 submitOutputMetadataBuffer 之前会判断 BufferInfo 是否归属于 OWNED_BY_COMPONENT，我们之前刚说过初始状态下，BufferInfo 是归属于 OWNED_BY_NATIVE_WINDOW，也就是说启动一开始，OMX组件是不会获得真正的output buffer的，是不是和我们预期的不一样了呢…

output buffer如何被送给 OMX 组件我们后面会了解到的。

1.3、 postFillThisBuffer

初始状态下，把input buffer送给MediaCodec之前会检查BufferInfo 是否归属于 ACodec，如果是则调用postFillThisBuffer：

void ACodec::BaseState::postFillThisBuffer(BufferInfo *info) {
	// 检查端口是否已经收到eos
    if (mCodec->mPortEOS[kPortIndexInput]) {
        return;
    }

    CHECK_EQ((int)info->mStatus, (int)BufferInfo::OWNED_BY_US);
	// 给 input buffer 设置初始format
    info->mData->setFormat(mCodec->mInputFormat);
    // 提交给 ACodec
    mCodec->mBufferChannel->fillThisBuffer(info->mBufferID);
    // 解除 BufferInfo 对 MediaCodecBuffer 的引用
    info->mData.clear();
    // 设置bufferinfo 状态
    info->mStatus = BufferInfo::OWNED_BY_UPSTREAM;
}
  1. 检查端口是否已经收到eos，如果是则不会把input buffer回传给上层；
  2. 将默认的input format 设置给 mediaCodecBuffer；
  3. 将 MediaCodecBuffer 传递给 MediaCodec；
  4. 解除 BufferInfo 对 MediaCodecBuffer 的引用，填充数据期间，ACodec无法使用该buffer
  5. 将 BufferInfo 状态设置为 OWNED_BY_UPSTREAM，表示input buffer送给上层填充

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1345184.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

GBASE南大通用数据库-GBase 8a MPP Cluster之木桶效应降低技术

GBASE南大通用数据库-GBase 8a MPP Cluster之木桶效应降低技术

几千年前&#xff0c;因为金属冶炼、塑料成型技术不成熟&#xff0c;盛产在水源丰富的江南一带的用来洗衣服、盛水的容器都是用那种木板与竹钉合围并在外部用绳索、皮条之类紧箍起来的木桶&#xff0c;名字叫箍木桶。一个木桶由于老化或者损坏&#xff0c;桶上的个别木板发生断…
阅读更多...
jsp+ssm+mysql实现的酒店预定管理系统项目----计算机毕业设计

jsp+ssm+mysql实现的酒店预定管理系统项目----计算机毕业设计

项目介绍 jspssm框架&#xff08;spring、springMVC、mybaits&#xff09;实现的酒店预定管理系统的源码和视频开发教程。本系统分前台和后台管理两部分&#xff0c;前台实现了用户登录注册、查看房型信息、预定房间、提交订单、查看个人订单、修改个人资料等&#xff0c;后台…
阅读更多...
RestClient操作索引库_创建索引库（二）

RestClient操作索引库_创建索引库（二）

ES官方提供了各种不同语言的客户端&#xff0c;用来操作ES。这些客户端的本质就是组装DSL语句&#xff0c; 通过http请求发送给ES。 官方文档地址: https://www.elastic.co/quide/en/elasticsearch/client/index.html 目录 一、初始化JavaRestClient 1.1.依赖引入 1.2.初始化…
阅读更多...
Getway介绍和使用

Getway介绍和使用

Getway 入门简介 网关搭建步骤&#xff1a; 创建项目&#xff0c;引入nacos服务发现和gateway依赖 配置application.yml&#xff0c;包括服务基本信息、nacos地址、路由 路由配置包括&#xff1a; 路由id&#xff1a;路由的唯一标示 路由目标&#xff08;uri&#xff09;…
阅读更多...
vue 导出 HTML 结构为 Word 文档（.docx）-支持表格、css样式、图片

vue 导出 HTML 结构为 Word 文档（.docx）-支持表格、css样式、图片

在 Web 开发中&#xff0c;有时我们希望用户能够将网页上的 HTML 内容保存为 Word 文档&#xff0c;以便更方便地分享和打印。本文将介绍如何使用 html-docx-js 和 file-saver 这两个 JavaScript 库&#xff0c;实现将 HTML 结构导出为 Word 文档的功能。 工具简介 1. html-d…
阅读更多...
QT编译并部署QtMqtt相关环境+跑测demo【超详细教程】

QT编译并部署QtMqtt相关环境+跑测demo【超详细教程】

文章目录 概要整体架构流程▷下载指定版本的QMqtt源码&#xff1a;▷编译后同步MQTT相关文件&#xff1a; 技术名词解释技术实现步骤详解一、编译源码1、编译报错2、解决思路3、编译通过 二、继续完善mqtt应用环境1、打开编译生成的shadow build文件夹2、同步lib3、同步bin4、同…
阅读更多...
69内网安全-域横向CobaltStrikeSPNRDP

69内网安全-域横向CobaltStrikeSPNRDP

这节课主要讲spn和rdp协议&#xff0c; 案例一域横向移动RDP传递-Mimikatz rdp是什么&#xff0c;rdp是一个远程的链接协议&#xff0c;在linux上面就是ssh协议&#xff0c; 我们在前期信息收集的时候&#xff0c;得到一些hash值和明文密码可以进行一些相关协议的链接的&am…
阅读更多...
用 Node.js 写一个爬虫

用 Node.js 写一个爬虫

自己设计一个网站&#xff0c;然后去爬取别人家页面的数据来做一个自己的网站。哈哈哈&#xff0c;如果自己写着玩可能没啥事&#xff0c;但如果用这个网站来获利&#xff0c;你可能就要被寄律师函了&#xff0c;毕竟这有点‘刑’。这篇文章呢&#xff0c;就带大家爬取豆瓣TOP2…
阅读更多...
Peter算法小课堂—浮点数危机

Peter算法小课堂—浮点数危机

大家先想想下面这个代码运行结果&#xff1a; #include <bits/stdc.h> using namespace std; int main(){double x5.2;double y4.11.1;cout<<(x<y)<<endl;cout<<x-y<<endl;return 0; } 最终发现&#xff0c; &#xff1f;&#xff1f;&…
阅读更多...
HDMI2.1输入转4Port MIPI/LVDS输出,嵌入式SPI闪存固件存储，VR和AR应用首选国产芯片方案-LT6911GXC

HDMI2.1输入转4Port MIPI/LVDS输出,嵌入式SPI闪存固件存储，VR和AR应用首选国产芯片方案-LT6911GXC

描述 LT6911GXC是一款高性能的HDMI2.1到MIPI或LVDS芯片&#xff0c;用于VR/显示应用。 HDCP RX作为HDCP中继器的上游&#xff0c;可配合其他芯片的HDCPTX实现中继器功能。 对于HDMI2.1输入&#xff0c;LT6911GXC可以配置为3/4通道。自适应均衡使其适合于长电缆应用&#xff0c;…
阅读更多...
Python集成开发工具

Python集成开发工具

第二章、IDE&#xff08;PyCharm&#xff09; 一、设置py文件模板 设置模版 二、格式化代码设置 三、PyCharm运行python源文件的模式 第一次按照何种模式执行测试用例&#xff0c;后续都会按照这种方式去执行 普通模式&#xff0c;unittest模式&#xff0c;pytest模式介绍 四…
阅读更多...
C# Onnx yolov8n forklift detection

C# Onnx yolov8n forklift detection

目录 效果 模型 项目 代码 下载 C# Onnx yolov8n forklift detection 效果 模型 Model Properties ------------------------- date&#xff1a;2023-12-25T16:22:05.530078 author&#xff1a;Ultralytics task&#xff1a;detect license&#xff1a;AGPL-3.0 https:/…
阅读更多...
OCP NVME SSD规范解读-4.NVMe IO命令-1

OCP NVME SSD规范解读-4.NVMe IO命令-1

针对NVMe-IO-1到NVMe-IO-14的解读如下&#xff1a; NVMe-IO-1&#xff1a; 设备应支持所有必需的NVMe I/O命令。这是设备能够进行基本数据读写操作的基础要求。NVMe I/O命令包括读、写、删除、擦除等操作&#xff0c;这些是存储设备的核心功能。 NVMe-IO-2&#xff1a; 设备应…
阅读更多...
11、分布式事务高频面试题

11、分布式事务高频面试题

1、什么是分布式事务 在分布式系统中&#xff0c;一个业务因为跨越不同数据库或者跨越不同微服务而包含多个子事务&#xff0c;要求所有子事务同时成功或失败&#xff0c;这就是分布式事务。 比如一个电商系统的下单操作需要请求三个服务来完成&#xff0c;这三个服务分别是&…
阅读更多...
【前端技术】LocalForage数据存储

【前端技术】LocalForage数据存储

✨专栏介绍 在当今数字化时代&#xff0c;Web应用程序已经成为了人们生活和工作中不可或缺的一部分。而要构建出令人印象深刻且功能强大的Web应用程序&#xff0c;就需要掌握一系列前端技术。前端技术涵盖了HTML、CSS和JavaScript等核心技术&#xff0c;以及各种框架、库和工具…
阅读更多...
2022年全球运维大会（GOPS深圳站）-核心PPT资料下载

2022年全球运维大会（GOPS深圳站）-核心PPT资料下载

一、峰会简介 GOPS 主要面向运维行业的中高端技术人员&#xff0c;包括运维、开发、测试、架构师等群体。目的在于帮助IT技术从业者系统学习了解相关知识体系&#xff0c;让创新技术推动社会进步。您将会看到国内外知名企业的相关技术案例&#xff0c;也能与国内顶尖的技术专家…
阅读更多...
Asp .Net Core 集成 FluentValidation 强类型验证规则库

Asp .Net Core 集成 FluentValidation 强类型验证规则库

文章目录 入门程序安装案例&#xff1a;登录 验证器内置验证器自定义验证器编写自定义验证器可重复使用的属性验证器 本地化DI自动验证 官网&#xff1a;https://docs.fluentvalidation.net/en/latest/index.html 入门程序 安装 使用 Visual Studio 中的 NuGet 包管理器控制台…
阅读更多...
maven在pdf转image上的陷阱

maven在pdf转image上的陷阱

在pdf转image上&#xff0c;需要两个插件&#xff1a; <dependency><groupId>org.apache.pdfbox</groupId><artifactId>fontbox</artifactId><version>2.0.4</version></dependency><dependency><groupId>org.xht…
阅读更多...
（2023，提示分布学习，重参数化，正交损失）DreamDistribution：文本到图像扩散模型的提示分布学习

（2023，提示分布学习，重参数化，正交损失）DreamDistribution：文本到图像扩散模型的提示分布学习

DreamDistribution: Prompt Distribution Learning for Text-to-Image Diffusion Models 公众&#xff1a;EDPJ&#xff08;添加 VX&#xff1a;CV_EDPJ 或直接进 Q 交流群&#xff1a;922230617 获取资料&#xff09; 目录 0. 摘要 1. 方法 1.1 文本到图像扩散 1.2 提示…
阅读更多...
utf8mb4_0900_ai_ci、utf8mb4_0900_as_ci、utf8mb4_0900_as_cs 这三者有什么区别

utf8mb4_0900_ai_ci、utf8mb4_0900_as_ci、utf8mb4_0900_as_cs 这三者有什么区别

utf8mb4_0900_ai_ci, utf8mb4_0900_as_ci, 和 utf8mb4_0900_as_cs 是 MySQL 数据库中使用的字符集和校对规则。这些校对规则决定了如何比较和排序字符数据。它们属于 utf8mb4 字符集&#xff0c;这是 UTF-8 编码的超集&#xff0c;支持最多 4 个字节的字符&#xff0c;能够存储…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023