codec2play流程总结

news2024/11/23 7:03:27

Codec2.0(C2)是android系统为vendor提供的用于实现video/audio/filter模块的的HAL层接口API，vendor可用这个API实现他们自己的HAL层，Codec2.0是用于替换现有的OMX-IL。

在这里插入图片描述

数据流程

C2LinearBlock创建share ptr类型block，fetchLinearBlock对block进行初始化，block->map().get()得到C2WriteView对象，然后进行input数据拷贝。

在这里插入图片描述

    std::atomic_int mLinearPoolId;
    std::shared_ptr<C2Allocator> mAllocIon;
    std::shared_ptr<C2BlockPool> mLinearPool;


    // create allocator store
    std::shared_ptr<C2AllocatorStore> store = GetCodec2PlatformAllocatorStore();
    CHECK_EQ(store->fetchAllocator(C2AllocatorStore::DEFAULT_LINEAR, &mAllocIon), C2_OK);
    mLinearPool = std::make_shared<C2PooledBlockPool>(mAllocIon, mLinearPoolId++);

    mLinearPool.reset(new C2PooledBlockPool(mAllocIon, mLinearPoolId++));

    // create block
    std::shared_ptr<C2LinearBlock> block;
    mLinearPool->fetchLinearBlock(
        size,
        {C2MemoryUsage::CPU_READ, C2MemoryUsage::CPU_WRITE},
        &block);

    // Write view provides read/write access for a linear memory segment
    C2WriteView view = block->map().get();
    if (view.error() != C2_OK) {
        fprintf(stderr, "get C2WriteView failed : %d.", view.error());
        break;
    }


    // into work-input
    memcpy(view.base(), data, size);
    work->input.buffers.clear();
    work->input.buffers.emplace_back(new LinearBuffer(block));
    work->worklets.clear();
    work->worklets.emplace_back(new C2Worklet);

surface创建流程

Codec2中创建使用surface通过这几个类接口完成：Surface，SurfaceComposerClient，SurfaceControl。

frameworks/native/include/gui/Surface.h

frameworks/native/include/gui/SurfaceControl.h

frameworks/native/include/gui/IGraphicBufferProducer.h

frameworks/native/include/gui/ISurfaceComposerClient.h

sp<Surface> mSurface;
sp<SurfaceComposerClient> mComposerClient;
sp<SurfaceControl> mControl;


mComposerClient = new SurfaceComposerClient();
CHECK_EQ(mComposerClient->initCheck(), (status_t)OK);

// 调用createSurface创建Surface，保存在SurfaceControl的mNativeObject对象中
mControl = mComposerClient->createSurface(
    String8("A Surface"),
    1280,
    800,
    HAL_PIXEL_FORMAT_YV12);

CHECK(mControl != nullptr);
CHECK(mControl->isValid());

SurfaceComposerClient::Transaction{}
.setLayer(mControl, INT_MAX)
    .show(mControl)
    .apply();

// 调用getSurface对象，然后返回surface对象
mSurface = mControl->getSurface();
CHECK(mSurface != nullptr);
mSurface->connect(NATIVE_WINDOW_API_CPU, mProducerListener);

frameworks/native/libs/nativewindow/include/system/window.h

// parameter for NATIVE_WINDOW_[API_][DIS]CONNECT
NATIVE_WINDOW_API_EGL
NATIVE_WINDOW_API_CPU
NATIVE_WINDOW_API_MEDIA
NATIVE_WINDOW_API_CAMERA

output数据流程

处理output，先获取output的graphic block，然后创建IGraphicBufferProducer::QueueBufferInput，然后通过mComponent->queueToOutputSurface将block送给OutputSurface，这个过程没有数据拷贝，用的都是graphicbuffer的内存映射。

// getIGraphicBufferProducer可以继续用吗？
const sp<IGraphicBufferProducer> &producer = mSurface->getIGraphicBufferProducer();
uint32_t generation = (getpid() << 10);
C2BlockPool::local_id_t outputPoolId = C2BlockPool::BASIC_LINEAR;

producer->setGenerationNumber(generation);
if (mComponent->setOutputSurface(
    outputPoolId,
    producer,
    generation) != C2_OK) {
    fprintf(stderr, "setSurface: component setOutputSurface failed.\n");
    return;
}


const C2ConstGraphicBlock block = output->data().graphicBlocks().front();
fprintf(stderr, "%d got block.\n", gettid());

// TODO: revisit this after C2Fence implementation.
android::IGraphicBufferProducer::QueueBufferInput qbi(
    (work->worklets.front()->output.ordinal.timestamp * 1000ll).peekll(),
    false,  // droppable
    HAL_DATASPACE_UNKNOWN,
    Rect(block.width(), block.height()),
    // the buffer is scaled in both dimensions to match the window size
    NATIVE_WINDOW_SCALING_MODE_SCALE_TO_WINDOW,
    0,
    Fence::NO_FENCE,
    0);

// 这部分在CCodecBufferChannel中也是这么用的
qbi.setSurfaceDamage(Region::INVALID_REGION);
android::IGraphicBufferProducer::QueueBufferOutput qbo;
status_t result = mComponent->queueToOutputSurface(block, qbi, &qbo);
if (result != OK) {
    fprintf(stderr, "queueBuffer failed: %d", result);
    return;
}

硬解码是通过GraphicBuffer将output buffer送给component的output surface显示的：

media/codec2/hidl/1.0/utils/OutputBufferQueue.cpp

mComponent->queueToOutputSurface会调用OutputBufferQueue::outputBuffer:

status_t OutputBufferQueue::outputBuffer(
        const C2ConstGraphicBlock& block,
        const BnGraphicBufferProducer::QueueBufferInput& input,
        BnGraphicBufferProducer::QueueBufferOutput* output) {
    uint32_t generation;
    uint64_t bqId;
    int32_t bqSlot;
    bool display = displayBufferQueueBlock(block);
    if (!getBufferQueueAssignment(block, &generation, &bqId, &bqSlot) ||
        bqId == 0) {
        // Block not from bufferqueue -- it must be attached before queuing.

        mMutex.lock();
        sp<IGraphicBufferProducer> outputIgbp = mIgbp;
        uint32_t outputGeneration = mGeneration;
        mMutex.unlock();

        status_t status = attachToBufferQueue(
                block, outputIgbp, outputGeneration, &bqSlot);
        if (status != OK) {
            LOG(WARNING) << "outputBuffer -- attaching failed.";
            return INVALID_OPERATION;
        }

        status = outputIgbp->queueBuffer(static_cast<int>(bqSlot),
                                     input, output);
        if (status != OK) {
            LOG(ERROR) << "outputBuffer -- queueBuffer() failed "
                       "on non-bufferqueue-based block. "
                       "Error = " << status << ".";
            return status;
        }
        return OK;
    }

    mMutex.lock();
    sp<IGraphicBufferProducer> outputIgbp = mIgbp;
    uint32_t outputGeneration = mGeneration;
    uint64_t outputBqId = mBqId;
    mMutex.unlock();

    if (!outputIgbp) {
        LOG(VERBOSE) << "outputBuffer -- output surface is null.";
        return NO_INIT;
    }

    if (!display) {
        LOG(WARNING) << "outputBuffer -- cannot display "
                     "bufferqueue-based block to the bufferqueue.";
        return UNKNOWN_ERROR;
    }
    if (bqId != outputBqId || generation != outputGeneration) {
        int32_t diff = (int32_t) outputGeneration - (int32_t) generation;
        LOG(WARNING) << "outputBuffer -- buffers from old generation to "
                     << outputGeneration << " , diff: " << diff
                     << " , slot: " << bqSlot;
        return DEAD_OBJECT;
    }

    status_t status = outputIgbp->queueBuffer(static_cast<int>(bqSlot),
                                          input, output);
    if (status != OK) {
        LOG(ERROR) << "outputBuffer -- queueBuffer() failed "
                   "on bufferqueue-based block. "
                   "Error = " << status << ".";
        return status;
    }
    return OK;
}

C2work queue

C2Work的 work queue管理input和output，先queue进去8个C2Work，然后读数据的时候依次从work queue
里面取得work填好数据，送给decoder，然后解码后还回来一个C2Work，从解码回来的C2Work中取得output，output送给surface之后，将该work的input.buffers，worklets清空，放进work queue里面。

// 从work qeue获取可用buffer，如果是空等100m继续从qeue中可用buffer
std::unique_ptr<C2Work> work;
while (!work) {
    ULock l(mQueueLock);
    if (!mWorkQueue.empty()) {
        work.swap(mWorkQueue.front());
        mWorkQueue.pop_front();
        fprintf(stderr, "pop work from work queue.\n");
    } else {
        fprintf(stderr, "wait_for work queue.\n");
        mQueueCondition.wait_for(l, 100ms);
    }
}


// 拿到work后将数据block发给你倒buffers中，并清空worklets，放一个新的C2Work到worklets中
work->input.flags = (C2FrameData::flags_t)0;
work->input.ordinal.timestamp = timestamp;
work->input.ordinal.frameIndex = numFrames;

work->input.buffers.clear();
work->input.buffers.emplace_back(new LinearBuffer(block));
work->worklets.clear();
work->worklets.emplace_back(new C2Worklet);



// 解码后的数据通过onWorkDone回调传回来C2Work类型的item
for (auto &item : workItems) {
    mProcessedWork.push_back(std::move(item));
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/781663.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【每日一题Day274】LC42接雨水 | 单调栈

【每日一题Day274】LC42接雨水 | 单调栈

接雨水【LC42】[面试常见] 给定 n 个非负整数表示每个宽度为 1 的柱子的高度图&#xff0c;计算按此排列的柱子&#xff0c;下雨之后能接多少雨水。 按列求贡献&#xff1a;枚举 首先确定按行计算雨水&#xff0c;还是按列确定雨水 按行计算&#xff1a; 按列计算&#xff1…
阅读更多...
SpringBoot之jackson之复杂XML和Object互转、泛型、传参/接参

SpringBoot之jackson之复杂XML和Object互转、泛型、传参/接参

引入依赖 <!-- lombok插件 --><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><!-- jackson xml 转换工具 --><dependency><…
阅读更多...
自然语言处理实战项目13-基于GRU模型与NER的关键词抽取模型训练全流程

自然语言处理实战项目13-基于GRU模型与NER的关键词抽取模型训练全流程

大家好&#xff0c;我是微学AI&#xff0c;今天给大家介绍一下自然语言处理实战项目13-基于GRU模型与NER的关键词抽取模型训练全流程。本文主要介绍关键词抽取样例数据、GRU模型模型构建与训练、命名实体识别(NER)、模型评估与应用&#xff0c;项目的目标是通过训练一个GRU模型…
阅读更多...
crmeb部署

crmeb部署

安装宝塔 教程 安装所需要的软件 php mysql5.7 redis fileinfo nginx 安装crmeb 重启mysql 前台http://192.168.216.128/ 后台http://192.168.216.128/admin admin admin888登录 访问前台
阅读更多...
GOF 代理模式

GOF 代理模式

1.需求 &#xff08;1&#xff09;&#xff1a;在程序中&#xff0c;对象A和对象B无法直接交互时。 &#xff08;2&#xff09;&#xff1a;在程序中&#xff0c;功能需要增强时。 &#xff08;3&#xff09;&#xff1a;在程序中&#xff0c;目标需要被保护时 代理模式中有一…
阅读更多...
使用html和css技巧提升网站加载速度

使用html和css技巧提升网站加载速度

使用html和css技巧提升网站加载速度 加载时间每增加一秒&#xff08;0-5 秒之间&#xff09;&#xff0c;网站转化率平均就会下降 4.42%。页面加载时间的前五秒对转化率的影响最大。 通过更改html和css文件可以提高网站的页面加载速度,本文现在就来介绍一下怎么实现。 延迟加载…
阅读更多...
51单片机--AT24C02数据存储

51单片机--AT24C02数据存储

文章目录 存储器的介绍AT24C02I2C总线I2C时序结构AT24C02数据帧AT24C02数据存储实例 存储器的介绍 存储器是计算机系统中的一种重要设备&#xff0c;用于存储程序和数据&#xff0c;它可以通过电子、磁性介质等技术来记录和保持数据。在这里&#xff0c;主要介绍的是随机存储器…
阅读更多...
Java SPI机制：扩展Java应用的灵活性与可插拔性

Java SPI机制：扩展Java应用的灵活性与可插拔性

文章目录 引言1. Java SPI机制简介2. Java SPI的工作原理2.1. 定义服务接口2.2. 编写服务提供者2.3. 创建SPI配置文件2.4. 使用Service Loader加载服务2.5. 客户端代码调用服务 3. 实例演示HelloEnService .javaHelloZhServiceImpl .javaMETA-INF/services/com.gpj.spi.HelloSe…
阅读更多...
Blazor前后端框架Known-V1.2.6

Blazor前后端框架Known-V1.2.6

V1.2.6 Known是基于C#和Blazor开发的前后端分离快速开发框架&#xff0c;开箱即用&#xff0c;跨平台&#xff0c;一处代码&#xff0c;多处运行。 Gitee&#xff1a; https://gitee.com/known/KnownGithub&#xff1a;https://github.com/known/Known 概述 基于C#和Blazor…
阅读更多...
kubesphere安装中间件

kubesphere安装中间件

kubesphere安装mysql 创建configMap [client] default-character-setutf8mb4[mysql] default-character-setutf8mb4[mysqld] init_connectSET collation_connection utf8mb4_unicode_ci init_connectSET NAMES utf8mb4 character-set-serverutf8mb4 collation-serverutf8mb4_…
阅读更多...
Nuxt 菜鸟入门学习笔记一：介绍与安装

Nuxt 菜鸟入门学习笔记一：介绍与安装

文章目录 介绍 Introduction自动化和惯例服务器端渲染服务器引擎生产就绪模块化架构 安装 Installation准备安装 Nuxt官网地址&#xff1a; https://nuxt.com/ 介绍 Introduction Nuxt 是一个免费的开源框架&#xff0c;以直观和可扩展的方式使用 Vue.js 创建类型安全、高性能…
阅读更多...
在线科学计算器-包含开N次方根,指数计算,三角函数，反三角函数,取余,分数转小数计算器

在线科学计算器-包含开N次方根,指数计算,三角函数，反三角函数,取余,分数转小数计算器

具体请前往&#xff1a;在线科学计算器
阅读更多...
SQL篇-04_SQL进阶挑战-02_ 表与索引操作

SQL篇-04_SQL进阶挑战-02_ 表与索引操作

SQL118 创建一张新表 描述 现有一张用户信息表&#xff0c;其中包含多年来在平台注册过的用户信息&#xff0c;随着牛客平台的不断壮大&#xff0c;用户量飞速增长&#xff0c;为了高效地为高活跃用户提供服务&#xff0c;现需要将部分用户拆分出一张新表。 原来的用户信息表&…
阅读更多...
【指针和数组笔试题（1）】详解指针、数组笔试题

【指针和数组笔试题（1）】详解指针、数组笔试题

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言整型数组字符数组第一组题第二组题第三组题 总结 前言 在计算之前要了解基本概念&#xff1a; 数组名的理解 数组名是数组首元素的地址 有两个例外 1.sizeof(…
阅读更多...
小白到运维工程师自学之路 第五十八集 （zabbix监控数据库）

小白到运维工程师自学之路 第五十八集 （zabbix监控数据库）

一、为server.Zabbix.com添加服务模板 二、配置数据库 cd /usr/local/zabbix/etc/ vim zabbix_agentd.conf 添加配置项 UnsafeUserParameters1 //允许所有字符的参数传递给用户定义的参数。 UserParametermysql.version,mysql -V //定义键值mysql.version&a…
阅读更多...
Windows11的VTK安装：VS201x+Qt5/Qt6 +VTK7.1/VTK9.2.6

Windows11的VTK安装：VS201x+Qt5/Qt6 +VTK7.1/VTK9.2.6

需要提前安装好VS2017和VS2019和Qt VS开发控件以及Qt VS-addin。 注意Qt6.2.4只能跟VTK9.2.6联合编译&#xff08;目前VTK9和Qt6的相互支持版本&#xff09;。 首先下载VTK&#xff0c;需要下载源码和data&#xff1a; Download | VTKhttps://vtk.org/download/ 然后这两个文…
阅读更多...
word图自动编号引用

word图自动编号引用

一.引用&#xff0c;插入题注&#xff0c;新建标签&#xff0c;图1-&#xff0c;这样生成的就是图1-1这种&#xff0c;确定 再添加图片就点击添加题注就行&#xff0c;自动生成图1-2这种 二.图例保存为书签 插入&#xff0c;书签&#xff0c;书签命名&#xff0c;如图1 三…
阅读更多...
hashCode() 相关问题

hashCode() 相关问题

# hashCode() 有什么用&#xff1f; hashCode() 的作用是获取哈希码&#xff08;int 整数&#xff09;&#xff0c;也称为散列码。这个哈希码的作用是确定该对象在哈希表中的索引位置。 hashCode() 方法 hashCode() 定义在 JDK 的 Object 类中&#xff0c;这就意味着 Java 中…
阅读更多...
【代码随想录17】平衡二叉树

【代码随想录17】平衡二叉树

题目 给定一个二叉树&#xff0c;判断它是否是高度平衡的二叉树。 本题中&#xff0c;一棵高度平衡二叉树定义为&#xff1a; 一个二叉树每个节点 的左右两个子树的高度差的绝对值不超过 1 。 示例 1&#xff1a; 思路 定义一个方法计算给定root的树高度&#xff0c;注意区分…
阅读更多...
数学建模-时间序列分析 实例

数学建模-时间序列分析 实例

实例1销量数据预测和实例2人口数据预测实例3上证指数预测和实例4gdp增长率预测 数据-定义时间 不加置信区间清晰点 例二 实例3
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023