Android MediaCodec 简明教程（九）：使用 MediaCodec 解码到纹理，使用 OpenGL ES 进行处理，并编码为 MP4 文件

news2025/1/20 2:39:51

系列文章目录

  1. Android MediaCodec 简明教程（一）：使用 MediaCodecList 查询 Codec 信息，并创建 MediaCodec 编解码器
  2. Android MediaCodec 简明教程（二）：使用 MediaCodecInfo.CodecCapabilities 查询 Codec 支持的宽高，颜色空间等能力
  3. Android MediaCodec 简明教程（三）：详解如何在同步与异步模式下，使用MediaCodec将视频解码到ByteBuffers，并在ImageView上展示
  4. Android MediaCodec 简明教程（四）：使用 MediaCodec 将视频解码到 Surface，并使用 SurfaceView 播放视频
  5. Android MediaCodec 简明教程（五）：使用 MediaCodec 编码 ByteBuffer 数据，并保存为 MP4 文件
  6. Android MediaCodec 简明教程（六）：使用 EGL 和 OpenGL 绘制图像到 Surface 上，并通过 MediaCodec 编码 Surface 数据，并保存到 MP4 文件
  7. Android MediaCodec 简明教程（七）：使用 MediaCodec 解码到 OES 纹理上
  8. Android MediaCodec 简明教程（八）：使用 MediaCodec 解码到纹理，使用 OpenGL ES 进行处理并显示在 GLSurfaceView 上

前言

在上一章节，我们已经探讨了如何使用 OpenGL ES 处理解码后的纹理，将彩色画面转换为灰色画面，并在 GLSurfaceView 上展示。在本章节，我们将研究如何将处理后的视频帧保存为本地的 MP4 文件。
本文所有代码可以在 DecodeEditEncodeActivity.kt 找到

数据流

在这里插入图片描述
整体流程可以大致描述为: Demuxer -> MediaCodec Decoder -> Edit -> MediaCodec Encoder -> Muxer

我们选择 Surface 作为视频数据传递的介质，其中 Surface 中的 Buffer Queue 起着关键作用。在这个流程中，我们需要关注每个 Surface 的生产者和消费者，以便清晰地理解数据的流向。

  1. Demuxer 负责解封装，将压缩数据传递给 MediaCodec 解码器。
  2. MediaCodec 解码器负责解码，将解码后的数据写入 Surface 的 Buffer Queue 中。
  3. SurfaceTexture 作为消费者获取到 Buffer 后，将视频数据绘制到 OES 纹理上。
  4. 使用 OpenGL ES API 将 OES 纹理绘制到编码器的 Surface 上，绘制过程中可以进行图像处理工作。此时，OpenGL 是该 Surface Buffer Queue 的生产者。
  5. MediaCodec 编码器收到 Buffer 后负责将其编码压缩。
  6. 编码压缩后的数据由 Muxer 进行封装，最终写入 MP4 文件中。

通过以上流程，视频数据经过解封装、解码、编辑、编码和封装等步骤，最终生成了一个完整的视频文件。

发生了编码卡死的问题

我在编写本章代码时遇到了卡死的问题，线程卡在 glColor 或者 glDrawElements 等 OpenGL 绘制 API 上，并且在华为手机上是必现的，但在小米手机上却没能复现。经过排查，我找到了原因：编码器的 Surface Buffer Queue 满了，导致在调用绘制 api 时，阻塞了当前线程。

那么，问题一：为什么编码器的 Surface 满了？这是因为我们使用的是 MediaCodec 的异步模式，无论是编码还是解码；并且通过 Debug 你就会知道，编码器和解码器虽然是两个 MediaCodec 实例，但它们的回调函数却在同一个线程中执行。于是乎，当出现解码器任务比较多的时候，编码器的 Surface 就可能满，导致卡死。如下图。
在这里插入图片描述

问题二，为什么华为手机上必现，小米手机却是正常的。通过日志我发现华为手机上 Surface Buffer Queue 大小为 5，而小米手机是 15，这就导致了小米手机上比较难出现 Buffer Quque 满了导致卡死的问题，但实际上也只是概率比较小，在极限情况仍然可能出现卡死的问题。

知道卡死的原因后如何修复？其实也很简单，我们让编解码器的回调函数执行在不同线程下即可，这部分在代码中会有说明。

Show me the code

先看下整体流程的代码：

private fun decodeASync() {
	var done = AtomicBoolean(false)
    // setup extractor
    val mediaExtractor = MediaExtractor()
    resources.openRawResourceFd(R.raw.h264_720p).use {
        mediaExtractor.setDataSource(it)
    }
    val videoTrackIndex = 0
    mediaExtractor.selectTrack(videoTrackIndex)
    val inputVideoFormat = mediaExtractor.getTrackFormat(videoTrackIndex)
    val videoWidth = inputVideoFormat.getInteger(MediaFormat.KEY_WIDTH)
    val videoHeight = inputVideoFormat.getInteger(MediaFormat.KEY_HEIGHT)
    Log.i(TAG, "get video width: $videoWidth, height: $videoHeight")
    
    // setup muxer
    val outputDir = externalCacheDir
    val outputName = "decode_edit_encode_test.mp4"
    val outputFile = File(outputDir, outputName)
    val muxer = MediaMuxer(outputFile.absolutePath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)
    var muxerSelectVideoTrackIndex = 0
    
    // create encoder
    val mimeType = MediaFormat.MIMETYPE_VIDEO_AVC
    val outputFormat = MediaFormat.createVideoFormat(mimeType, videoWidth, videoHeight)
    val colorFormat = MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface
    val videoBitrate = 2000000
    val frameRate = 30
    val iFrameInterval = 60
    outputFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, colorFormat)
    outputFormat.setInteger(MediaFormat.KEY_BIT_RATE, videoBitrate)
    outputFormat.setInteger(MediaFormat.KEY_FRAME_RATE, frameRate)
    outputFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, iFrameInterval)
    val codecList = MediaCodecList(MediaCodecList.REGULAR_CODECS)
    val encodeCodecName = codecList.findEncoderForFormat(outputFormat)
    val encoder = MediaCodec.createByCodecName(encodeCodecName)
    Log.i(TAG, "create encoder with format: $outputFormat")
    
    // set encoder callback
    encoder.setCallback(...)
    encoder.configure(outputFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
  
    // create input surface and egl context for opengl rendering
    val inputSurface = InputSurface(encoder.createInputSurface())
    inputSurface.makeCurrent()
    
    // create decoder
    val decodeCodecName = codecList.findDecoderForFormat(inputVideoFormat)
    val decoder = MediaCodec.createByCodecName(decodeCodecName)
    
    // create output surface texture
    val textureRenderer = TextureRenderer2()
    val surfaceTexture = SurfaceTexture(textureRenderer.texId)
    val outputSurface = Surface(surfaceTexture)
    inputSurface.releaseEGLContext()
    val thread = HandlerThread("FrameHandlerThread")
    thread.start()
    surfaceTexture.setOnFrameAvailableListener({
        Log.d(TAG, "setOnFrameAvailableListener")
        synchronized(lock) {
            if (frameAvailable)
                Log.d(
                    TAG,
                    "Frame available before the last frame was process...we dropped some frames"
                )
            frameAvailable = true
            lock.notifyAll()
        }
    }, Handler(thread.looper))
    val texMatrix = FloatArray(16)
    
    // set callback
    val maxInputSize = inputVideoFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE)
    val inputBuffer = ByteBuffer.allocate(maxInputSize)
    val bufferInfo = MediaCodec.BufferInfo()
    val videoDecoderHandlerThread = HandlerThread("DecoderThread")
    videoDecoderHandlerThread.start()
    decoder.setCallback(..., Handler(videoDecoderHandlerThread.looper))
    
    // config decoder
    decoder.configure(inputVideoFormat, outputSurface, null, 0)
    decoder.start()
    encoder.start()
    
    // wait for done
    while(!done.get())
    {
        Thread.sleep(10)
    }
    Log.d(TAG, "finished")
    
    // release resources
    Log.d(TAG, "release resources...")
    mediaExtractor.release()
    decoder.stop()
    decoder.release()
    surfaceTexture.release()
    outputSurface.release()
    encoder.stop()
    encoder.release()
    muxer.stop()
    muxer.release()
    Log.d(TAG, "release resources end...")
}
  1. 创建一个MediaExtractor实例，用于从原始资源文件中提取视频轨道。
  2. 选择要处理的视频轨道，并获取其格式、宽度和高度。
  3. 创建一个 MediaMuxer 实例，用于将编码后的视频数据写入到输出文件。
  4. 创建一个 MediaCodec 实例，用于编码视频数据。编码器的配置包括视频格式、颜色格式、比特率、帧率和关键帧间隔。
  5. 利用 MediaCodec Encoder 创建一个输入 Surface 和一个 EGL Context，用于 OpenGL 渲染。注意这里，我们创建了一个 EGL Context，也就意味着可以在当前线程调用 OpenGL 相关的 API。
  6. 创建一个 MediaCodec 解码器，用于解码输入视频数据。
  7. 创建一个 SurfaceTexture，并通过它创建一个解码输出的 Surface。注意，创建 SurfaceTexture 前我们创建了 TextureRenderer2，而 TextureRenderer2.texId 是通过 OpenGL API 来创建的，我们要确保当前线程有 EGL Context 才能够调用 GL API；此外，我们还创建了一个线程，用来setOnFrameAvailableListener 回调函数，原因在上一章中我已经解释过了，不再赘述。
  8. 设置解码器的回调函数，用于处理解码后的视频帧。注意，我们创建了一个解码线程用来处理解码器的回调函数，原因正如我在分析卡死问题时提到的那样。
  9. 配置解码器，并启动解码器和编码器。
  10. 在一个循环中等待解码和编码过程完成。
  11. 释放所有使用的资源，包括MediaExtractor、解码器、表面纹理、输出表面、编码器和MediaMuxer。

上面的过程除了一些 GL Context、线程等细节外，整体上还是比较容易理解的。接下来，我们看解码器和编码器的回调函数，这才是真正干活的地方。

encoder.setCallback(object : MediaCodec.Callback() {
    override fun onInputBufferAvailable(codec: MediaCodec, index: Int) {
    }

    override fun onOutputBufferAvailable(
        codec: MediaCodec,
        index: Int,
        info: MediaCodec.BufferInfo
    ) {
        val isEncodeDone = (info.flags and MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0
        if (isEncodeDone) {
            info.size = 0
            done.set(true)
        }

        // got encoded frame, write it to muxer
        if (info.size > 0) {
            val encodedData = codec.getOutputBuffer(index)
            muxer.writeSampleData(muxerSelectVideoTrackIndex, encodedData!!, info)
            codec.releaseOutputBuffer(index, info.presentationTimeUs * 1000)
        }
    }

    override fun onError(codec: MediaCodec, e: MediaCodec.CodecException) {
    }

    override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) {
        muxerSelectVideoTrackIndex = muxer.addTrack(format)
        muxer.start()
    }
 });

编码器的回调函数逻辑比较简单：

  1. onOutputBufferAvailable ，当编码器的输出缓冲区有数据可用时，此函数会被调用。在这个函数中，你可以从输出缓冲区获取编码后的数据。在这段代码中，首先检查是否已经到达流的结束，如果是，则设置done标志为true。然后，如果输出缓冲区的数据大小大于0，就将编码后的数据写入到muxer，然后释放输出缓冲区。
  2. onOutputFormatChanged，当编码器的输出格式发生改变时，此函数会被调用。在这段代码中，当输出格式改变时，将新的格式添加到muxer，然后启动muxer。
decoder.setCallback(object : MediaCodec.Callback() {
    override fun onInputBufferAvailable(codec: MediaCodec, inputBufferId: Int) {
        val isExtractorReadEnd =
            getInputBufferFromExtractor(mediaExtractor, inputBuffer, bufferInfo)
        if (isExtractorReadEnd) {
            codec.queueInputBuffer(
                inputBufferId, 0, 0, 0,
                MediaCodec.BUFFER_FLAG_END_OF_STREAM
            )
        } else {
            val codecInputBuffer = codec.getInputBuffer(inputBufferId)
            codecInputBuffer!!.put(inputBuffer)
            codec.queueInputBuffer(
                inputBufferId,
                0,
                bufferInfo.size,
                bufferInfo.presentationTimeUs,
                bufferInfo.flags
            )
            mediaExtractor.advance()
        }
    }
    override fun onOutputBufferAvailable(
        codec: MediaCodec,
        index: Int,
        info: MediaCodec.BufferInfo
    ) {
        if (info.flags and MediaCodec.BUFFER_FLAG_CODEC_CONFIG != 0) {
            codec.releaseOutputBuffer(index, false)
            return
        }
        val render = info.size > 0
        codec.releaseOutputBuffer(index, render)
        if (render) {
            waitTillFrameAvailable()
            val ptsNs = info.presentationTimeUs * 1000
            inputSurface.makeCurrent()
            surfaceTexture.updateTexImage()
            surfaceTexture.getTransformMatrix(texMatrix)
            // draw oes text to input surface
            textureRenderer.draw(videoWidth, videoWidth, texMatrix, getMvp())
            inputSurface.setPresentationTime(ptsNs)
            inputSurface.swapBuffers()
            inputSurface.releaseEGLContext()
        }
        if (info.flags and MediaCodec.BUFFER_FLAG_END_OF_STREAM != 0) {
            encoder.signalEndOfInputStream()
        }
    }
    override fun onError(codec: MediaCodec, e: MediaCodec.CodecException) {
    }
    override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) {
    }
    }, Handler(videoDecoderHandlerThread.looper))
  1. onInputBufferAvailable，当解码器需要输入数据时调用。在该回调函数中，首先通过调用getInputBufferFromExtractor()方法从MediaExtractor中获取输入数据，并将数据放入解码器的输入缓冲区中。如果已经读取到了Extractor的末尾，则向解码器的输入缓冲区发送结束标志。否则，将输入数据放入解码器的输入缓冲区，并调用advance()方法继续读取下一帧数据。
  2. onOutputBufferAvailable，当解码器的输出缓冲区有数据可用时，此函数会被调用。在这个函数中，你可以从输出缓冲区获取解码后的数据。在这段代码中，首先检查输出缓冲区的数据是否是编解码器配置数据，如果是，则释放输出缓冲区并返回。然后，如果输出缓冲区的数据大小大于0，就将解码后的数据渲染到 Surface。最后，如果已经到达流的结束，就向编码器发送流结束的信号。注意，为了绘制数据到 Surface 上，我们要确保当前线程有 EGL Context 环境，因此调用了 inputSurface.makeCurrent()；接着，inputSurface.setPresentationTime 设置 PTS，然后使用 inputSurface.swapBuffers() 来交换 Buffer，告诉编码器来了一帧数据；最后 inputSurface.releaseEGLContext 来解除当前的 EGL 环境。

参考

  • DecodeEditEncodeActivity.kt
  • android-decodeencodetest

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1719607.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【传知代码】双深度学习模型实现结直肠癌检测（论文复现）

【传知代码】双深度学习模型实现结直肠癌检测（论文复现）

前言：在医学领域，科技的进步一直是改变人类生活的关键驱动力之一。随着深度学习技术的不断发展，其在医学影像诊断领域的应用正日益受到关注。结直肠癌是一种常见但危害极大的恶性肿瘤，在早期发现和及时治疗方面具有重要意义。然而…
阅读更多...
【VSCode】快捷方式log去掉分号

【VSCode】快捷方式log去掉分号

文章目录 一、引入二、解决办法 一、引入 我们使用 log 快速生成的 console.log() 都是带分号的 但是我们的编程习惯都是不带分号，每次自动生成后还需要手动删掉分号，太麻烦了！ 那有没有办法能够生成的时候就不带分号呢？自然是有…
阅读更多...
C++ 特殊运算符

C++ 特殊运算符

一 赋值运算符 二 等号作用 三 优先级和结合顺序 四 左值和右值 五 字节数运算符 条件运算符 使用条件运算符注意 逗号运算符 优先级和结合顺序 总结
阅读更多...
如何修改开源项目中发现的bug？

如何修改开源项目中发现的bug？

如何修改开源项目中发现的bug？ 目录 如何修改开源项目中发现的bug？第一步：找到开源项目并建立分支第二步：克隆分支到本地仓库第三步：在本地对项目进行修改第四步：依次使用命令行进行操作注意：Gi…
阅读更多...
平衡二叉树的应用举例

平衡二叉树的应用举例

AVL 是一种自平衡二叉搜索树，其中任何节点的左右子树的高度之差不能超过 1。 AVL树的特点： 1、它遵循二叉搜索树的一般属性。 2、树的每个子树都是平衡的，即左右子树的高度之差最多为1。 3、当插入新节点时，树会自我平衡。因此…
阅读更多...
生信服务器配置选择说明

生信服务器配置选择说明

阿小云整理关于生信云服务器的配置选择攻略，生物信息服务器需要强大的计算能力和大容量存储，超高计算能力可以应对生物数据分析计算，如大规模基因序列比对等，大容量存储可以用来存储各种基因组、蛋白质组等数据。 生信服务器配置选…
阅读更多...
Superset二次开发之更新 SECRET_KEY

Superset二次开发之更新 SECRET_KEY

SECRET_KEY 的作用 加密和签名：SECRET_KEY用于对敏感数据（如会话、cookie、CSRF令牌）进行加密和签名，防止数据被篡改。安全性：确保应用的安全性，防止跨站请求伪造（CSRF）攻击和会话劫持等安全问题。如何生成 SECRET_KEY openssl rand -base64 42 配置 SECRET_KEY 在sup…
阅读更多...
VisualSVN Server/TortoiseSVN更改端口号

VisualSVN Server/TortoiseSVN更改端口号

文章目录 概述VisualSVN Server端更改端口号TortoiseSVN客户端更改远程仓库地址 概述 Subversion（SVN）是常用的版本管理系统之一。部署在服务器上的SVN Server端通常会在端口号80，或者端口号443上提供服务。其中80是HTTP访问方式的默认端口。…
阅读更多...
虚拟现实环境下的远程教育和智能评估系统（三）

虚拟现实环境下的远程教育和智能评估系统（三）

本周继续进行开发工具的选择与学习，基本了解了以下技术栈的部署应用； 一、Seata： Seata（Simple Extensible Autonomous Transaction Architecture）是一款开源的分布式事务解决方案，旨在提供高性能和简单易…
阅读更多...
创新实训2024.05.29日志：评测数据集与baseline测试

创新实训2024.05.29日志：评测数据集与baseline测试

1. 评测工作 在大模型微调和RAG工作都在进行的同时，我们搭建了一套评测数据集。这套数据集有山东大学周易研究中心背书。主要考察大模型对于易学基本概念与常识的理解与掌握能力。 1.1. 构建评测集 在周易研究中心的指导下，我们构建出了一套用以考察大…
阅读更多...
【并查集】专题练习

【并查集】专题练习

题目列表 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 模板 836. 合并集合 - AcWing题库 #include<bits/stdc.h> using lllong long; //#define int ll const int N1e510,mod1e97; int n,m; int p[N],sz[N]; int find(int a) {if(p[a]!a) p[a]find(p[a]);return p[a…
阅读更多...
数据结构：希尔排序

数据结构：希尔排序

文章目录 前言一、排序的概念及其运用二、常见排序算法的实现 1.插入排序2.希尔排序总结 前言 排序在生活中有许多实际的运用。以下是一些例子&#xff1a; 购物清单&#xff1a;当我们去超市购物时&#xff0c;通常会列出一份购物清单。将购物清单按照需要购买的顺序排序&…
阅读更多...
【前端】Mac安装node14教程

【前端】Mac安装node14教程

在macOS上安装Node.js版本14.x的步骤如下&#xff1a; 打开终端。 使用Node Version Manager (nvm)安装Node.js。如果你还没有安装nvm&#xff0c;可以使用以下命令安装&#xff1a; curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash 然后关…
阅读更多...
安通控股CRM数字化一阶段成功上线，重塑企业客户关系管理新格局

安通控股CRM数字化一阶段成功上线，重塑企业客户关系管理新格局

在数字化浪潮的席卷下&#xff0c;企业数字化转型已成为不可逆转的趋势&#xff0c;由于内循环增加、数字化转型、流量成本获客趋高等趋势作用力下&#xff0c;企业的精益化管理以围绕客户为中心构建市场竞争力的重要性日益凸显。 随着“客户为中心”理念的愈加深入&#xff0…
阅读更多...
NFT Insider #132：Solana链上NFT销售总额达到55.49亿美元， The Sandbox成立DAO

NFT Insider #132：Solana链上NFT销售总额达到55.49亿美元， The Sandbox成立DAO

引言&#xff1a;NFT Insider由NFT收藏组织WHALE Members&#xff08;https://twitter.com/WHALEMembers&#xff09;、BeepCrypto &#xff08;https://twitter.com/beep_crypto&#xff09;联合出品&#xff0c;浓缩每周NFT新闻&#xff0c;为大家带来关于NFT最全面、最新鲜、…
阅读更多...
docker基本操作命令（3）

docker基本操作命令（3）

目录 1.Docker服务管理命令&#xff1a; 启动&#xff1a;systemctl start docker 停止&#xff1a;systemctl stop docker 重启&#xff1a;systemctl restart docker 开机自启&#xff1a;systemctl enable docker 查看docker版本&#xff1a; 2.镜像常用管理命令&…
阅读更多...
k8s的ci/cd实践之旅

k8s的ci/cd实践之旅

书接上回k8s集群搭建完毕&#xff0c;来使用它强大的扩缩容能力帮我们进行应用的持续集成和持续部署&#xff0c;整体的机器规划如下&#xff1a; 1.192.168.8.156 搭建gitlab私服 docker pull gitlab/gitlab-ce:latest docker run --detach --hostname 192.168.8.156 --publ…
阅读更多...
数据挖掘 | 实验三 决策树分类算法

数据挖掘 | 实验三 决策树分类算法

文章目录 一、目的与要求二、实验设备与环境、数据三、实验内容四、实验小结 一、目的与要求 1&#xff09;熟悉决策树的原理&#xff1b; 2&#xff09;熟练使用sklearn库中相关决策树分类算法、预测方法&#xff1b; 3&#xff09;熟悉pydotplus、 GraphViz等库中决策树模型…
阅读更多...
【运维项目经历|026】Redis智能集群构建与性能优化工程

【运维项目经历|026】Redis智能集群构建与性能优化工程

&#x1f341;博主简介&#xff1a; &#x1f3c5;云计算领域优质创作者 &#x1f3c5;2022年CSDN新星计划python赛道第一名 &#x1f3c5;2022年CSDN原力计划优质作者 &#x1f3c5;阿里云ACE认证高级工程师 &#x1f3c5;阿里云开发者社区专…
阅读更多...
SpringBoot源码（自动装配、内嵌Tomcat）

SpringBoot源码（自动装配、内嵌Tomcat）

文章目录 依赖管理pom依赖管理Web依赖自定义starter 一、WebMvcAutoConfiguration1.1 Filter1.2 Interceptor 二、源码解析2.1 SpringApplication2.1.1 构造方法1、填充webApplicationType2、自动装配Initializers3、自动装配Listeners 2.1.2 run(args) 2.2 SpringApplicationR…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023