Android和JNI交互 : 常见的图像格式转换 : NV21、RGBA、Bitmap等

news2024/11/25 22:49:38

1. 前言

最近在使用OpenCV处理图片的时候，经常会遇到需要转换图像的情况，网上相关资料比较少，也不全，有时候得费劲老半天才能搞定。
自己踩了坑后，在这里记录下，都是我在项目中遇到的图像转化操作，是一些常用的图像格式转换操作。
具体包括:

  • nv21、rgba、rgb转换
  • OpenCV的Mat转为Bitmap
  • Bitmap转成RGB888
  • NV21转成Bitmap
  • Camera2 中的 android.media.Image 转为 NV21
  • Android传递Bitmap给JNI，并转为rgba的Mat
  • JPEG 转 NV21

本文的操作都是基于Activity横屏的情况下进行的

在这里插入图片描述

2. nv21、rgba、rgb转换

nv21是YUV420格式中的一种，在Android中，Camera1获取的摄像头数据，就是NV21格式的。
rgba、rgb格式，是不同于YUV的另一种色彩表示方式，通常我们需要转为RGB格式，再去做图像检测和处理。
所以在Android中，nv21和rgb的转换，是比较常用、比较普遍的。

2.1 nv21转为rgba格式的Mat

这里传入的jbyteArray data_是nv21格式，首先转成nv21的Mat，然后在通过cv::cvtColor方法，通过cv::COLOR_YUV2RGBA_NV21这个参数值，转为rgba格式的Mat。

extern "C"
JNIEXPORT jbyteArray JNICALL
Java_com_heiko_myncnnlib_NcnnNativeLib_nv21toARGB(JNIEnv *env, jobject thiz, jbyteArray data_,
                                                  jint h, jint w) {
    jbyte *data = env->GetByteArrayElements(data_, NULL);

    cv::Mat nv21(h + h / 2, w, CV_8UC1, data);
    cv::Mat rgba(h, w, CV_8UC4);
    //nv21转为rgba格式
    cv::cvtColor(nv21, rgba, cv::COLOR_YUV2RGBA_NV21);

	//省略了后续无关代码....

	//释放资源
	env->ReleaseByteArrayElements(data_, data, 0);
}

2.2 nv21转为rgb的Mat

将nv21转成rgb格式的Mat，这里的COLOR_YUV420sp2RGB和COLOR_YUV2RGB_NV21是一样的。

cv::Mat rgba(h, w, CV_8UC3);
//将nv21的数据转为RGB
cv::cvtColor(nv21, rgb, cv::COLOR_YUV420sp2RGB); //也可以传COLOR_YUV2RGB_NV21

2.3 rgba转为rgb的Mat

cv::Mat rgb(rows, cols, CV_8UC3);
//将rgba转为rgb
cv::cvtColor(rgba, rgb, CV_RGBA2RGB);

3. OpenCV的Mat转为Bitmap

在JNI中，用OpenCV处理好图像后，得到的结果是Mat，那么需要将其转为byteArray，然后传递到Android层，再转为Bitmap，显示到ImageView上。

3.1 RGBA转成Bitmap

转成RGBA相对比较简单，只要将rgba的Mat，转为jbyteArray，传递到Android层就好。

extern "C"
JNIEXPORT jbyteArray JNICALL
Java_com_heiko_myncnnlib_NcnnNativeLib_nv21toARGB(JNIEnv *env, jobject thiz, jbyteArray data_,
                                                  jint h, jint w) {
    jbyte *data = env->GetByteArrayElements(data_, NULL);

    cv::Mat nv21(h + h / 2, w, CV_8UC1, data);
    cv::Mat rgba(h, w, CV_8UC4);
    cv::cvtColor(nv21, rgba, cv::COLOR_YUV2RGBA_NV21);

    int rows = h;
    int cols = w;
    jbyteArray byteArray = env->NewByteArray(rows * cols * 4);

    env->SetByteArrayRegion(byteArray, 0, rows * cols * 4, reinterpret_cast<jbyte*>(rgba.data));
    env->ReleaseByteArrayElements(data_, data, 0);

    return byteArray;
}

Android层进行调用，这里创建Bitmap的时候，使用的是Bitmap.Config.ARGB_8888

//由于前摄像头放置位置是90度方向的，所以这里height和width对调 (实际上应该是在JNI里进行旋转操作，这里是怎么方便怎么来)
 var result = nativeLib.nv21toARGB(data,height,width)
 //var result = nativeLib.nv21toARGB(data,width,height)
 //byte数组转为ARGB8888的Bitmap
 val bitmap = Bitmap.createBitmap(width,height,Bitmap.Config.ARGB_8888)
 var buffer = ByteBuffer.wrap(result)
 bitmap.copyPixelsFromBuffer(buffer)
runOnUiThread {
	//显示到Bitmap上
    binding.img1.setImageBitmap(bitmap)
}

3.2 RGB888转RGB565后，再转成Bitmap

先来看一下RGB888转RGB565的方法

uint16_t *rgb888toRgb565(cv::Mat &rgb, int rows, int cols) {
    cv::Vec3b *data = rgb.ptr<cv::Vec3b>(0);

    uint16_t *rgb565 = new uint16_t[rows * cols];
    for (int i = 0; i < rows * cols; i++) {
        int r = data[i][0];
        int g = data[i][1];
        int b = data[i][2];

        rgb565[i] = ((r >> 3) << 11) | ((g >> 2) << 5) | (b >> 3);
    }
    return rgb565;
}

实现JNI方法，这里传入的data_是rgb888格式，然后转成Mat，再调用rgb888toRgb565转成rgb565，最后在转成jbyteArray返回给Android层。

extern "C"
JNIEXPORT jbyteArray JNICALL
Java_com_heiko_MyTest_rgb888ToRgb565(JNIEnv *env, jobject thiz, jbyteArray data_,jint w, jint h) {
    jbyte *data = env->GetByteArrayElements(data_, NULL);
    unsigned char *rgb_data = reinterpret_cast<unsigned char *>(data);
    cv::Mat rgb(h, w, CV_8UC3, rgb_data);

    int rows = h;
    int cols = w;
    jbyteArray byteArray = env->NewByteArray(rows * cols * 2);
    uint16_t *rgb565 = rgb888toRgb565(rgb, rows, cols);

    env->SetByteArrayRegion(byteArray, 0, rows * cols * 2, reinterpret_cast<jbyte *>(rgb565));
    env->ReleaseByteArrayElements(data_, data, 0);
    return byteArray;
}

Android层进行调用，这里创建Bitmap的时候，使用的是Bitmap.Config.RGB_565

//这里的data是RGB888格式，具体看4.x小节
val result : ByteArray = nativeLib.rgb888ToRgb565(data, imageWidth, imageHeight)
//byte数组转为Bitmap
val bitmap = Bitmap.createBitmap(imageWidth, imageHeight, Bitmap.Config.RGB_565)
var buffer = ByteBuffer.wrap(detectResult)
bitmap.copyPixelsFromBuffer(buffer)

runOnUiThread { 
	//显示到ImageView上
    binding.img1.setImageBitmap(bitmap)
}

3.3 RGBA转RGB565

rgba也可以先转成rgb565后，再传递给Android层，代码如下

uint16_t *rgbaToRgb565(cv::Mat &rgb, int rows, int cols) {
    cv::Vec4b *data = rgb.ptr<cv::Vec4b>(0);

    uint16_t *rgb565 = new uint16_t[rows * cols];
    for (int i = 0; i < rows * cols; i++) {
        int r = data[i][0];
        int g = data[i][1];
        int b = data[i][2];

        rgb565[i] = ((r >> 3) << 11) | ((g >> 2) << 5) | (b >> 3);
    }
    return rgb565;
}

4. Bitmap转RGB888

Android中的Bitmap是ARGB格式进行存储的，所以我们先取到Bitmap的像素数组，然后对其进行遍历，分别取到每个像素点的R、G、B数据，赋值到新的ByteArray里，就得到RGB888格式的图像数据了。

//解析bytes为bitmap，bytes是jpeg格式的图片流
val bitmap = BitmapFactory.decodeByteArray(bytes, 0, bytes.size)
val width: Int = bitmap.width
val height: Int = bitmap.height
val pixels = IntArray(width * height)
//获取像素赋值给 pixels
bitmap.getPixels(pixels, 0, width, 0, 0, width, height)

val rgb888 = ByteArray(width * height * 3)
for (i in 0 until width * height) {
	 // 注意：Android的Bitmap是ARGB格式，而不是RGBA
	 rgb888[i * 3] = Color.red(pixels[i]).toByte()
	 rgb888[i * 3 + 1] = Color.green(pixels[i]).toByte()
	 rgb888[i * 3 + 2] = Color.blue(pixels[i]).toByte()
}

5. YUV420转Bitmap

这里的yuv420的具体格式是NV21，也就是将NV21格式转为Bitamp。
具体操作为先将nv21的ByteArray转化为YuvImage对象，然后压缩为JPEG格式的ByteArray，最后通过BitmapFactory.decodeByteArray()来得到Bitmap。

fun convertYUV420ToBitmap(
        yuv420Data: ByteArray?,
        width: Int,
        height: Int
    ): Bitmap {
        // 创建YuvImage对象
        val yuvImage = YuvImage(yuv420Data, ImageFormat.NV21, width, height, null)

        // 创建ByteArrayOutputStream对象
        val outputStream = ByteArrayOutputStream()

        // 将YuvImage对象压缩为JPEG格式的数据
        yuvImage.compressToJpeg(Rect(0, 0, width, height), 100, outputStream)

        // 将JPEG数据解码为Bitmap对象
        val jpegData = outputStream.toByteArray()
        return BitmapFactory.decodeByteArray(jpegData, 0, jpegData.size)
}

6. android.media.Image 转为 NV21

Android Camera2相机中取到的一帧数据是android.media.Image，我们设置android.graphics.ImageFormat为ImageFormat.YUV_420_888，这个格式是YCbCr的泛化格式，不会具体指明是YU12，YV12，NV12，或是是NV21。它能够表示任何4:2:0的平面和半平面格式，每个分量用8 bits表示。
这里，我们来将Image转为NV21格式。

fun imageToNV21(image: Image): ByteArray {
    val planes: Array<Image.Plane> = image.planes
    val yBuffer = planes[0].buffer
    val uBuffer = planes[1].buffer
    val vBuffer = planes[2].buffer
    val ySize = yBuffer.remaining()
    val uSize = uBuffer.remaining()
    val vSize = vBuffer.remaining()
    val yuvData = ByteArray(ySize + uSize + vSize)

    yBuffer[yuvData, 0, ySize]
    vBuffer[yuvData, ySize, vSize]
    uBuffer[yuvData, ySize + vSize, uSize]
    return yuvData
}

7. Android传递Bitmap给JNI，并转为rgba的Mat

Android中，也可以直接向JNI传递Bitmap对象，然后在JNI中，再去对Bitmap进行操作。

extern "C"
JNIEXPORT jbyteArray JNICALL
Java_com_zeekr_ncnnlib_NcnnNativeLib_humanDetectBitmap(JNIEnv *env, jobject thiz, jobject bitmap) {
    AndroidBitmapInfo bitmapInfo;
    //获取Bitmap的信息
    AndroidBitmap_getInfo(env, bitmap, &bitmapInfo);
    int rows = bitmapInfo.height;
    int cols = bitmapInfo.width;

    void *bitmapPixels;
    //获取Bitmap的像素
    AndroidBitmap_lockPixels(env, bitmap, &bitmapPixels);

	//转成rgba的Mat
    cv::Mat rgba(rows, cols, CV_8UC4, bitmapPixels);

    AndroidBitmap_unlockPixels(env, bitmap);

	//省略了后续无关代码
}

关于在JNI中创建Bitmap，并传递到Android层，具体可以看我的这篇文章 : Android JNI/NDK 入门从一到二_氦客的博客-CSDN博客

8. JPEG转NV21

传入jpeg格式的ByteArray，返回NV21格式的ByteArray

fun jpegToNV21(jpegData: ByteArray, width: Int, height: Int): ByteArray {
   val bitmap = BitmapFactory.decodeByteArray(jpegData, 0, jpegData.size)
   val argb = IntArray(width * height)
   bitmap.getPixels(argb, 0, width, 0, 0, width, height)
   val yuv = ByteArray(width * height * 3 / 2)
   encodeYUV420SP(yuv, argb, width, height)
   bitmap.recycle()
   return yuv
}

private fun encodeYUV420SP(yuv420sp: ByteArray, argb: IntArray, width: Int, height: Int) {
   val frameSize = width * height
   var yIndex = 0
   var uvIndex = frameSize
   //var a: Int
   var R: Int
   var G: Int
   var B: Int
   var Y: Int
   var U: Int
   var V: Int
   for (j in 0 until height) {
       for (i in 0 until width) {
           //a = argb[j * width + i] and -0x1000000 shr 24
           R = argb[j * width + i] and 0xff0000 shr 16
           G = argb[j * width + i] and 0xff00 shr 8
           B = argb[j * width + i] and 0xff shr 0
           Y = (66 * R + 129 * G + 25 * B + 128 shr 8) + 16
           U = (-38 * R - 74 * G + 112 * B + 128 shr 8) + 128
           V = (112 * R - 94 * G - 18 * B + 128 shr 8) + 128
           yuv420sp[yIndex++] = (if (Y < 0) 0 else if (Y > 255) 255 else Y).toByte()
           if (j % 2 == 0 && i % 2 == 0) {
               yuv420sp[uvIndex++] = (if (V < 0) 0 else if (V > 255) 255 else V).toByte()
               yuv420sp[uvIndex++] = (if (U < 0) 0 else if (U > 255) 255 else U).toByte()
           }
       }
   }
}

本文为氦客在CSDN上独家发布 : https://blog.csdn.net/EthanCo

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1169755.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

unity3d 开发笔记

unity3d 开发笔记

unity 3d Unity是一个游戏引擎&#xff0c;包含渲染引擎&#xff0c;物理引擎&#xff0c;碰撞检测&#xff0c;音效&#xff0c;动画效果&#xff0c;场景管理等系统。它的开发效率高、脚本使用C#开发、简单易用、跨平台&#xff08;可以导出各个平台的程序&#xff09;&…
阅读更多...
abbyy15有哪些新功能更新改进？

abbyy15有哪些新功能更新改进？

可以说优化文档过程&#xff1a;ABBYY在一个工作流中对各种类型的文档进行数字化、检索、编辑、保护、共享和协作。不得不承认FineReader 15最大特色是采用了ABBYY最新推出的基于AI的OCR技术&#xff0c;能够更快速的在同一工作流程中对各种文档进行数字化、检索、编辑、加密、…
阅读更多...
【原创】java+swing+mysql汽车租赁管理系统设计与实现

【原创】java+swing+mysql汽车租赁管理系统设计与实现

摘要&#xff1a; 汽车租赁管理系统是一个综合性的系统&#xff0c;旨在实现汽车租赁过程的自动化和优化。它涵盖了从客户预订、车辆管理&#xff0c;通过设计和实现汽车租赁管理系统&#xff0c;可以提高汽车租赁公司的运营效率和服务质量&#xff0c;降低运营成本&#xff0…
阅读更多...
45基于matlab的ARIMA：AutoregressiveIntegratedMovingAverage model。

45基于matlab的ARIMA：AutoregressiveIntegratedMovingAverage model。

基于matlab的ARIMA&#xff1a;AutoregressiveIntegratedMovingAverage model。自回归差分移动平均模型(p,d,q)&#xff0c;AR自回归模型&#xff0c;MA移动平均模型&#xff0c;时间序列模型步骤包括&#xff1a;1. 数据平稳性检验&#xff1b;2. 确定模型参数&#xff1b;3. …
阅读更多...
快速了解相似检索方法

快速了解相似检索方法

一、相似检索方法总体分析 相似检索方法是一种用于从大量数据中找到与查询数据相似的数据项的技术。这种方法通常用于信息检索、推荐系统、图像处理、自然语言处理等领域。相似检索主要方法可以总体分为以下几类&#xff1a; 基于距离度量的方法&#xff1a; 余弦相似度&…
阅读更多...
国产手机纷自研操作系统，“不作恶”的谷歌自食恶果

国产手机纷自研操作系统，“不作恶”的谷歌自食恶果

在中国第一家手机企业自研操作系统并取得成功之后&#xff0c;日前再有两家国产手机宣布自研操作系统&#xff0c;由此将导致安卓系统的基座开始被撼动&#xff0c;垄断很可能将就此终结。 谷歌曾声称自己“不作恶”&#xff0c;不过在安卓系统发展壮大之后&#xff0c;谷歌开始…
阅读更多...
[C++]关键字，类与对象等——喵喵要吃C嘎嘎2

[C++]关键字，类与对象等——喵喵要吃C嘎嘎2

希望你开心&#xff0c;希望你健康&#xff0c;希望你幸福&#xff0c;希望你点赞&#xff01; 最后的最后&#xff0c;关注喵&#xff0c;关注喵&#xff0c;关注喵&#xff0c;大大会看到更多有趣的博客哦&#xff01;&#xff01;&#xff01; 喵喵喵&#xff0c;你对我真的…
阅读更多...
小米手机刷EU版ROM教程

小米手机刷EU版ROM教程

第一件事 拿到手机第一件事是登录账号&#xff0c;然后开启开发者模式&#xff0c;设置中搜索&#xff1a;手机解锁状态 绑定解锁账号&#xff0c;等168小时候才能解锁 提前下载软件包 官方解锁工具 官方Fastboot工具 recovery包&#xff1a;twrp ROM包 其他: EU rom论坛页…
阅读更多...
Proteus仿真--数码管随机模拟显示乘法口诀（仿真文件+程序）

Proteus仿真--数码管随机模拟显示乘法口诀（仿真文件+程序）

本文主要介绍基于51单片机的数码管随机模拟显示乘法口诀实验&#xff08;完整仿真源文件及代码见文末链接&#xff09; 仿真图如下 其中上方主要是6位显示数码管&#xff0c;使用方法点击左下方的按键开关实现不同的数字切换&#xff0c;按照乘法表进行 仿真运行视频 Prote…
阅读更多...
Python入门教程——Python变量定义的简单使用介绍

Python入门教程——Python变量定义的简单使用介绍

文章目录 前言一、变量的定义二、变量的简单使用三、类型转换关于Python技术储备一、Python所有方向的学习路线二、Python基础学习视频三、精品Python学习书籍四、Python工具包项目源码合集①Python工具包②Python实战案例③Python小游戏源码五、面试资料六、Python兼职渠道 前…
阅读更多...
接口测试用例设计详解

接口测试用例设计详解

1.接口测试用例设计简介 我们对系统的需求分析完成之后&#xff0c;即可设计对应的接口测试用例&#xff0c;然后用接口测试用例进行接口测试。接口测试用例的设计也需要用到黑盒测试方法&#xff0c;其与功能测试用例设计的方法类似&#xff0c;接口测试用例设计中还需要增加…
阅读更多...
MATLAB和S7-1200PLC OPC通信(激活S7-1200PLC OPCUA服务器)

MATLAB和S7-1200PLC OPC通信(激活S7-1200PLC OPCUA服务器)

MATLAB和SMART PLC OPC通信请参考下面文章博客： MATLAB和西门子SMART PLC OPC通信-CSDN博客文章浏览阅读123次。西门子S7-200SMART PLC OPC软件的下载和使用，请查看下面文章Smart 200PLC PC Access SMART OPC通信_基于pc access smart的opc通信_RXXW_Dor的博客-CSDN博客OPC是…
阅读更多...
软考网络规划师复习第六章：基础网络实验

软考网络规划师复习第六章：基础网络实验

正文共&#xff1a;10086 字 120 图&#xff0c;预估阅读时间&#xff1a;11 分钟 目录 软考网络规划师复习第一章&#xff1a;Windows系统中的网络 0、序言 1、Windows系统中的网络1.1、桌面中的网卡1.2、命令行中的网卡1.3、路由表1.4、家用路由器 软考网络规划师复习第二章&…
阅读更多...
Python词云生成工具3：定制更多参数

Python词云生成工具3：定制更多参数

文章目录 添加整型参数布尔型参数背景颜色词云生成逻辑源代码 Python打造一个词云软件显示分词结果 添加整型参数 我们所有的设置都放在了wcDct中&#xff0c;所以若想用更多的参数来定制词云&#xff0c;那么只需在wcDct中添加内容&#xff0c;例如下面这些整型参数 其次&a…
阅读更多...
【Linux】进程概念III --fork函数解析

【Linux】进程概念III --fork函数解析

Halo&#xff0c;这里是Ppeua。平时主要更新C语言&#xff0c;C&#xff0c;数据结构算法…感兴趣就关注我吧&#xff01;你定不会失望。 本篇导航 0. 创建进程1. 认识fork函数2.使用Fork函数3.关于fork的为什么3.1 一个函数如何返回两次?fork究竟在干什么?3.2 为什么要给子…
阅读更多...
0-1矩阵列互斥问题——回溯法 Python实现

0-1矩阵列互斥问题——回溯法 Python实现

三、 0-1 矩阵的列集互斥问题。给定一个 m n m \times n mn 的 0-1 矩阵 A \mathrm{A} A 。定义列互斥为: 对于矩阵 A A A 中的任意两列 i i i 和 j j j, 如果在对应的每一行上, i i i 和 j j j 不存在同时为 1 的情况, 则称列 i \mathrm{i} i 和 j \mathrm{j} j 互斥…
阅读更多...
Redis-命令操作Redis-＞redis简介,redis的安装（Linux版本windows版本）,redis的命令

Redis-命令操作Redis-＞redis简介,redis的安装（Linux版本windows版本）,redis的命令

redis简介redis的安装&#xff08;Linux版本&windows版本&#xff09;redis的命令 1.redis简介 Redis是一个开源&#xff08;BSD许可&#xff09;&#xff0c;内存存储的数据结构服务器&#xff0c;可用作数据库&#xff0c;高速缓存和消息队列代理。 它支持字符串、哈…
阅读更多...
零基础入门Python,主要该学些什么？一文详解。

零基础入门Python,主要该学些什么？一文详解。

文章目录 前言一、Python开发基础二、Python高级编程和数据库开发三、前端开发四、WEB框架开发五、爬虫开发六、全栈项目实战七、数据分析八、人工智能九、自动化运维&开发十、高并发语言GO开发关于Python技术储备一、Python所有方向的学习路线二、Python基础学习视频三、精…
阅读更多...
Nginx的location优先级和重定向

Nginx的location优先级和重定向

Nginx的location有优先级级和匹配方式&#xff1a; 在http模块有server,在server模块才有location,location匹配的是uri /test /image 在一个server当中有多个location,如何来确定匹配哪个location。 Nginx的正则表达式&#xff1a; ^:字符串的起始位置 $:字符串的结束位…
阅读更多...
推荐彩虹知识商城源码

推荐彩虹知识商城源码

彩虹知识商城7.0.3小森升级版新增供货商开心学习版&#xff0c;新增邮件提醒功能&#xff0c;支持给用户发订单、结算等邮件通知&#xff0c;支持给管理员发送提现、域名审核等邮件通知&#xff0c;支持设置手续费最低扣除金额&#xff0c;修复了其他一些已知问题。 演示地址&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023