OpenHarmony硬件合成方案解析

news2025/1/12 20:44:41

本文档主要讲解在OpenHarmony中，硬件合成适配的方法及原理说明。

环境说明：

  • OHOS版本：3.1-Release及以上

一、背景介绍

1.1 什么是合成

​ 要理解什么是合成，合成做了什么？我们先通过分解设置界面来回答这个问题:

在设置界面中，一帧完整的图像是由4个部分构成的，每一个部分我们称之为一个layer。

layer的概念

layer(图层)是图形合成中最重要的单元，一个layer对应一个buffer及显示参数。一帧图像由一个或多个layer组成，每个layer单独负责一块区域的内容刷新，大大提升了渲染及显示效率。比如：我们把鼠标的显示单独设置成一个Layer，鼠标的移动，只需要更改layer的显示坐标，不需要重复渲染背景显示区域的数据等。

在设置界面中，4个layer分别是背景层、应用层、状态栏和工具栏。合成就是把这些layer组合在一起，最终变成一帧完整的图像。

我们可以通过如下命令获取当前界面的layers信息：

hidumper -s 10 -a surface

对当前界面截屏

snapshot_display -f /data/snapshot_display.jpeg

我们可以看到，layer2和layer3背景显示为黑色，与实际效果有较大区别。要理解这个差异的原因，我们需要要知道合成做了什么。

1.2 合成做了什么

从前面的介绍我们知道，合成就是把多个layer合成了一帧图像。那这个合成的过程中，主要处理了哪些事？总结如下：

  • 颜色混合。包含透明度处理、背景填充、阴影处理等。

  • 编码格式转换。支持RGB565、RGB888、ARGB888、YUV420_2P等

  • 缩放处理。支持1/16~24倍率缩放

  • 输入/输出旋转。

不同的硬件支持的能力有差别，最基本的能力需要支持透明度处理及编码转换。

上面layer背景显示黑色的原因，是因为背景的RGBA值都是0，RGB 值为0，显示黑色。Alpha值为0，为全透明。如果给他们添加一个背景图层，那图层就会显示成背景的颜色值。

理解了合成，我们再看看合成模块在OpenHarmony系统进程中的位置。

1.3 合成在OpenHarmony中位置

图像合成在OpenHarmony进程示意图，以便了解合成模块的生命周期及运行逻辑：

如上图所示，合成模块代码由虚框标记，运行在render_service进程中。硬件适配主要是适配display_device及display_gfx模块。

  • display_device: 为composer提供接口及适配

  • display_gfx:包含具体硬件sensor的功能实现。

    重启render_service服务，Dispaly HDI服务就会重启。

1.4 合成的方式

OpenHarmony中合成方式有以下几种：

  • CPU合成。由skia或pixmax提供。
  • GPU合成。由GPU硬件提供。
  • 纯硬件sensor合成。如展锐的gsp，瑞芯微的rga等
  • drm合成。由drm通用接口封装，一般集成合成和送显功能。如展锐的dpu。

以上合成方式在相同layers数量下，xx平台性能对比如下：

类型CPUGPUGFXDRM
合成时间(ms)>80ms12.07ms11.38ms7.5ms

从合成性能看，drm性能最佳，减少了内存复制开销。GFX与GPU性能相差不多，但能完成一些drm无法完成的合成场景。CPU最差，只有适配早期，其它硬件没有调试好时，临时使用。

二、适配的方法

适配硬件合成前，我们先要理清代码的运行逻辑，并且知道适配需要做什么，去哪里修改。以下通过流程图来展示代码的运行逻辑和位置。

当Layers准备好后，进入composer模块的repaint()处理。流程如下：

  • prepare阶段。
    • gfx_prepare:为每个layer选择具体的合成方式
    • drm_prepare:把dpu类型添加到List
    • 处理GPU合成
  • commit阶段。
    • gfx_commit:处理gfx硬件合成
    • drm_commit:处理drm合成及送显

2.1 合成方式的选择

Layer合成方式选择示例:

当前合成方式并没有使用GPU合成，是否使用，可根据其它硬件能力来选择。一般情况下，为了减轻GPU负担，尽量使用其它硬件来完成合成操作。

每个硬件支持能力不同，比如：支持的layer数量，是否支持缩放时旋转，缩放倍率等。

合成方式的选择要结合具体的硬件来调整。硬件详细能力请查阅相关芯片手册。

注意事项：

  • 如果GSP列表非空，那clientLayer作为GSP的合成结果，会占用DPU的plane0.

  • 由于Layer图层是有顺序的，所以连续的图层会选择同一种硬件合成。

比如：DPU只支持4个图层，如果总图层有6个，那前面3个将使用GSP合成结果到clientLayer,再与后面的3个图层一起，共4个layer给DPU合成送显。

代码示例:

int32_t HdiGfxComposition::SetLayers(std::vector<HdiLayer *> &layers, HdiLayer &clientLayer)
{
    ……
    HdiLayer *layer;
    uint32_t dpuSize = 0;
    for (uint32_t i = 0; i < layers.size(); i++) {
        layer = layers[i];
        if (CanHandle(*layer)) {
            if ((layer->GetCompositionType() != COMPOSITION_VIDEO) &&
                (layer->GetCompositionType() != COMPOSITION_CURSOR)) {
                if((mask == 0) && (layers.size() < 4)) {//直接给DPU处理
                    layer->SetAcceleratorType(ACCELERATOR_DPU);
                    ……
                } else {
                    //GSP+DPU
                    int32_t tempMask = CheckLayers(layers, i);// 判断剩下的layers DPU是否支持
                    uint32_t tempSize = layers.size() - i;
                    if(tempMask) {//复杂场景交给GSP
                        layer->SetAcceleratorType(ACCELERATOR_GSP);
                        ……
                    }  else {
                        if((dpuSize + tempSize) < 5) {//dpu支持6个layer，先只使用4个
                            layer->SetAcceleratorType(ACCELERATOR_DPU);
                            ……
                        } else {
                            layer->SetAcceleratorType(ACCELERATOR_GSP);
                            ……
                        }
                    }
                }
            } else {
                layer->SetDeviceSelect(layer->GetCompositionType());
            }
            mCompLayers.push_back(layer);
        } else { //GPU
            layer->SetDeviceSelect(COMPOSITION_CLIENT);
            ……
        }
    }
    ……
}

2.2 GFX适配之GSP

2.3 DRM适配之DPU

2.4 GPU适配

三、调测及优化

3.1 测试程序-hello_composer

hello_composer在3.2-Release中默认没有参与编译，修改如下：

foundation/graphic/graphic_2d/bundle.json

--- a/bundle.json
+++ b/bundle.json
@@ -61,6 +61,7 @@
             "//foundation/graphic/graphic_2d/rosen/modules/2d_graphics:2d_graphics",
             "//foundation/graphic/graphic_2d/rosen/samples/2d_graphics:drawing_sample_rs",
+            "//foundation/graphic/graphic_2d/rosen/samples/composer:hello_composer",
             "//foundation/graphic/graphic_2d/rosen/samples/2d_graphics:drawing_engine_sample",

在第一次运行hello_composer前，需要先把render_service服务停止。

service_control stop render_service

执行hello_composer

cd /system/bin
./hello_composer

测试分以下几个点进行：

  • 图层数量测试
    foundation/graphic/graphic_2d/rosen/samples/composer/hello_composer.cpp
void HelloComposer::InitLayers(uint32_t screenId)
{
……
// status bar
    drawLayers.emplace_back(std::make_unique<LayerContext>(
        IRect { 0, 0, displayWidth, statusHeight },
        IRect { 0, 0, displayWidth, statusHeight },
        3, LayerType::LAYER_STATUS));
……
}

默认是4个图层，可以根据实际测试情况，添加、删除layers的信息。
  • 图层旋转
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h
drawLayers.emplace_back(std::make_unique<LayerContext>(
        IRect { layerPositionX, layerPositionY, 200, 400},
        IRect { 0, 0, 100, 200},
        1, LayerType::LAYER_EXTRA));

修改为true后，LayerType::LAYER_EXTRA 图层会周期旋转。
  • 图层缩放
    foundation/graphic/graphic_2d/rosen/samples/composer/hello_composer.cpp
bool testYUV_ = true;

通过修改目的图层的大小，来达到缩放测试的目的

  • yuv测试
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h
bool testYUV_ = true;

修改为true后，LayerType::LAYER_EXTRA图层会以yuv格式合成。
  • 透明度测试
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h
const std::vector<uint32_t> colors_ = {0xff0000ff, 0xffff00ff, 0xaa00ff00, 0xff00ffaa, 0xff0f0f00};

修改colors_最高8位值，可以测试透明度。0x00:全透明 0xFF:不透明

3.2 TRACE抓取分析

合成消耗了多少时间，帧率的统计都可以使用抓trace来分析。

trace命令:

hdc shell bytrace -t 5 --overwrite app graphic > mytrace.ftrace

帧率统计:

帧率首先由vsync频率决定，当合成总时间大于vsync间隔时，会影响帧率，并需要进行优化。合成计算帧率就是统计1s内合成帧的个数。

合成时间统计:

以上标记的时间就是实际硬件合成的时间，在commit方法中执行。我们从前面两个图片可看出，他们的合成间隔是有明显区别的，赵成这个现象的原因是同步及异步设置导致。

3.3 fence机制

当我们的操作需要使用其它硬件资源执行时，就涉及到同步的方式问题。总结如下：

  • 同步执行

    调用硬件接口后，需要等待硬件所有指令执行完成。libdrm接口中示例如下：

uint32_t flags = DRM_MODE_ATOMIC_ALLOW_MODESET | DRM_MODE_ATOMIC_NONBLOCK;//去掉DRM_MODE_ATOMIC_NONBLOCK代表同步执行
ret = drmModeAtomicCommit(drmFd, atomicReqPtr.Get(), flags, nullptr);

  • 异步执行

    异步在图形中常用的就是fence机制。fence机制框架由内核提供，当硬件完成时，会修改fence的状态。常用的如AcqureFenceFd、ReleaseFenceFd。

    AcqureFenceFd 由GPU提供，标记渲染结果。

    ReleaseFenceFd 由drm crtc提供，标记送显结果。

    例如 ReleaseFenceFd：

ret = drmModeAtomicAddProperty(atomicReqPtr.Get(), mCrtc->GetId(), mCrtc->GetOutFencePropId(),
        (uint64_t)&crtcOutFence);
……
layer->SetReleaseFence(dup(crtcOutFence));

fence机制，让CPU在硬件工作时，释放生产力，继续执行与当前操作无关代码，把流程继续向前推进。当再次需要执行与当前硬件相关的操作时，再检查fence完成状态或等待。在整个周期中，大大增加了代码执行效率。

四、常见问题分析

4.1 状态栏背景为黑色

实际显示效果状态栏和工具栏为黑色。这个一般是透明度没有处理好。修改drm blend_mode可以解决。

drmModeAtomicAddProperty(pset,  drmPlane.GetId(), drmPlane.property_blend_mode, 0);//0-2.具体类型可以使用modetest查看

4.2 滑动列表时有闪烁的现象

如果硬件没有报错，那大概率是ReleaseFence没有同步。buffer还没有使用完成，又对buffer进行了操作。

layer->SetReleaseFence(dup(crtcOutFence));//step1: 检查ReleaseFence是否设置
currSbuffer_->releaseFence_ = Merge(currSbuffer_->releaseFence_, layerReleaseFence);//step2: 检查ReleaseFece是否有合并

4.3 滑动列表时有抖动的现象

这种一般只有在低端GPU上才会出现。原因是AcqureFence没有同步，使用了未准备好的渲染结果。增加对fence的等待：

if(layer->GetAcquireFenceFd() > 0) {
    sync_wait(layer->GetAcquireFenceFd(), 100);
}

4.4 Layer区域显示黑色或者丢失

主要有以下几种可能。

  • zorder顺序不对，被其它图层覆盖。

  • layer内容为空。显示成了背景填充色0

  • 超出硬件支持的图层上限，需要增加循环合成处理

五、知识分享

在模块开发过程中，如果我们对layer的数据不确定时，可以把layer的数据dumper出来。

setenforce 0
param set rosen.afbc.enabled 0

//start
touch /data/bq_dump
//end
rm /data/bq_dump

数据生成在/data目录下。文件可以使用yuvplayer.exe工具查看，它支持yuv、rgb等不同的格式类型及分辨率大小。

为了能让大家更好的学习鸿蒙 (Harmony OS) 开发技术，这边特意整理了《鸿蒙 (Harmony OS)开发学习手册》（共计890页），希望对大家有所帮助：https://qr21.cn/FV7h05

《鸿蒙 (Harmony OS)开发学习手册》

入门必看：https://qr21.cn/FV7h05

  1. 应用开发导读(ArkTS)
  2. ……

HarmonyOS 概念：https://qr21.cn/FV7h05

  1. 系统定义
  2. 技术架构
  3. 技术特性
  4. 系统安全

如何快速入门？：https://qr21.cn/FV7h05

  1. 基本概念
  2. 构建第一个ArkTS应用
  3. 构建第一个JS应用
  4. ……

开发基础知识：https://qr21.cn/FV7h05

  1. 应用基础知识
  2. 配置文件
  3. 应用数据管理
  4. 应用安全管理
  5. 应用隐私保护
  6. 三方应用调用管控机制
  7. 资源分类与访问
  8. 学习ArkTS语言
  9. ……

基于ArkTS 开发：https://qr21.cn/FV7h05

1.Ability开发
2.UI开发
3.公共事件与通知
4.窗口管理
5.媒体
6.安全
7.网络与链接
8.电话服务
9.数据管理
10.后台任务(Background Task)管理
11.设备管理
12.设备使用信息统计
13.DFX
14.国际化开发
15.折叠屏系列
16.……

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1373031.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

element input组件自动失去焦点问题解决

element input组件自动失去焦点问题解决

最近在 Vue3 ElementPlus 中&#xff0c;使用 el-input 组件时&#xff0c;如果设置了 v-model&#xff0c;那么在每次改变内容后后&#xff0c;input 会自动失去焦点&#xff0c;这样会导致用户无法输入多个字符。 一、问题原因 如上图所示&#xff0c;配置项的 Name 和 Cod…
阅读更多...
世邦通信SPON IP网络对讲广播系统rj_get_token.php 任意文件读取漏洞

世邦通信SPON IP网络对讲广播系统rj_get_token.php 任意文件读取漏洞

产品介绍 世邦通信SPON IP网络对讲广播系统采用领先的IPAudio™技术,将音频信号以数据包形式在局域网和广域网上进行传送,是一套纯数字传输系统。 漏洞描述 spon IP网络对讲广播系统rj_get_token.php存在任意文件读取漏洞&#xff0c;攻击者可通过该漏洞在服务器端读取任意敏…
阅读更多...
在虚拟机中安装OpenEuler操作系统

在虚拟机中安装OpenEuler操作系统

目录 OpenEuler操作系统安装步骤&#xff08;详细&#xff09; 一、首先要做好安装前的准备工作&#xff1a; 二、进行虚拟机的创建&#xff1a; 三、OpenEuler 23.09操作系统的安装部署&#xff1a; OpenEuler操作系统安装步骤&#xff08;详细&#xff09; 一、首先要做好…
阅读更多...
ppt怎么录屏录音并且导出？好用录屏软件推荐

ppt怎么录屏录音并且导出？好用录屏软件推荐

ppt已经成为了日常工作与学习中必不可少的工具&#xff0c;而ppt屏幕录制功能&#xff0c;可以方便用户将他人的演讲或视频中的内容记录下来&#xff0c;以便进一步学习与研究。录制ppt演示并将其导出为视频文件&#xff0c;可以帮助我们进行分享&#xff0c;但是很多人不知道p…
阅读更多...
uniapp多组数组 搜索高亮效果demo（整理）

uniapp多组数组 搜索高亮效果demo（整理）

<template><view class"mT100"><input type"text" v-model"keyword" input"filterList" placeholder"请输入关键词"><ul><li v-for"item in filteredList" :key"item.id"&g…
阅读更多...
web缓存之nginx缓存

web缓存之nginx缓存

一、nginx缓存知识 网络缓存位于客户端和 "源服务器 "之间&#xff0c;保存着所有可见内容的副本。当客户端请求缓存中存储的内容时&#xff0c;它可以直接从缓存中检索内容&#xff0c;而无需与服务器通信。这样&#xff0c;网络缓存就 "接近 "了客户端&a…
阅读更多...
干洗店小程序：洗衣、洗鞋、工厂系统、上门取送、拍照预约、下单门店管理，一站式解决方案。

干洗店小程序：洗衣、洗鞋、工厂系统、上门取送、拍照预约、下单门店管理，一站式解决方案。

干洗店小程序&#xff1a;洗衣、洗鞋、工厂系统、上门取送、拍照预约、下单门店管理&#xff0c;一站式解决方案。 一、核心功能亮点 1. 多种下单模式&#xff1a;支持上门取送、送货到店、寄存网点、智能衣柜&#xff0c;满足您不同需求。 2. 骑手接单&#xff1a;专业骑手快…
阅读更多...
简单却强大：MySQL ZEROFILL让编号管理变得更轻松

简单却强大：MySQL ZEROFILL让编号管理变得更轻松

点击上方蓝字关注我 在MySQL中&#xff0c;ZEROFILL是一种用于在数字字段上进行填充零的属性。该属性通常用于确保数字达到指定长度时&#xff0c;左侧用零进行填充。这在某些特定场景下非常有用&#xff0c;例如确保订单号或者其他标识符具有固定的长度。 1. 案例演示 1.1 语…
阅读更多...
Python爬取哈尔滨旅游爆火视频数据并进行可视化分析

Python爬取哈尔滨旅游爆火视频数据并进行可视化分析

前言 哈尔滨作为中国北方的重要城市&#xff0c;独特的冰雪风情和丰富的文化底蕴而受到游客的青睐。随着抖音等短视频平台的兴起&#xff0c;越来越多关于哈尔滨旅游的视频在网络上出现文章旨在利用Python编程语言&#xff0c;从音视频网站上抓取哈尔滨旅游抖音相关视频数据&a…
阅读更多...
K2P路由器刷OpenWrt官方最新版本固件OpenWrt 23.05.2方法 其他型号的智能路由器OpenWrt固件刷入方法也基本上适用

K2P路由器刷OpenWrt官方最新版本固件OpenWrt 23.05.2方法 其他型号的智能路由器OpenWrt固件刷入方法也基本上适用

最近路由器在开机时总出问题,于是就那他来开刀,直接刷一个OpenWrt官方最新版本的固件, 刷其他第三方的固件总是觉得不安全, 而且很多第三方固件都带了些小工具,始终会有安全隐患, 而且占用内存空间太多,本来这个东西就没有多少内存,于是就干脆刷一个官方的原始固件(才6.3M, 相…
阅读更多...
Qt5插件开发入门+示例

Qt5插件开发入门+示例

目的 1、为什么用插件 现在大家最讲模块化开发了，怎么算模块化，分成不同的类，分成不同的文件夹，高内聚，低耦合，这个当然算是。 从高层次讲，它们是在一起的，只是逻辑上的模块化，不是物理上的模块化，或者说不是彻底的模块化，彻底的模块化应该像一个辆自行车一样，车…
阅读更多...
Sentinel限流熔断

Sentinel限流熔断

官网&#xff1a;https://sentinelguard.io/zh-cn/docs/introduction.html github文档&#xff1a;https://github.com/alibaba/Sentinel/wiki Sentinel 是一款面向分布式服务架构的轻量级流量控制组件&#xff0c;主要以流量为切入点&#xff0c;从流量控制、 熔断降级 、系…
阅读更多...
使用Vivado Design Suite平台板、将IP目录与平台板流一起使用

使用Vivado Design Suite平台板、将IP目录与平台板流一起使用

使用Vivado Design Suite平台板流 Vivado设计套件允许您使用AMD目标设计平台板&#xff08;TDP&#xff09;创建项目&#xff0c;或者已经添加到板库的用户指定板。当您选择特定板&#xff0c;Vivado设计工具显示有关板的信息&#xff0c;并启用其他设计器作为IP定制的一部分以…
阅读更多...
Python爬虫---Scrapy项目的创建及运行

Python爬虫---Scrapy项目的创建及运行

Scrapy是一个为了爬取网站数据&#xff0c;提取结构性数据而编写的应用框架。 可以应用在包括数据挖 掘&#xff0c;信息处理或存储历史数据等一系列的程序中。 1. 安装scrapy&#xff1a; pip install scrapy 注意&#xff1a;需要安装在python解释器相同的位置,例如&#xf…
阅读更多...
RabbitMQ入门到实战——基础篇

RabbitMQ入门到实战——基础篇

初识RabbitMQ&#xff1a;高性能异步通讯组件 同步调用 异步调用 场景&#xff1a;1.对结果不关心时异步。订单状态-异步&#xff0c;查询-同步 2.影响性能。调用链超长&#xff0c;可改成异步 MQ技术对比 kafka日志收集 RabbitMQ整体架构 快速入门 交换机只负责路由消息&am…
阅读更多...
Windows RPC运行时漏洞事后总结

Windows RPC运行时漏洞事后总结

2022年4月前后&#xff0c;Windows RPC运行时被曝出存在远程代码执行漏洞&#xff0c;当时曾引起很多人广泛关注。微软很快做出反应&#xff0c;发布补丁程序进行修补。这次事件中&#xff0c;Windows远程过程调用&#xff08;RPC&#xff09;运行时共出现三个关键漏洞&#xf…
阅读更多...
Jasper report InputStream动态生产Logo

Jasper report InputStream动态生产Logo

第一步&#xff0c;新建一个Parameter 新建一个对象Parameter&#xff0c;类型为java.io.InputStream 第二步&#xff0c;拖拽Image对象 拖拽Image对象&#xff0c;并调整长宽&#xff0c;Image下选择Expression $P{Logo_Blue} 第三步&#xff0c;把图片转换成stream rptHea…
阅读更多...
JS逆向实战案例1——某房地产url动态生成

JS逆向实战案例1——某房地产url动态生成

说明&#xff1a;仅供学习使用&#xff0c;请勿用于非法用途&#xff0c;若有侵权&#xff0c;请联系博主删除 作者&#xff1a;zhu6201976 一、 反爬分析 url&#xff1a;aHR0cHM6Ly9uZXdob3VzZS4wNTU3ZmRjLmNvbQ 该站点项目url通过点击JS生成&#xff0c;project_id与生成后…
阅读更多...
Android 输入系统介绍

Android 输入系统介绍

文章目录 一、目的二、环境三、相关概念3.1 输入设备3.2 UEVENT机制3.3 JNI3.4 EPOLL机制3.5 INotify 四、详细设计4.1 结构图4.2 代码结构4.3 InputManagerService模块4.3.1 IMS服务入口4.3.2 IMS初始化4.3.3 IMS启动4.3.4 IMS消息监听 4.4 NativeInputManager模块4.4.1 nativ…
阅读更多...
从0到1实战微服务架构之Nacos下载安装

从0到1实战微服务架构之Nacos下载安装

目录 一、前言 二、Nacos概述 三、Nacos架构 3.1 Open API 3.2 Config Service 3.3 Naming Service 3.4 Nacos Core 3.5 Consistency Protocol 四、Nacos部署实践 4.1 Nacos下载 4.2 Nacos部署 五、总结 一、前言 Nacos是一个开源的、易于使用的、功能丰富的平台&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023