学习资源
1.JPEG图片解码
文档
2.图片缩放
文档
媒体数据处理
数据预处理的典型使用场景
数据预处理的多种方式
分为两种,AIPP和DVPP
DVPP数据预处理功能
了解两个重要概念
宽stride 和 高stride
理解:这里假设一张图片的宽为500,高为300,由于JPEG对输出图片的要求为: 宽stride:64对齐 高stride:16对齐 当500/64=7.8125 不是整数,要向上取整,所以使用8*64=512 ,得出了宽stride,高stride也是类似。
内存申请与释放
JPEG图片解码
第1单元 使用约束
图片分辨率约束
图片格式、宽高对齐、内存约束表格
第2单元 媒体数据处理V1版本
流程:
JPEG图片解码——内存申请与释放
·acldvppMalloc
·函数功能:
该接口主要用于分配内存给Device侧媒体数据处理时使用,申请的大页内存满足数据处理的要求(例如,内存首地址128对齐),同步接口。
调用acldvppMalloc接口申请内存时,会对用户输入的size按向上对齐成32整数倍后,再多加32字节申请。
若用户使用acldvppMalloc接口申请大块内存并自行划分、管理内存时,用户在管理内存时,需按每张图片的实际数
据大小向上对齐成32整数倍+32字节(ALIGN UPIlenl+32字节)来管理内存。
例如,用户已使用acldvppMalloc接口申请大块内存并自行管理内存,用户需管理n张图片的内存,每张图片大小为 len字节,实际应按照n*(ALIGNUP[len]+32字节)的大小管理内存,每张图片的内存地址按(ALIGN UP[len]+32字节)为单位偏移。
ALIGN UP表示向上按32字节对齐:((len-1)/32+1)*32。
调用该接口申请大页内存失败,仅表示系统内的大页内存不够>调用该接口申请内存后,必须使用acldvppFree接口释放内存。
通道创建与销毁
·acldvppCreateChannelDesc
·函数功能:
创建acldvppChannelDesc类型的数据,表示创建图片数据处理通道时的通道描述信息。该接口为同步接口。
·函数原型:
acldvppChannelDescacldvppCreateChannelDesc)·返回值说明:
返回acldvppChannelDesc类型,表示成功。>返回null,表示失败。
· = = = = = = = = = = = = ========== = = = = = = = = = = = = = = = = = = = = = = =
·acldvppDestroyChannelDesc
·函数功能:
销毁acldvppChannelDesc类型的数据,只能销毁通过acldvppCreateChannelDesc接口创建的 acldvppChannelDesc类型。该接口为同步接口。
必须在调用acldvppDestroyChanne接口销毁channel通道之后再调用acldvppDestroyChannelDesc接口释放 acldvppChannelDesc类型的数据,否则报错。
·函数原型:
·aclError acldvppDestroyChannelDesc(acldvppChannelDescchannelDesc)
描述图片
·acldvppCreatePicDesc·函数功能:
创建图片描述信息。同步接口。·函数原型:
acldvppPicDesc*acldvppCreatePicDesc()·返回值说明:
返回acldvppPicDesc类型,表示成功。>返回null,表示失败。
= = = = = = = = = = = = = = = ====================================
·acldvppDestroyPicDesc·函数功能:
销毁图片描述信息,只能销毁通过acldvppCreatePicDesc接口创建的图片描述信息。·函数原型:
aclErroracldvppDestroyPicDesc(acldvppPicDesc*picDesc)
整体调用顺序
JPEG图片解码–整体调用顺序·整体调用顺序:
创建通道描述对象:调用acldvppCreateChannelDesc
创建acldvppChannelDesc对象
创建通道:调用acldvppCreateChannel(acldvppChannelDesc)创建通道
创建图片描述:调用acldvppCreatePicDesc创建acldvppPicDesc对象
执行操作.……
销毁图片描述:调用acldvppDestroyPicDesc(acldvppPicDesc)销毁图片描述
创建图片描述:调用acldvppCreatePicDesc创建acldvppPicDesc对象
执行操作…
销毁图片描述:调用acldvppDestroyPicDesc(acldvppPicDesc)销毁图片描述
销毁通道:调用acldvppDestroyChannel(acldvppChannelDesc)销毁通道
销毁通道描述对象:调用acldvppDestroyChannelDesc(acldvppChannelDesc)销毁通道描述对象
解码主接口
读取图片宽高
预测输出内存
VPC图片约束
图片分辨率约束
图片格式、宽高对齐、内存约束
VPC图片缩放
VPC
·功能:
抠图,从输入图片中抠出需要用的图片区域。
缩放-针对不同分辨率的图像,当前支持非8K缩放。
(非8K缩放,用于处理输入图片分辨率在326~40964096范围内的图片。)
-从是否抠多张图的维度,可分为单图裁剪缩放(支持非压缩格式) 一图多框裁剪缩放(支持非压缩格式)。
-其它缩放方式,如:原图缩放、等比例缩放。
善加,从输入图片中抠出来的图,对抠出的图进行缩放后,放在用户输出图片的指定区域,输出图片可以是空白图片(由用户申请的空输出内存产生的),也可以是已有图片(由用户申请输出内存后将已有冬片读入输出内存),只有当输出图片是已有图片时,才表示叠加。
拼接,从输入图片中报多张图片,对抠出的图进行缩放后,放到输出图片的指定区域。
8K缩放现在也支持了,用于处理宽或高在4096~8192范围内的输入图片,实际开发时请参见对应版本的文档,了解8K缩放时支持的图片格式。
抠图+缩放+叠加
调用流程
VPC–典型流程
·调用acldvppCreateChannel接口创建图片数据处理的通道。创建图片数据处理的通道前,需先调用acldvppCreateChannelDesc接口创建通道描述信息。
·调用acldvppCreateRoiConfig接口、acldvppCreateResizeConfig接口分别创建抠图区域位置的配置、缩放配置。
实现抠图、缩放功能前,若需要申请Device上的内存存放输入或输出数据,需调用acldvppMalloc申请内存、调用acldvppFree接口释放内存。
·执行抠图、缩放。
关于抠图:
调用acldvppVpcCropAsync异步接口,按指定区域从输入图片中抠图,再将抠的图片存放到输出内存中,作为输出图片。输出图片区域与抠图区域 cropArea不一致时会对图片再做一次缩放操作。
-当前系统还提供了acldvppVpcCropAndPasteAsync异步接口,支持按指定区域从输入图片中抠图,再将抠的图片贴到目标图片的指定位置,作为输出图片。
·抠图区域cropArea的宽高与贴图区域pasteArea宽高不一致时会对图片再做一次缩放操作。
·如果用户需要将目标图片读入内存用于存放输出图片,将贴图区域叠加在目标图片上,则需要编写代码逻辑:在申请输出内存后,将目标图片读入输出内存。
关于缩放
-调用acldvppVpcResizeAsync异步接口,将输入图片缩放到输出图片大小
调用acldvppCreateResizeConfiq接口创建图片缩放配置数据,不支持指定缩放算法,默认缩放算法为“最近邻插值”。
-缩放后输出图片内存根据YUV420SP格式计算,计算公式:对齐后的宽对齐后的高3/2
对于异步接口,还需调用aclrtSynchronizeStream接口阻塞Host运行,直到指定Stream中的所有任务都完成,
·调用acldvppDestroyRoiConfig接口、acldvppDestroyResizeConfig接口分别销毁抠图区域位置的配置、缩放配置。
·调用acldvppDestroyChannel接口销毁图片数据处理的通道。销毁图片数据处理的通道后,再调用acdvppDestroyChannelDesc接销毁通道描述信息。
缩放接口
裁剪接口
剪切粘贴
V2版本
接口调用流程
应用开发初级章节小测