1.概述
CTS是一套开源测试套件,可以实现对OpenGL、ES、OpenCL、Vulkan的兼容性测试。OpenGL ES CTS的测试集,其测试用例涵盖了各种OpenGL ES 的功能和特性。这些功能包括着色器编译和链接、图元绘制、纹理操作、帧缓冲操作、深度测试、模板测试以及其他一些图形渲染相关的功能。通过执行这些测试用例,可以验证OpenGL ES实现在各种情况下的正确性和一致性。
2.套件安装
从OpenGL ES官方网站上下载最新的CTS测试套件源码。网址为
GitHub - KhronosGroup/VK-GL-CTS: Khronos Vulkan, OpenGL, and OpenGL ES Conformance Tests
源码目录如上图。还需要下载依赖的外部库源码和测试case,依赖zlib, libpng, glslang, spirv-headers, spirv-tools,renderdoc。
在external目录下执行python fetch_sources.py。可能下载失败,需要科学上网。
3.套件内容
· data:测试数据,提供测试图片和测试shader参数;
· execserver:测试服务程序,主要为android和ios平台测试框架提供;
· executor:测试基础程序,测试框架的基础实现,可视作自定义测试框架基础。
· external:依赖的外部库源码和测试case
· framework:测试框架,包括测试套装和case的实现框架,wrapper。
· modules:测试目标模块的case
· scrpits:针对不同平台的编译脚本
· targets:编译脚本目录
4.测试套件适配
添加自定义的目标文件:targets/*/*.cmake。
根据需要配置这个文件。*文件名即为目标文件。
5.套件编译
使用cmake构建,需要安装cmake: sudo apt install cmake。
注意这里的cmake版本最好在3.20以上。
cmake 编译有两个选项:
- -DDEQP_TARGET:构建目标,如android,default,iOS,null,osx,raspi,curfaceless,vulkan_headless,wayland,x11_egl,x11_egl_glx,x11_glx
- -DCLSTS_GTF_TARGET:测试对象,如gles2,gles3,gles31,gles32和gl
这里使用自定义的构建目标*,在targets/*/*.cmake文件中定义构建参数。
在cts目录下执行编译步骤如下:
1、cmake ./ -DDEQP_TARGET=* -DGLCTS_GTF_TARGET=gles32 2、cmake --build external/openglcts |
编译根据CMakeList.txt执行。其内部过程如下:
1、编译external里的第三方库,如glslang,spirv-tools,amber等; 2、编译framework里的delibs,如debase,depool等,相当于自己实现的基础库函数以避免对不同平台的依赖; 3、编译execserver和executor,测试框架的基础库 4、编译全部framework,modules,framework主要是针对不同的平台开发的平台适配内容,即为实现接口测试而需要的基础适配代码;modules是针对不同版本gl库开发的接口测试用例; 5、最后编译external/openglcts,生成测试对应的可执行文件 cts-runner 和 glcts 。 |
6.测试流程
cts支持的测试有:
ES: es2, es3, es31, es32;
GL: gl30, gl31, gl32, gl33, gl40, gl41, gl42, gl43, gl44, gl45, gl46。
测试程序生成在external/openglcts/modules目录下。包含glcts(用例级测试)
和cts-runner(套装级测试)二个测试程序。
这里的测试使用的是opengl es。
测试指令参考如下:
1、./glcts --deqp-case=dEQP-GLES2.info.* 2、./cts-runner --type=es32 --logdir=./ |
--logdir=./表示在当前目录生成log文件。
如果是使用用例测试glcts,使用./glcts -h查看支持的参数。
7.测试结果
测试结果默认输出在external/openglcts/modules目录下。文件如下图所示。
log.txt中时运行的log信息记录。
cts-run-summary.xml是qpa的汇总文件,包含每一个testcase的结果路径,每个testcase的结果存在相应的qpa文件中。
8.测试结果分析
套件中还提供了一些工具来辅助分析结果。
在scripts/log/目录下提供了以下python工具:
- bottleneck_repot.py 生成运行报告
- log_to_csv.py 将.qpa文件转换为csv格式文件
- log_to_xls 将.qpa文件转换为xls格式文件
- log_to_xml 将.qpa文件转换为xml格式文件
参考资料:
VK-GL-CTS 初步了解 - 简书 (jianshu.com)
VK-GL-CTS(一)环境配置 - 简书 (jianshu.com)
VK-GL-CTS(二) - 简书 (jianshu.com)