在视频编码的研究和开发中,我们经常需要对编码器的性能进行比较,一般的做法是构建一个数据集,然后将两个编码器在同一个配置上(LD,RA,AI等)使用不同参数(CQP下一般为4个QP值)编码,然后收集编码结果(码率、PSNR等),最后计算BD-Rate从而评价编码器性能。这个过程如果手动操作比较繁琐,需要在不同参数上多次运行编码器还要手动收集和整理数据,这种低效的操作影响开发效率。最近我发现了一个编码器测试平台CodecWar(https://codecwar.com/),这个平台可以选择编码器和配置参数后自运行并生成结果报告。
CodecWar提供多种功能,这里主要介绍其中的两个:
Compare:它可以对不同的编码器结果进行比较,包括平台上的公共数据集结果和自己生成的结果。
Create:可以创建一个流水线运行自己的编码器。
Compare
比如我要对比HEVC和AVS3在LD配置下的性能,平台上已经有了两个编码器在一些公共测试集上的数据,我们可以直接比较,平台支持最多同时比较5个编码器。
-
选择编码器
-
选择数据集
-
比较结果,可以看到avs3比hevc在LD下gain 19.73%
Create
CodecWar平台最重要的功能是根据自己的需求配置编码器,操作非常简单,
-
首先选择编码器
-
然后选择配置
这里可以自己根据需求设置配置参数也可以选择预定义的配置
-
选择编码参数
-
选择序列
这里也可以构建数据集然后直接选择数据集
-
计算指标
-
确认配置,点击Run session
在Workspace中可以看见自己任务的状态
点击open可以看见详细的任务状态
存在的问题
目前平台还存在一些问题
其中最主要的是目前还不支持上传自己的编码器,只能用平台提供的编码器。
价格
平台的测试是收费的,注册后会免费赠送10CodecCash,CodecCash是平台货币用以支付测试费用。费用主要和计算量有关
可以通过平台提供的计算器估计费用(在创建任务时页面也会显示费用)