前言
做插帧这么久了,这几个指标还没系统的研究过,这次开一个博客写下这几个指标的区别
这里贴一个比较全的评价指标的库https://github.com/csbhr/OpenUtility/tree/c9cf713c99523c0a2e0be6c2afa988af751ad161
以以下两张图为例
预测图片
真实图片
MSE
MSE(mean squared error)均方误差
公式如下:
即两张图片对应像素点数的差的平方求平均,这里可以理解为带噪声图像与干净图像之间的噪声
对于这两张0-255的取值范围的图片,MSE的值为20.3308
对于上图真值图片和一张全黑图片(值为0),MSE的值为15907.2259
对于全白图片和全黑图片,MSE的值为255*255=65025
而将该两张图片过Tensor后缩放成0-1之间,MSE的值为0.0003
显然,MSE的值的大小和图片本身是有关的
PSNR
PSNR(Peak Signal-to-Noise Ratio)
PSNR即峰值信噪比,衡量的是对应像素之间的相近程度
公式如下
MSE即上图的均方误差。MAXI为图像中像素颜色的可以取到的最大数值,即255
PSNR则是反映MSE的相对大小情况
如上图与真值的PSNR为35.054(Unit8)
将上图缩放为0-1之间,PSNR为35.229(float64)
这两种情况的取值不一样!!!
以及,直接用unit8相减减不出负值,会溢出,而平方的取值范围达不到,最后的MSE的值会不准,导致PSNR结果不对
至于峰值信噪比和信噪比之间的关系(信噪比我理解的是预测图片像素值的均方和),这里我理解的是将图片的信号值变成最大数值,可以规避掉图片由于RGB绝对值很小带来的PSNR值很小的情况,导致同样噪声情况下,亮度值大的图片比亮度值小的图片PSNR值高
这里还值得注意的是,若MSE的值为0,会导致PSNR取值无限大,因此会采用加上一个小的值到MSE上,进行截断,比如加上1e-8,因此PSNR最大值为128.13080360867912
而MAX平方/MSE永远>=1,因此PSNR的值不会为负(是负的就是算错了分子分母上下的值没搞对)
SSIM
SSIM(structural similarity index)结构性相似指标
评价一张图片的亮度 (luminance )、对比度 (contrast ) 和结构 (structure)
亮度用均值表示
标准差,协方差作为对比度的表示
作为结构的表示