SSIM原文链接:https://www.researchgate.net/profile/Eero-Simoncelli/publication/3327793_Image_Quality_Assessment_From_Error_Visibility_to_Structural_Similarity/links/542173b20cf203f155c6bf1a/Image-Quality-Assessment-From-Error-Visibility-to-Structural-Similarity.pdf
SSIM用途
SSIM是结构相似性度量(Structural Similarity Index),是一种衡量两个图像相似性的指标。在深度学习中,SSIM常被用来评估生成模型(如GAN)生成的图像与真实图像之间的相似程度。
SSIM通过比较图像的亮度、对比度和结构等方面的相似性,计算出两幅图像之间的相似性分数。它基于人眼对图像的感知,能够更好地反映图像质量,与传统的误差测量方法(如均方误差)相比,更具有鲁棒性和准确性。
我们通过肉眼,可以观察到在相同MSE,不同SSIM下图片的区别:
SSIM计算公式
SSIM在计算的时候主要由图片的3个关键特征决定,分别是:亮度(Luminance),对比度(Contrast),结构 (Structure)。
1. 亮度
亮度以单个像素的灰度值进行描述,用x表示predict图片某个通道中某个像素的灰度值,y表示label图片对应通道中对应像素的灰度值,我们通过求取x,y的样本均值来得到对应亮度的项:
我们能够发现 μ x = μ y \mu_x=\mu_y μx=μy的时候, l = 1 l=1 l=1,引入C1是为了防止均值为0的情况。
2. 对比度
对比度以像素距离均值的偏移程度来进行描述,你可以想到如果一张图对比度越大,那它距离灰度的均值远的像素点就越多。我们通过求取样本标准差来得到对应对比度的项:
3. 结构
结构以像素的线性相关性来进行描述。我们通过求取协方差来得到对应结构的项:
4. SSIM最终公式
SSIM的最终计算公式为:
S S I M ( x , y ) = [ l ( x , y ) ] α [ c ( x , y ) ] β [ s ( x , y ) ] γ SSIM(x, y) = [l(x, y)]^α [c(x, y)]^β [s(x, y)]^γ SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ
其中,x和y分别表示待比较的两幅图像,l(x,y)、c(x,y)、s(x,y)分别为亮度相似度、对比度相似度和结构相似度,α、β、γ为加权系数,一般取1。
我们将上面计算的 l , c , s l, c, s l,c,s带入公式得到如下:
在实际应用中,由于像素总是正值,例如真彩色RGB 24bit,SSIM的值通常在0到1之间,越接近1表示两幅图像越相似。