【Python中图像相似性度量方法全面总结】

文章目录

- 概要
- 图像相似性概念
- 基于直方图的相似性度量
- 基于SSIM的相似性度量
- 基于特征相似性的度量
- 基于深度学习的方法
- 小结

概要

在当今充斥着图像的世界中，衡量和量化图像之间的相似性已经成为一项至关重要的任务。不论是在图像检索、内容推荐还是视觉搜索等现代计算机视觉应用中，图像相似性方法都扮演着关键角色。

幸运的是，Python为开发者和研究者提供了丰富的工具和库，使得他们能够快速深入探讨这些技术，并加以实现。本文将深入探讨各种图像相似性技术，并演示如何在Python环境中灵活应用它们。通过本文，读者将了解到不同的图像相似性度量方法，以及如何在实际项目中运用这些方法，从而更好地理解和解决现实世界中的图像相似性问题。

图像相似性概念

`
像相似性是指两幅图像之间在视觉内容方面的相似程度。这个概念在计算机视觉、图像处理和模式识别等领域被广泛应用。理解图像相似性对于图像搜索、图像检索、图像匹配、目标识别等任务至关重要。

图像相似性可以在多个方面进行分析和计算：

颜色相似性： 这是指两幅图像中颜色分布的相似程度。颜色直方图是常用的颜色表示方法，通过比较两幅图像的颜色直方图，可以量化它们之间的颜色相似性。

形状相似性： 形状相似性描述了两幅图像中物体或者轮廓的形状相似程度。在形状分析中，常用的方法包括边缘检测和轮廓匹配等技术。

纹理相似性： 纹理是指图像中重复出现的纹理单元，纹理相似性衡量了两幅图像中纹理的相似度。常用的纹理特征包括灰度共生矩阵、小波变换等。

结构相似性： 结构相似性考虑了图像中物体或者场景的布局和空间关系，比如两幅图像中物体的相对位置、大小等。

为了量化这些相似性，研究者们提出了各种数学模型和计算方法。其中一种常用的方法是计算相似性分数，这个分数通常在0到1之间，表示两幅图像的相似程度。当分数接近1时，表示两幅图像非常相似，而当分数接近0时，表示两幅图像差异很大。

基于直方图的相似性度量

在这里插入图片描述

们使用了Python的OpenCV库来比较两幅图像的直方图，并计算它们之间的相似性分数。下面是代码的详细解释：

导入OpenCV库： 首先，我们导入了OpenCV库，这是一个用于计算机视觉任务的流行库。

import cv2

加载图像：我们使用cv2.imread()函数加载两幅图像。

image1 = cv2.imread(image1)
image2 = cv2.imread(image2)

计算直方图：我们使用cv2.calcHist()函数计算图像的直方图。这里我们计算了3D直方图，涵盖了图像的三个颜色通道（蓝色、绿色、红色），每个通道256个灰度级。

hist_img1 = cv2.calcHist([image1], [0, 1, 2], None, [256, 256, 256], [0, 256, 0, 256, 0, 256])
hist_img2 = cv2.calcHist([image2], [0, 1, 2], None, [256, 256, 256], [0, 256, 0, 256, 0, 256])

归一化直方图：归一化操作将直方图的值范围限制在0到1之间，使得直方图可以用来比较不同尺度和分辨率的图像。

cv2.normalize(hist_img1, hist_img1, alpha=0, beta=1, norm_type=cv2.NORM_MINMAX)
cv2.normalize(hist_img2, hist_img2, alpha=0, beta=1, norm_type=cv2.NORM_MINMAX)

比较直方图相似性：我们使用cv2.compareHist()函数比较两幅图像的直方图。这里使用了cv2.HISTCMP_CORREL作为比较方法，该方法计算两个直方图的相关性，得分范围在-1到1之间。得分越接近1，表示两幅图像的相似性越高。

metric_val = cv2.compareHist(hist_img1, hist_img2, cv2.HISTCMP_CORREL)

输出相似性分数：最后，我们将计算得到的相似性分数进行输出。

print(f"Similarity Score: ", round(metric_val, 2))

在这个例子中，输出的Similarity Score是两幅图像的相似性分数，值为0.94，表示这两幅图像在颜色分布上非常相似。你可以根据不同的比较方法（比如cv2.HISTCMP_CHISQR或cv2.HISTCMP_BHATTACHARYYA等）来得到不同类型的相似性分数，具体选择哪种方法取决于你。
全部代码：

import cv2
# Load images
image1 = cv2.imread(image1)
image2 = cv2.imread(image2)
hist_img1 = cv2.calcHist([image1], [0, 1, 2], None, [256, 256, 256], [0, 256, 0, 256, 0, 256])
hist_img1[255, 255, 255] = 0 #ignore all white pixels
cv2.normalize(hist_img1, hist_img1, alpha=0, beta=1, norm_type=cv2.NORM_MINMAX)
hist_img2 = cv2.calcHist([image2], [0, 1, 2], None, [256, 256, 256], [0, 256, 0, 256, 0, 256])
hist_img2[255, 255, 255] = 0  #ignore all white pixels
cv2.normalize(hist_img2, hist_img2, alpha=0, beta=1, norm_type=cv2.NORM_MINMAX)
# Find the metric value
metric_val = cv2.compareHist(hist_img1, hist_img2, cv2.HISTCMP_CORREL)
print(f"Similarity Score: ", round(metric_val, 2))

结果

Similarity Score: 0.94

基于SSIM的相似性度量

结构相似性指数（SSIM）是一种广泛用于图像质量评估的指标，它不仅仅考虑了图像的亮度、对比度和结构，还模拟了人眼对图像的感知。SSIM的取值范围在-1到1之间，其中1表示两幅图像完全相同，-1表示两幅图像完全不同。

在Python中，你可以使用scikit-image库来计算两幅图像的SSIM。以下是一个简单的示例：
导入库：

import cv2
from skimage import metrics

首先，我们导入了OpenCV和scikit-image库，分别用于图像处理和SSIM计算。

加载图像：

image1 = cv2.imread(image1)
image2 = cv2.imread(image2)

这里我们加载了两幅图像。

调整图像尺寸：

image2 = cv2.resize(image2, (image1.shape[1], image1.shape[0]), interpolation=cv2.INTER_AREA)

如果两幅图像的尺寸不同，我们通过cv2.resize()函数将它们的尺寸调整为相同，以便进行比较。

将图像转换为灰度图：

image1_gray = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)
image2_gray = cv2.cvtColor(image2, cv2.COLOR_BGR2GRAY)

我们将彩色图像转换为灰度图像，因为SSIM通常在灰度图上进行计算。

计算SSIM：

ssim_score = metrics.structural_similarity(image1_gray, image2_gray, full=True)

使用skimage.metrics.structural_similarity()函数计算两幅灰度图像的SSIM。这个函数返回一个包含SSIM分数的元组。在这个示例中，我们用ssim_score[0]获取了SSIM分数。

输出SSIM分数：

print(f"SSIM Score: ", round(ssim_score[0], 2))

最后，我们将计算得到的SSIM分数输出。SSIM分数的范围是-1到1，值越接近1，表示两幅图像的结构相似性越高。

完整代码：

from skimage.metrics import structural_similarity as ssim
import cv2

# 加载图像
image1 = cv2.imread(image1)
image2 = cv2.imread(image2)

# 将图像转换为灰度图
gray_image1 = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)
gray_image2 = cv2.cvtColor(image2, cv2.COLOR_BGR2GRAY)

# 计算SSIM
ssim_score, _ = ssim(gray_image1, gray_image2, full=True)

# 输出相似性分数
print(f"SSIM Score: {ssim_score:.2f}")

在这个示例中，我们首先使用OpenCV将两幅图像转换为灰度图，因为SSIM通常在灰度图上计算。然后，我们使用skimage.metrics.structural_similarity函数来计算两幅灰度图像的SSIM分数。ssim()函数的第三个参数full为True表示返回完整的SSIM图像，但在这个示例中我们只关心SSIM分数，因此用下划线将其忽略。

SSIM分数越接近1，表示两幅图像的结构相似性越高。使用SSIM指标，你可以更全面地了解图像之间的相似性，因为它不仅仅考虑了像素值的相似性，还考虑了图像的结构信息，使得评估更加准确。

基于特征相似性的度量

基于特征相似性的度量方法是一种常用于图像处理和计算机视觉领域的技术。这些方法通常涉及从图像中提取出关键特征，然后比较这些特征之间的相似性或差异性。在这个过程中，尺度不变特征变换（SIFT）和加速鲁棒特征（SURF）是两种常用的特征提取算法。
使用OpenCV提取图像的SIFT和SURF特征

首先，确保你已经安装了OpenCV库。如果没有安装，你可以使用以下命令进行安装：

pip install opencv-python

然后，你可以使用以下代码示例来提取两幅图像的SIFT和SURF特征：

import cv2

# 读取两张图像
image1 = cv2.imread('image1.jpg', cv2.IMREAD_GRAYSCALE)
image2 = cv2.imread('image2.jpg', cv2.IMREAD_GRAYSCALE)

# 创建SIFT对象
sift = cv2.SIFT_create()

# 在图像上检测SIFT关键点和描述符
keypoints1, descriptors1 = sift.detectAndCompute(image1, None)
keypoints2, descriptors2 = sift.detectAndCompute(image2, None)

# 创建SURF对象
surf = cv2.xfeatures2d.SURF_create()

# 在图像上检测SURF关键点和描述符
keypoints_surf1, descriptors_surf1 = surf.detectAndCompute(image1, None)
keypoints_surf2, descriptors_surf2 = surf.detectAndCompute(image2, None)

# 进行特征匹配
# 在实际应用中，你可能需要使用更复杂的算法（如FLANN匹配器）来提高匹配的准确性
bf = cv2.BFMatcher()
matches_sift = bf.knnMatch(descriptors1, descriptors2, k=2)
matches_surf = bf.knnMatch(descriptors_surf1, descriptors_surf2, k=2)

# 应用比率测试，以获得较好的匹配结果
good_matches_sift = []
good_matches_surf = []
for m, n in matches_sift:
    if m.distance < 0.75 * n.distance:
        good_matches_sift.append([m])
for m, n in matches_surf:
    if m.distance < 0.75 * n.distance:
        good_matches_surf.append([m])

# 绘制匹配结果
img_matches_sift = cv2.drawMatchesKnn(image1, keypoints1, image2, keypoints2, good_matches_sift, None, flags=cv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)
img_matches_surf = cv2.drawMatchesKnn(image1, keypoints_surf1, image2, keypoints_surf2, good_matches_surf, None, flags=cv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)

# 显示匹配结果图像
cv2.imshow('SIFT Matches', img_matches_sift)
cv2.imshow('SURF Matches', img_matches_surf)
cv2.waitKey(0)
cv2.destroyAllWindows()

请确保将image1.jpg和image2.jpg替换为你要比较的两幅图像的文件路径。

在上述示例中，我们使用了SIFT和SURF特征提取算法，并进行了特征匹配。匹配结果被画在了两幅图像上。在实际应用中，你可能需要根据你的需求调整特征提取和匹配的参数，以获得最好的匹配结果。

基于深度学习的方法

基于深度学习的方法已经在图像相似性任务中取得了显著的成果。使用预训练的卷积神经网络（CNNs），例如ResNet、VGG和Inception，可以轻松地从图像中提取深层特征，这种特征提取的方法彻底改变了图像相似性任务的处理方式。

其中，来自OpenAI的Contrastive Language-Image Pre-Training（CLIP）是一种多模式零样本图像分类器，它在广泛的领域中取得了卓越的效果，而且可以在没有微调的情况下使用。我们可以使用开源的训练代码在自己的图像和文本数据集上对CLIP模型进行微调，以更好地适应特定任务。

下面是一个简单的示例，演示了如何使用基于CLIP的预训练模型以及torch、open_clip和sentence_transformers库来比较两幅图像的相似性：

首先，确保你已经安装了CLIP以及所需的依赖库。如果没有安装，你可以使用以下命令进行安装：

!pip install git+https://github.com/openai/CLIP.git
!pip install open_clip_torch
!pip install sentence_transformers

然后，导入必要的库并进行初始化设置：

import torch
import open_clip
import cv2
from sentence_transformers import util
from PIL import Image

# 初始化CLIP模型和预处理步骤
device = "cuda" if torch.cuda.is_available() else "cpu"
model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-16-plus-240', pretrained="laion400m_e32")
model.to(device)

# 定义图像编码函数
def imageEncoder(img):
    img1 = Image.fromarray(img).convert('RGB')
    img1 = preprocess(img1).unsqueeze(0).to(device)
    img1 = model.encode_image(img1)
    return img1

# 定义计算相似性分数的函数
def generateScore(image1, image2):
    test_img = cv2.imread(image1, cv2.IMREAD_UNCHANGED)
    data_img = cv2.imread(image2, cv2.IMREAD_UNCHANGED)
    img1 = imageEncoder(test_img)
    img2 = imageEncoder(data_img)
    cos_scores = util.pytorch_cos_sim(img1, img2)
    score = round(float(cos_scores[0][0])*100, 2)
    return score

# 输入两幅图像的文件路径，并计算它们之间的相似性分数
image1 = 'path/to/your/image1.jpg'
image2 = 'path/to/your/image2.jpg'
print(f"Similarity Score: {generateScore(image1, image2)}")

在这个示例中，generateScore函数接受两个图像的文件路径作为输入，并返回它们之间的相似性分数。这个分数是通过计算两幅图像中特征向量的余弦相似性来得出的。在实际应用中，你可以将这个方法扩展到处理大量图像，并用于图像检索、相似性匹配等任务

小结

图像相似性度量在计算机视觉领域中具有重要意义，用于衡量图像之间的相似度或差异度。在Python中，有多种方法可用于图像相似性度量，其中包括基于特征相似性的度量和基于深度学习的方法。

基于特征相似性的度量方法通常包括特征提取和特征匹配两个步骤。常用的特征提取算法包括尺度不变特征变换（SIFT）和加速鲁棒特征（SURF），这些算法能够识别图像中的关键点，并提取描述这些关键点的特征向量。通过特征匹配，可以计算两幅图像之间的相似性分数。Python中的OpenCV库提供了便捷的接口，可以用于实现这些特征提取和匹配的操作。

另一种常用的方法是基于深度学习的图像相似性度量。使用预训练的卷积神经网络（CNNs）如ResNet、VGG和Inception，以及特定任务的预训练模型如Contrastive Language-Image Pre-Training（CLIP），可以从图像中提取深层特征。这些特征可以用于计算图像之间的相似性。借助Python中的深度学习框架如PyTorch，我们能够轻松地实现这些方法，并在自定义数据集上进行训练和评估。