电脑中有大量手机照片，要批量删除其中相似度高的，首先得有一个分析照片相似度的算法和模型。CLIP（Contrastive Language-Image Pre-Training）模型是由OpenAI在2021年发布的一种多模态预训练神经网络，旨在通过对比学习方法将图像和文本进行联合训练，从而实现对图像和文本之间关联性的理解和匹配。CLIP模型的核心思想是通过对比学习（Contrastive Learning）来学习大量的图像和对应的文本描述，形成一个能够理解两者之间关联的通用模型。具体来说，CLIP采用了两个独立的编码器：一个用于处理文本，另一个用于处理图像。这两个编码器分别提取文本和图像特征，并基于比对学习让模型学习到文本-图像的匹配关系。

在deepseek中输入提示词：

一步步思考，写一个Python脚本，完成批量删除相似照片的功能，具体步骤如下：

打开文件夹：F:\dpic；

读取文件夹里面所有的图像文件；

用CLIP提取文件夹所有图像的特征，然后计算它们的余弦相似度；

相似高的2张以上图片，只保留其中一个最佳图片，删除其余图片；

设置相似度阈值> 0.87

注意：每一步都要输出信息到屏幕上

源代码：

import os

from PIL import Image

import numpy as np

import torch

from transformers import CLIPProcessor, CLIPModel

from sklearn.metrics.pairwise import cosine_similarity

# 定义文件夹路径

folder_path = "F:\\dpic"

# 读取文件夹中的所有图像文件

image_files = [f for f in os.listdir(folder_path) if f.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif', '.JPG'))]

print(f"Found {len(image_files)} image files.")

# 加载CLIP模型和处理器

model_name = "openai/clip-vit-base-patch32"

model = CLIPModel.from_pretrained(model_name)

processor = CLIPProcessor.from_pretrained(model_name)

# 加载图像并提取特征

images = []

for file in image_files:

img_path = os.path.join(folder_path, file)

try:

img = Image.open(img_path)

inputs = processor(images=img, return_tensors="pt")

with torch.no_grad():

image_features = model.get_image_features(**inputs)

images.append((file, image_features.cpu().numpy().squeeze()))

except Exception as e:

print(f"Error loading image {file}: {e}")

print(f"Loaded {len(images)} images.")

# 提取图像特征

features = [img[1] for img in images]

# 计算余弦相似度

similarity_matrix = cosine_similarity(features)

# 删除相似度高的多余图像

to_delete = set()

for i in range(len(similarity_matrix)):

for j in range(i + 1, len(similarity_matrix)):

if similarity_matrix[i][j] > 0.87: # 设置相似度阈值

to_delete.add(images[j][0])

for file in to_delete:

file_path = os.path.join(folder_path, file)

try:

os.remove(file_path)

print(f"Deleted {file}")

except Exception as e:

print(f"Error deleting {file}: {e}")

print("Done.")

程序运行结果：

if similarity_matrix[i][j] > 0.87: # 这里设置相似度阈值，如果觉得不满意，可以调高或者调低。