Image-to-Image Translation 图像翻译任务中的输入成对图像拼接成一张图技术详解

news2024/9/23 22:32:08

引言 在图像翻译任务中，近几年比较火热的Generative Adversarial Nets (GAN)模型以及各种变体深受视觉研究团体的青睐，在具体任务中取得不错的实验表现。图像翻译包含两部分内容：一个是图像内容(image content)显示内部存在的实体,用于区分不同的图像。另一个是图像域(image domain)将某些具有相同风格特点的图像放置于一个集合中，划分图像所属类别。图像翻译任务也常常被成为领域自适应(domain adaption)任务。在有监督图像翻译任务中，需要成对的图片（一张来自源域source domain,另一张来自目标域target domain）作为模型的输入。成对图像底层内容可以相同（paired image），pix2pix模型主要研究这类图像集合的转换任务，图像底层内容也可以不同(unpaired image)，CycleGAN模型主要解决底层内容不同的图像风格迁移问题。在图像输入模型前需要对图像进行预处理，可以将两个领域的图像拼接成一张图作为模型的输入。本文主要讲述两个用于图像拼接合成为一张图片的代码。代码来源于文章【Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks】[paper] [Project code]

文章目录

一、PIL库实现图像拼接
二、cv2库实现图像拼接
三、总结

一、PIL库实现图像拼接

图像拼接的前提条件是两张图具有相同的尺寸，若尺寸不同需要采用缩放、裁剪等策略对图像进行预处理。调用Image.new(mode, size)创建拼接图，通过 paste()函数将两张图片粘贴到指定位置。
示例代码：

def align_images(a_file_paths, b_file_paths, target_path):
    if not os.path.exists(target_path):
        os.makedirs(target_path,exist_ok=True)

    for i in range(len(a_file_paths)):
        img_a = Image.open(a_file_paths[i])
        img_b = Image.open(b_file_paths[i])
        assert(img_a.size == img_b.size)

        aligned_image = Image.new("RGB", (img_a.size[0] * 2, img_a.size[1]))
        aligned_image.paste(img_a, (0, 0))
        aligned_image.paste(img_b, (img_a.size[0], 0))
        aligned_image.save(os.path.join(target_path, '{:04d}.jpg'.format(i)))

if __name__ == '__main__':
    img_A_path = './2007_000121.jpg'
    img_B_path = './2007_000123.jpg'
    img_AB_dir = './AB/splice'
    align_images([img_A_path], [img_B_path], img_AB_dir)

图片效果
在这里插入图片描述

二、cv2库实现图像拼接

首先调用cv2.imread()函数读取两张图片，将两张图片拼接后调用cv2.imwrite()函数写入到新图片文件中。
示例代码

def image_write(path_A, path_B, path_AB):
    if not os.path.exists(path_AB):
        os.makedirs(path_AB,exist_ok=True)
    im_A = cv2.imread(path_A, 1) # python2: cv2.CV_LOAD_IMAGE_COLOR; python3: cv2.IMREAD_COLOR
    im_B = cv2.imread(path_B, 1) # python2: cv2.CV_LOAD_IMAGE_COLOR; python3: cv2.IMREAD_COLOR
    im_AB = np.concatenate([im_A, im_B], 1)
    img_save = os.path.join(path_AB,'concate.jpg')
    cv2.imwrite(img_save, im_AB)

if __name__ == '__main__':
    img_A_path = './2007_000121.jpg'
    img_B_path = './2007_000123.jpg'
    img_AB_dir = './AB/splice'
    image_write(img_A_path,img_B_path,img_AB_dir)