⚠申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址。 全文共计3077字，阅读大概需要3分钟
🌈更多学习内容， 欢迎👏关注👀【文末】我的个人微信公众号：不懂开发的程序猿
个人网站：https://jerry-jy.co/

❗❗❗知识付费，🈲止白嫖，有需要请后台私信或【文末】个人微信公众号联系我

基于OpenCv的图像金字塔

任务需求

一般情况下，我们要处理是一幅具有固定分辨率的图像。但是特别情况下我们需要对同一个图像的不同分辨率的子图像进行处理，所以我们需要创建一组图像，这些图像是具有不同分辨率的原始图像。我们把这组图像叫做图像金字塔。

图像金字塔主要解决图像分析尺度问题的，许多图像分析任务，包括超分辨、目标检测等等都是一种很重要的手段。例如在目标检测领域，图像中的物体通常很可能是远近不一，大小不一的，可以利用金字塔来检测不同尺度下的物体。

金字塔的另一种应用是图像融合。

任务目标

1、掌握图像高斯金字塔

2、掌握图像拉普拉斯金字塔

3、掌握图像使用拉普拉斯金字塔进行图像融合

任务环境

1、jupyter开发环境

2、OpenCv

3、python3.6

任务实施过程

一、高斯金字塔

图像金字塔中的向上和向下采样分别通过OpenCV函数 pyrUp 和 pyrDown 实现。

• 对图像向上采样：cv2.pyrUp(img)
• 对图像向下采样：pyrDown(img)

1.高斯金字塔：向下采样方法（缩小）

import cv2 # 导入opencv
import matplotlib.pyplot as plt # 导入绘图模块
import numpy as np # 导入numpy库
from utils import im_show # 导入显示图像函数
# 绘制图像直接展示，不用调用plt.show()
%matplotlib inline 
# 用来正常显示中文标签
plt.rc('font',family="SimHei")
# 读取图像，显示图像并查看原始图像尺寸
kenan = cv2.imread(r'./experiment/data/kenan.jpg')
print('原图像尺寸：',kenan.shape)
im_show('原图像',kenan)

# 高斯金字塔：向下采样
down=cv2.pyrDown(kenan)
print('图像向下采样后尺寸：',down.shape)
im_show('原图像向下采样',down)

2.高斯金字塔：向上采样方法（放大）

# 高斯金字塔：向上采样
up=cv2.pyrUp(kenan)
print('图像向上采样后尺寸：',up.shape)
im_show('原图像向上采样',up)

3.将图像下采样后上采样与原图对比

# 先将图像下采样两次
down1=cv2.pyrDown(kenan)
down2=cv2.pyrDown(down1)
# 再将得到的下采样图像上采样两次
up1=cv2.pyrUp(down2)
up2=cv2.pyrUp(up1)
plt.figure(figsize=(10,6))
im_show('原图像与图像下采样、上采样后图像对比',np.hstack((kenan,up2)))

将图像先下采样（缩小图像）再上采样（放大图像），在这个过程中也因此丢失了一些信息。得到的图像有些失真。

二、拉普拉斯金字塔

拉普拉斯金字塔是通过原图像减去先缩小后再放大的图像的一系列图像构成的。

# 先将图像下采样，再将图像上采样
down3=cv2.pyrDown(kenan)
down_up=cv2.pyrUp(down3)
# 拉普拉斯金字塔图像
l_1=kenan-down_up
plt.figure(figsize=(10,6))
im_show('原图像与拉普拉斯金字塔图像',np.hstack((kenan,l_1)))

三、图像融合

图像金字塔的一个典型应用是图像融合。
图像融合的目的就是使两幅图像的重叠区域过渡自然且平滑。但是由于连接区域图像像素的不连续性，直接将两幅图像拼接的效果看起来会很差。图像拉普拉斯金字塔可以不同图像的特征与细节融合在一起，实现无缝连接。

1.读入两幅图像，苹果和橘子

apple = cv2.imread(r'./experiment/data/apple.jpg')
orange = cv2.imread(r'./experiment/data/orange.jpg')
plt.figure(figsize=(10,6))
im_show('待融合图片',np.hstack((apple,orange)))

2.构建苹果和橘子的高斯金字塔（5 层）

# 为苹果生成高斯金字塔
G1 = apple.copy()
gpA = [G1]
plt.figure(figsize=(10,6))
# 创建一个2行3列子图，子图标签分别表示图像金字塔层数
plt.subplot(2,3,1)
im_show('0',apple)
for i in range(5):
    plt.subplot(2,3,i+2)
    G1 = cv2.pyrDown(G1)
    im_show(i+1,G1)
    gpA.append(G1)

# 为橘子生成高斯金字塔
G2 = orange.copy()
gpB = [G2]
plt.figure(figsize=(10,6))
# 创建一个2行3列子图，子图标签分别表示图像金字塔层数
plt.subplot(2,3,1)
im_show('0',orange)
for i in range(5):
    plt.subplot(2,3,i+2)
    G2 = cv2.pyrDown(G2)
    im_show(i+1,G2)
    gpB.append(G2)

3.根据高斯金字塔计算拉普拉斯金字塔

# 为苹果生成拉普拉斯金字塔
# lpA/lpB存储的是金字塔一上一下之间的“信息差”
# cv2.subtract(src1, src2)表示图像减法src1-src2
lpA = [gpA[5]]
plt.figure(figsize=(10,6))
plt.subplot(2,3,6)
im_show('5',gpA[5])
for i in range(5,0,-1):
    # 先将其上采样
    GE = cv2.pyrUp(gpA[i])
    # 将高斯上一层的图像减去高斯下一层图像上采样的结果
    L = cv2.subtract(gpA[i-1],GE)
    plt.subplot(2,3,i)
    im_show(i-1,L)
    lpA.append(L)

# 为橘子生成拉普拉斯金字塔
lpB = [gpB[5]]
plt.figure(figsize=(10,6))
plt.subplot(2,3,6)
im_show('5',gpB[5])
for i in range(5,0,-1):
    GE = cv2.pyrUp(gpB[i])
    L = cv2.subtract(gpB[i-1],GE)
    plt.subplot(2,3,i)
    im_show(i-1,L)
    lpB.append(L)

拉普拉斯金字塔的每一层的含义是，高斯金字塔每一层缩小后又放大到原尺寸所丢失的信息。

4.在拉普拉斯的每一层进行图像融合（苹果的左边与橘子的右边融合）

# 现在在每个级别中添加左右一半的图像
# 不补充“信息差”的情况下，直接hstack金字塔每一层
LS = []
i=1
plt.figure(figsize=(10,6))
for la,lb in zip(lpA,lpB):
    # 获得每一层图像的大小
    rows,cols,dpt = la.shape
    # 使用np.hstack()将图像进行水平拼接
    ls = np.hstack((la[:,0:int(cols/2)], lb[:,int(cols/2):]))
    plt.subplot(2,3,7-i)
    im_show(6-i,ls)
    i+=1
    LS.append(ls)

5.根据融合后的图像金字塔重建原始图像。

# 现在重建
# 逐层补充每一层的“信息差”并Up起来
# LS是融合后的拉普拉斯图像，0-5从小到大
ls_ = LS[0]
plt.figure(figsize=(10,6))
plt.subplot(2,3,6)
im_show('5',ls_)
for i in range(1,6):
    # 由最低分辨率图像向上采样
    ls_ = cv2.pyrUp(ls_) 
    # 将采样后的图片与同层的拉普拉斯金字塔图像相加
    ls_ = cv2.add(ls_, LS[i])
    plt.subplot(2,3,6-i)
    im_show(5-i,ls_)

融合时的图像ls_的变化过程：第一幅图放大一次后，和对应的拉普拉斯层的图像相加（把丢失的信息加回来），得到第二幅图。第二幅图再放大，和对应拉普拉斯层相加。依次类推。

# 图像金字塔融合和图像直接连接对比
# 图像各半边直接连接
real = np.hstack((apple[:,:int(cols/2)],orange[:,int(cols/2):]))
plt.figure(figsize=(10,6))
im_show('图像金字塔融合与图像直接连接对比',np.hstack((ls_,real)))

四、任务小结

本次实验主要完成基于拉普拉斯金字塔的图像无缝融合任务，任务首先生成高斯金字塔，然后根据生成的高斯金字塔生成拉普拉斯金字塔，再将拉普拉斯的每一层进行图像融合，根据融合后的图像金字塔重建原始图像。

–end–

说明

本实验（项目）/论文若有需要，请后台私信或【文末】个人微信公众号联系我