卷积切分图片

怎么切分图片?
- 使用opencv,PIL切分图片有什么问题?
  - 慢
- 使用 卷积来切分图片
  卷积的运算过程类似于切图

卷积对输入图片的尺寸有没有的要求?
就是 输入的图片尺寸 必须大于 卷积核的大小

test1.py

import torch
from torch import nn

"""
卷积对输入的图片有没有尺寸的要求?
就是 输入的图片尺寸 必须大于 卷积核的大小
"""

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.layer = nn.Sequential(
            nn.Conv2d(3, 12, 3),
            nn.ReLU(),
            nn.Conv2d(12, 32, 3),
            nn.ReLU(),
            nn.Conv2d(32, 56, 3),
            nn.ReLU(),
            nn.Conv2d(56, 128, 3),
            nn.ReLU(),
            nn.Conv2d(128, 256, 3)
    )

    def forward(self, x):
        return self.layer(x)

if __name__ == '__main__':
    net = Net()
    x1 = torch.randn(1, 3, 32, 32)
    y1 = net(x1)
    print(y1.shape)

    x2 = torch.randn(1, 3, 28, 28)
    y2 = net(x2)
    print(y2.shape)

    x3 = torch.randn(1, 3, 5, 5)
    y3 = net(x3)
    print(y2.shape)

在这里插入图片描述

全连接对输入图片的尺寸有没有要求？
- 全连接定死了，输入图片的尺寸就定死了；所以全连接对图片输入的尺寸有要求

为什么卷积的输出通道需要我们来指定?
- 输出通道 决定 卷积核的个数
- 卷积核的个数代表 特征个数
- 我需要多少个特征，是由我们自己定义的
- 不是越多越好（多了，会出现过拟合）

图片从 32 * 32 到 22 * 22,是等价的吗?
- 缩小图片的过程中，它是在丢失信息。所以不等价

虽然图片变小了，但是通道数增加了
卷积运算把图片的特征 保留到通道上面，有 多少个通道，就有 多少个特征
是通过通道来区分特征，而不是通过 图片的h.w 来区分特征

输入的图片和特征图的信息有没有区别？

test2.py

import torch
from torch import nn

"""
输入的图片 和 特征图 的 信息  没有区别
前提是 卷积核的个数 不能太少，一个卷积核 只能 提取 一种特征 （卷积核 太少，可能会 丢失信息）
"""

x = torch.randn(1,1,28,28)
layer = nn.Conv2d(1,784,28)
y = layer(x)
print(y.shape)

784个通道 1*1的特征图

在这里插入图片描述

输入的图片 和 特征图 的信息没有区别
- 前提是 卷积核的个数 不能太少，一个卷积核 只能 提取一种特征 （卷积核太少，可能会丢失信息）

在这里插入图片描述

在这里插入图片描述0

图片切分:
- 把图片切分成 一个一个区域，按一定的步长进行分割，把每一个区域 传到 单目标检测模型 中，这就相当于卷积的 运算过程，切分的格子的大小就是 卷积核的大小，用卷积来代替切分的过程。
- 把原图 输入到模型中去检测，转变为把 卷积运算后的特征图 输入到模型去检测，
- 前提是原图和 特征图 的 信息量 要对等
- 如果信息量要对等的话，需要 增加卷积核的个数
- 图片上面的信息可以放到 特征图的通道上面

全卷积结构 - 1

在这里插入图片描述

能否把两个卷积合并成一个卷积?
- 卷积分解

test3.py

import torch
import torch.nn as nn

"""
能否把两个卷积合并成一个卷积?
卷积分解
"""
conv = nn.Conv2d(1,1,5)
class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.layer = nn.Sequential(
            nn.Conv2d(1,1,3),
            nn.ReLU(),
            nn.Conv2d(1,1,3)
        )

    def forward(self,x):
        return self.layer(x)

if __name__== "__main__":
    x = torch.randn(1,1,15,15)
    net = Net()
    out1 = conv(x)
    out2 = net(x)
    print(out1.shape)
    print(out2.shape)

在这里插入图片描述
1个5 * 5 的卷积，等价于两个3 * 3 的卷积
用一个模型 来代替 一层卷积 （如：模型里有两个3 * 3 的卷积，一层卷积是 1个5 * 5 的卷积）

我们可以用一个卷积 来代替 多个卷积
把两个卷积 合成 一个卷积，这个卷积即做 图片切分 又做 特征提取
即做 图片切分，又做 单目标检测
用一个模型 来代替 一层卷积

如何把模型设计成相当于 一个卷积层？
这个卷积即做 图片切分，又做 单目标检测

在这里插入图片描述

可以用 一个模型 来代替这 一层卷积
如何把模型设计成 相当于 一个12 * 12 的卷积
把一个 12 * 12 的格子，缩小成 1 * 1 的格子

为什么卷积的后面要有一个全连接？

在这里插入图片描述
- 因为要把 所有的通道 合成 一个通道，特征融合，使用 全连结 来做 特征融合

能不能用卷积来做特征融合？

test4.py

import torch
import torch.nn as nn

"""
能不能用 卷积 来做 特征融合？
"""
x = torch.randn(1,32,4,4)
x1 = x.reshape(-1,32*4*4)
net1 = nn.Linear(32*4*4,5) #
y1 = net1(x1)
print(y1.shape)
#print(y1)

print("---------------")
net2 = nn.Conv2d(32,5,4) #
y2 = net2(x)
print(y2.shape)
#print(y2)

在这里插入图片描述

我们可以把特征放到通道上面，让模型通过通道直接输出
如果模型有 全连结层，那么模型的输入就定死了
如果模型是 全卷积结构，那么模型的输入就 不会定死
全卷积结构，理论上可以输入 任意大小 的图片
前提是 输入的图片 的尺寸大于 卷积核的大小