6-5 多输入多输出通道

虽然我们在前面描述了构成每个图像的多个通道和多层卷积层。例如彩色图像具有标准的RGB通道来代表红、绿和蓝。但是到目前为止，我们仅展示了单个输入和单个输出通道的简化例子。这使得我们可以将输入、卷积核和输出看作二维张量。

当我们添加通道时，我们的输入和隐藏的表示都变成了三维张量。例如，每个RGB输入图像具有 $3\times h\times w$ 的形状。我们将这个大小为 $3$ 的轴称为通道（channel）维度。本节将更深入地研究具有多输入和多输出通道的卷积核。

多输入通道

当输入包含多个通道时，需要构造一个与输入数据具有相同输入通道数的卷积核，以便与输入数据进行互相关运算。假设输入的通道数为 $c_{i}$ ，那么卷积核的输入通道数也需要为 $c_{i}$ 。如果卷积核的窗口形状是 $k_{h}\times k_{w}$ ，那么当 $c_{i}=1$ 时，我们可以把卷积核看作形状为 $k_{h}\times k_{w}$ 的二维张量。

然而，当 $c_{i}>1$ 时，我们卷积核的每个输入通道将包含形状为 $k_{h}\times k_{w}$ 的张量。将这些张量 $c_{i}$ 连结在一起可以得到形状为 $c_{i}\times k_{h}\times k_{w}$ 的卷积核。由于输入和卷积核都有 $c_{i}$ 个通道，我们可以对每个通道输入的二维张量和卷积核的二维张量进行互相关运算，再对通道求和（将 $c_{i}$ 的结果相加）得到二维张量。这是多通道输入和多输入通道卷积核之间进行二维互相关运算的结果。
请添加图片描述在图6.4.1中，我们演示了一个具有两个输入通道的二维互相关运算的示例。阴影部分是第一个输出元素以及用于计算这个输出的输入和核张量元素： $(1\times1+2\times2+4\times3+5\times4)+(0\times0+1\times1+3\times2+4\times3)=56$ 。

为了加深理解，我们实现一下多输入通道互相关运算。简而言之，我们所做的就是对每个通道执行互相关操作，然后将结果相加。

import torch
from d2l import torch as d2l

# 接收两个参数：X 和 K。X 是输入数据，K 是卷积核。在多输入通道的卷积中，X 和 K 都可能有多个通道。
def corr2d_multi_in(X, K):
    # 先遍历“X”和“K”的第0个维度（通道维度），再把它们加在一起
    # 对输入 X 和卷积核 K 的第0个维度（即通道维度）进行遍历，然后将每个通道的互相关结果加起来。这是多通道输入处理的常规方法。
    return sum(d2l.corr2d(x, k) for x, k in zip(X, K))
    # 使用生成器表达式结合 zip 函数将输入 X 和卷积核 K 的每个通道配对，
    # 然后对每一对使用 d2l.corr2d 函数计算二维互相关。
    # d2l.corr2d 函数应该是计算单通道输入和单通道卷积核之间的二维互相关。
    # sum 函数最后将所有通道的计算结果相加，得到最终的输出。

我们可以构造与图6.4.1中的值相对应的输入张量 $X$ 和核张量 $K$ ，以验证互相关运算的输出。

X = torch.tensor([
			   [[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]],
               [[1.0, 2.0, 3.0], [4.0, 5.0, 6.0], [7.0, 8.0, 9.0]]
                ])
                
K = torch.tensor([
			   [[0.0, 1.0], [2.0, 3.0]], 
			   [[1.0, 2.0], [3.0, 4.0]]
			    ])

corr2d_multi_in(X, K)

请添加图片描述

多输出通道

到目前为止，不论有多少输入通道，我们还只有一个输出通道。然而，正如我们在前面所讨论的，每一层有多个输出通道是至关重要的。在最流行的神经网络架构中，随着神经网络层数的加深，我们常会增加输出通道的维数，通过减少空间分辨率以获得更大的通道深度。直观地说，我们可以将每个通道看作对不同特征的响应。而现实可能更为复杂一些，因为每个通道不是独立学习的，而是为了共同使用而优化的。因此，多输出通道并不仅是学习多个单通道的检测器。

用 $c_{i}$ 和 $c_{o}$ 分别表示输入和输出通道的数目，并让 $k_{h}$ 和 $k_{w}$ 为卷积核的高度和宽度。为了获得多个通道的输出，我们可以为每个输出通道创建一个形状为 $c_{i}\times k_{h}\times k_{w}$ 的卷积核张量，这样卷积核的形状是 $c_{o}\times c_{i}\times k_{h}\times k_{w}$ 。在互相关运算中，每个输出通道先获取所有输入通道，再以对应该输出通道的卷积核计算出结果。

如下所示，我们实现一个计算多个通道的输出的互相关函数。

# 接受两个参数：X 和 K。这里的 X 是输入数据，可能包含多个输入通道；
# K 是卷积核，它通常是一个四维张量，其中第一个维度表示输出通道的数量，后续维度分别对应输入通道、卷积核的高和宽。
def corr2d_multi_in_out(X, K):
    # 迭代“K”的第0个维度，每次都对输入“X”执行互相关运算。
    # 遍历卷积核 K 的第0个维度（输出通道）。对于每个输出通道的卷积核，都会对输入数据 X 执行一次完整的互相关操作。
    # 最后将所有结果都叠加在一起
    # 函数将对每个输出通道得到的二维互相关结果进行堆叠，这样可以保持输出结果的维度与卷积核的输出通道数一致。
    return torch.stack([corr2d_multi_in(X, k) for k in K], 0)
    # 这是一个列表推导式，对 K 中的每个卷积核 k（每个 k 代表一个特定输出通道的所有输入通道的卷积核集合），使用之前定义的 corr2d_multi_in 函数对输入 X 进行互相关运算。corr2d_multi_in 函数负责处理多输入通道的互相关运算。
    # 使用 torch.stack 函数将所有单独的输出通道结果堆叠在一起。
    # 堆叠是沿着新的第0维度进行的，这意味着最终输出的张量的第0维度将对应于输出通道的数量。

通过将核张量 $K$ 与 $K + 1$ （ $K$ 中每个元素加 $1$ ）和 $K + 2$ 连接起来，构造了一个具有 $3$ 个输出通道的卷积核。

K = torch.stack((K, K + 1, K + 2), 0)
K.shape

请添加图片描述

下面，我们对输入张量 $X$ 与卷积核张量 $K$ 执行互相关运算。现在的输出包含 $3$ 个通道，第一个通道的结果与先前输入张量 $X$ 和多输入单输出通道的结果一致。

corr2d_multi_in_out(X, K)

请添加图片描述

$1\times 1$ 卷积层

$1\times 1$ 卷积，即 $k_{h}=k_{w}=1$ ，看起来似乎没有多大意义。毕竟，卷积的本质是有效提取相邻像素间的相关特征，而 $1\times 1$ 卷积显然没有此作用。尽管如此， $1\times 1$ 仍然十分流行，经常包含在复杂深层网络的设计中。下面，让我们详细地解读一下它的实际作用。

因为使用了最小窗口， $1\times 1$ 卷积失去了卷积层的特有能力——在高度和宽度维度上，识别相邻元素间相互作用的能力。其实 $1\times 1$ 卷积的唯一计算发生在通道上。

图6.4.2展示了使用 $1\times 1$ 卷积核与 $3$ 个输入通道和 $2$ 个输出通道的互相关计算。这里输入和输出具有相同的高度和宽度，输出中的每个元素都是从输入图像中同一位置的元素的线性组合。我们可以将 $1\times 1$ 卷积层看作在每个像素位置应用的全连接层，以 $c_{i}$ 个输入值转换为 $c_{o}$ 个输出值。因为这仍然是一个卷积层，所以跨像素的权重是一致的。同时， $1\times 1$ 卷积层需要的权重维度为 $c_{o}\times c_{i}$ ，再额外加上一个偏置。

请添加图片描述

下面，我们使用全连接层实现 $1\times 1$ 卷积。请注意，我们需要对输入和输出的数据形状进行调整。

# 1x1 卷积核在卷积神经网络中通常用于调整网络中间层的通道数，以及实现跨通道的交互和信息整合。
def corr2d_multi_in_out_1x1(X, K):
# 接受两个参数：X 和 K。
# 这里的 X 是输入数据，通常是一个三维张量（输入通道数 c_i，高度 h，和宽度 w）；
# K 是卷积核，是一个四维张量，其中第一个维度是输出通道数 c_o，后面的维度是输入通道数、高和宽（在 1x1 卷积中，高和宽都是1）。
    c_i, h, w = X.shape
    # 从输入张量 X 的形状中提取输入通道数 c_i，高度 h，和宽度 w。
    c_o = K.shape[0]
    # 从卷积核张量 K 的形状中提取输出通道数 c_o，这是 K 的第一个维度。
    X = X.reshape((c_i, h * w))
    # 将输入张量 X 重塑（reshape）成二维形状。这里，高度和宽度被合并成一个维度，从而将 X 转换为一个矩阵，其行数对应输入通道，列数对应每个通道的元素数（像素数）。
    K = K.reshape((c_o, c_i))
    # 将卷积核张量 K 重塑成二维形状。由于每个卷积核是 1x1 大小，所以 K 可以直接被视为从输入通道到输出通道的线性变换矩阵。
    # 全连接层中的矩阵乘法
    # 接下来的操作类似于全连接层中的矩阵乘法。这是因为 1x1 卷积实际上是在每个位置上对输入通道的线性组合，这与全连接层的操作非常类似。
    Y = torch.matmul(K, X)
    # 使用 torch.matmul 函数执行矩阵乘法。
    # K 作为左矩阵，与 X 相乘，输出 Y，其中包含了经过卷积核处理的所有位置的结果。
    # Y 的形状将是 [c_o, h * w]。
    return Y.reshape((c_o, h, w))
    # 最后，将结果 Y 重塑回三维形状，以确保输出张量与输入张量在空间维度上的对应。输出通道数为 c_o，高度和宽度恢复为 h 和 w。

# 这个函数通过利用 1x1 卷积的性质（实际上是每个位置的全连接层），高效地实现了跨通道的信息整合，常用于特征变换和减少或增加网络中的维度（通道数）。

当执行 $1\times 1$ 卷积运算时，上述函数相当于先前实现的互相关函数corr2d_multi_in_out。让我们用一些样本数据来验证这一点。

X = torch.normal(0, 1, (3, 3, 3))
# 生成一个形状为 (3, 3, 3) 的张量 X，其中的元素从均值为 0，标准差为 1 的正态分布中随机生成。
# 这里的维度表示 X 有 3 个输入通道，每个通道是 3x3 的大小。
K = torch.normal(0, 1, (2, 3, 1, 1))
# 生成一个形状为 (2, 3, 1, 1) 的卷积核张量 K，同样元素值从均值为 0，标准差为 1 的正态分布中随机生成。
# 这里的维度表示 K 有 2 个输出通道，每个输出通道对应 3 个输入通道，每个卷积核大小为 1x1。

Y1 = corr2d_multi_in_out_1x1(X, K)
Y2 = corr2d_multi_in_out(X, K)
assert float(torch.abs(Y1 - Y2).sum()) < 1e-6
# 这行代码是一个断言，用来检查 Y1 和 Y2 之间的绝对差值之和是否小于1e-6 
# 这是一个非常小的值，用于验证两个结果在数值上是否足够接近，以认为这两种实现是等效的。如果两个结果之间的差异大于这个阈值，程序将抛出异常，表明实现可能存在问题。

小结

多输入多输出通道可以用来扩展卷积层的模型。
当以每像素为基础应用时， $1\times 1$ 卷积层相当于全连接层。

操作等效性：

在传统的全连接层中，每个输出神经元与前一层的所有神经元相连接，权重是自由的，可以独立调整。全连接层通常用于学习输入特征之间可能的复杂和非线性关系。
在 $1\times 1$ 卷积中，卷积核的大小是 $1\times 1$ ，这意味着它在每个像素位置上仅考虑一个单独的像素点，而不是像标准卷积那样考虑一个区域。这样的操作对每个像素点都是独立的，类似于全连接层中的一个神经元只与前一层的一个神经元相连接。

通道间的交互：

尽管 $1\times 1$ 卷积只考虑单个像素，但它会同时考虑这个像素点在所有输入通道上的值。这意味着它可以对不同的输入通道进行加权求和，从而实现通道间的信息融合。
这种每像素点的处理方式实际上使得 $1\times 1$
卷积层能够学习输入通道之间的关系，相当于在每个像素点位置应用一个全连接层，输入是所有输入通道的像素值，输出是所有输出通道的新像素值。

$1\times 1$ 卷积层通常用于调整网络层的通道数量和控制模型复杂性。

调整通道数量：

$1\times 1$ 卷积可以非常有效地改变输入数据的通道数。通过设置不同数量的 $1\times 1$ 卷积核，可以控制输出数据的通道数。
这种方法通常用于降低深度卷积网络中的参数数量和计算量，特别是在连续的卷积层之间，通过减少通道数减轻计算负担。

控制模型复杂性：

使用 $1\times 1$ 卷积层可以在不显著增加计算复杂性的情况下，增加网络的非线性和深度。这是因为 $1\times 1$ 卷积虽然简单，但可以配合激活函数（如ReLU）来增加模型的表达能力。
它还允许在不大幅增加参数数量的情况下进行更深层次的网络设计，因为相比于较大卷积核的卷积层， $1\times 1$ 卷积核的参数要少得多。