cnn_learner

model_meta[resnet50]

{'cut': -2,
 'split': <function fastai.vision.learner._resnet_split(m)>,
 'stats': ([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])}

如果我们在 的切点之前采用所有层-2，我们将得到 fastai 将保留用于迁移学习的模型部分。现在，我们戴上新的头颅。这是使用函数创建的create_head：

create_head(20,2)

Sequential(
  (0): AdaptiveConcatPool2d(
    (ap): AdaptiveAvgPool2d(output_size=1)
    (mp): AdaptiveMaxPool2d(output_size=1)
  )
  (1): Flatten()
  (2): BatchNorm1d(20, eps=1e-05, momentum=0.1, affine=True)
  (3): Dropout(p=0.25, inplace=False)
  (4): Linear(in_features=20, out_features=512, bias=False)
  (5): ReLU(inplace=True)
  (6): BatchNorm1d(512, eps=1e-05, momentum=0.1, affine=True)
  (7): Dropout(p=0.5, inplace=False)
  (8): Linear(in_features=512, out_features=2, bias=False)
)

使用此功能，您可以选择在最后添加多少个额外的线性层，在每个层之后使用多少 dropout，以及使用哪种池化。默认情况下，fastai 将同时应用平均池化和最大池化，并将两者连接在一起（这就是 AdaptiveConcatPool2d层）。这不是一种特别常见的方法，但它是近年来在 fastai 和其他研究实验室独立开发的，并且倾向于提供比仅使用平均池化的小改进。

fastai 与大多数库有点不同，默认情况下它在 CNN 头部添加两个线性层，而不是一个。原因是，正如我们所见，即使在将预训练模型转移到非常不同的领域时，转移学习仍然有用。然而，在这些情况下，仅仅使用一个线性层是不够的；我们发现使用两个线性层可以让迁移学习在更多情况下更快更容易地使用。

最后一个BATCHNORM

其中一个create_head值得关注的参数是bn_final. 将此设置为True将导致将 batchnorm 层添加为最后一层。这有助于帮助您的模型针对输出激活进行适当缩放。我们还没有看到这种方法在任何地方发布，但我们发现无论我们在哪里使用它，它在实践中都能很好地发挥作用。

现在让我们看看unet_learner我们在第 1 章中展示的分割问题做了什么。

unet_learner

我们这样做的方法是从与我们在上一节中看到的完全相同的方法开始开发 CNN 头。例如，我们从 ResNet 开始，然后切断自适应池化层和之后的所有内容。然后我们用我们的自定义头部替换这些层，它执行生成任务。

最后一句话中有很多挥手！我们究竟如何创建生成图像的 CNN 头？如果我们从一个 224 像素的输入图像开始，那么在 ResNet 主体的末尾我们将有一个 7×7 的卷积激活网格。我们如何将其转换为 224 像素的分割蒙版？

自然地，我们用神经网络来做到这一点！所以我们需要某种层来增加 CNN 中的网格大小。一种简单的方法是将 7×7 网格中的每个像素替换为 2×2 正方形中的四个像素。这四个像素中的每一个都将具有相同的值——这被称为最近邻插值。PyTorch 提供了一个层来为我们做这件事，所以一个选择是创建一个头部，其中包含 stride-1 卷积层（以及像往常一样的 batchnorm 和 ReLU 层），中间散布着 2×2 最近邻插值层。事实上，你现在就可以试试这个！看看您是否可以创建一个像这样设计的自定义头部，并在 CamVid 分割任务中尝试。您应该会发现您得到了一些合理的结果，尽管它们不如我们第 1 章的结果好。

另一种方法是用转置卷积代替最近邻和卷积组合，也称为跨步半卷积。这与常规卷积相同，但首先在输入中的所有像素之间插入零填充。这通过图片最容易看出——图 15-1显示了我们在第 13 章讨论的出色的卷积算法论文中的图表，显示了应用于 3×3 图像的 3×3 转置卷积。

如您所见，结果是增加了输入的大小。您现在可以使用 fastai 的课程来尝试一下ConvLayer；传递参数transpose=True以在您的自定义头部中创建转置卷积，而不是常规卷积。

然而，这两种方法都效果不佳。问题是我们的 7×7 网格根本没有足够的信息来创建 224×224 像素的输出。它要求每个网格单元进行大量激活，以获得足够的信息来完全重新生成输出中的每个像素。

解决方案是使用skip connections，就像在 ResNet 中一样，但是从 ResNet 主体中的激活一直跳过到架构另一侧的转置卷积的激活。如图 15-2所示，这种方法是由 Olaf Ronneberger 等人开发的。在 2015 年的论文“U-Net: Convolutional Networks for Biomedical Image Segmentation”中。虽然论文侧重于医学应用，但 U-Net 已经彻底改变了各种生成视觉模型。

此图显示左侧的 CNN 主体（在这种情况下，它是常规 CNN，而不是 ResNet，并且他们使用 2×2 最大池而不是 stride-2 卷积，因为这篇论文是在 ResNet 出现之前写的）和右侧的转置卷积（“up-conv”）层。额外的跳过连接显示为从左到右交叉的灰色箭头（这些有时称为 交叉连接）。你可以明白为什么它被称为U-Net了！

使用这种架构，转置卷积的输入不仅是前一层中的低分辨率网格，而且是 ResNet 头部中的高分辨率网格。这允许 U-Net 根据需要使用原始图像的所有信息。U-Nets 的一个挑战是确切的架构取决于图像大小。fastai 有一个独特的DynamicUnet类，可以根据提供的数据自动生成大小合适的架构。

现在让我们关注一个示例，在该示例中我们利用 fastai 库编写自定义模型。

A Siamese Network

使用我们刚刚看到的内容，让我们为此任务构建一个自定义模型并对其进行训练。如何？我们将使用预训练架构并通过它传递我们的两个图像。然后我们可以连接结果并将它们发送到将返回两个预测的自定义头。在模块方面，这看起来像这样：

class SiameseModel(Module):
    def __init__(self, encoder, head):
        self.encoder,self.head = encoder,head

    def forward(self, x1, x2):
        ftrs = torch.cat([self.encoder(x1), self.encoder(x2)], dim=1)
        return self.head(ftrs)

要创建我们的编码器，我们只需要采用预训练模型并将其剪切，如前所述。该功能create_body为我们做到了；我们只需要将它传递到我们想要切割的地方。正如我们之前看到的，根据预训练模型的元数据字典，ResNet 的切割值为–2：

encoder = create_body(resnet34, cut=-2)

然后我们可以创建我们的头。查看编码器告诉我们最后一层有 512 个特征，所以这个头需要接收512*2. 为什么是2？首先我们必须乘以 2，因为我们有两个图像。然后由于我们的连接池技巧，我们需要第二次乘以 2。所以我们创建头部如下：

head = create_head(512*2, 2, ps=0.5)

使用我们的编码器和头部，我们现在可以构建我们的模型：

model = SiameseModel(encoder, head)

在使用 之前Learner，我们还有两件事要定义。首先，我们必须定义我们要使用的损失函数。它是常规交叉熵，但由于我们的目标是布尔值，我们需要将它们转换为整数，否则 PyTorch 会抛出错误：

def loss_func(out, targ):
    return nn.CrossEntropyLoss()(out, targ.long())

更重要的是，为了充分利用迁移学习，我们必须定义一个自定义拆分器。拆分器是一个函数，它告诉 fastai 库如何将模型拆分为参数组。当我们进行迁移学习时，这些在幕后仅用于训练模型的头部。

这里我们需要两组参数：一组用于编码器，一组用于头部。因此，我们可以定义以下拆分器（params只是一个返回给定模块的所有参数的函数）：

def siamese_splitter(model):
    return [params(model.encoder), params(model.head)]

然后我们可以Learner通过传递数据、模型、损失函数、拆分器和我们想要的任何指标来定义我们的。由于我们没有使用 fastai 的便利函数进行迁移学习（如 cnn_learner），我们必须learn.freeze手动调用。这将确保只训练最后一个参数组（在本例中为头部）：

learn = Learner(dls, model, loss_func=loss_func,
                splitter=siamese_splitter, metrics=accuracy)
learn.freeze()

然后我们可以直接用通常的方法训练我们的模型：

learn.fit_one_cycle(4, 3e-3)

现在我们解冻并微调整个模型，使用判别学习率（即身体的学习率较低，头部的学习率较高）：

learn.unfreeze()
learn.fit_one_cycle(4, slice(1e-6,1e-4))

现在我们已经了解了如何创建完整的最先进的计算机视觉模型，让我们继续讨论 NLP。