目录
Mobilenetv2的介绍
Mobilenetv2的结构
Inverted Residual Block倒残差结构
Pytorch实现Inverted Residual Block
搭建Mobilenetv2
Pytorch实现Mobilenetv2主干网络
相关参考资料
Mobilenetv2的介绍
Mobilenetv2网络设计基于Mobilenetv1,它保持了其简单性,不需要任何特殊的操作,同时显著提高了其准确性,实现了移动应用的多图像分类和检测任务的最先进水平。
MobileNetV2是基于倒置的残差结构,普通的残差结构是先经过 1x1 的卷积核把 feature map的通道数压下来,然后经过 3x3 的卷积核,最后再用 1x1 的卷积核将通道数扩张回去,即先压缩后扩张,而MobileNetV2的倒置残差结构是先扩张后压缩。另外,我们发现移除通道数很少的层做线性激活非常重要。
论文对模型在ImageNet分类、COCO目标检测和VOC图像分割的表现进行了度量,评估权衡了精度、乘加操作次数,实际延迟和参数的数量。
Mobilenetv2的结构
Inverted Residual Block倒残差结构
可以看见在我们上图的右边,就是倒残差结构,它会经历以下部分:
- 1x1卷积升维
- 3x3卷积DW
- 1x1卷积降维
接下来请结合着下面的代码来看,首先有一个expand_ratio来表示是否对输入进来的特征层进行升维,如果不需要就会进行卷积、标准化、激活函数、卷积、标准化。不然就会先有1x1卷积进行通道数的上升,在用3x3逐层卷积,进行跨特征点的特征提取,最后1x1卷积进行通道数的下降。
上升是为了让我们的网络结构有具备更好的特征表征能力,下降是为了让我们的网络具备更低的运算量,在完成这样的特征提取后,如果要使用残差边,我们就会将特征提取的结果直接与输入相接,如果没有使用残差边,就会直接输出卷积结果。
Pytorch实现Inverted Residual Block
import torch.nn as nn
BatchNorm2d = nn.BatchNorm2d
class InvertedResidual(nn.Module):
def __init__(self, inp, oup, stride, expand_ratio):
super(InvertedResidual, self).__init__()
self.stride = stride
assert stride in [1, 2]
hidden_dim = round(inp * expand_ratio)
self.use_res_connect = self.stride == 1 and inp == oup
if expand_ratio == 1:
self.conv = nn.Sequential(
# 进行3x3的逐层卷积,进行跨特征点的特征提取
nn.Conv2d(hidden_dim, hidden_dim, kernel_size=(3,3), stride=stride, padding=1, groups=hidden_dim, bias=False),
BatchNorm2d(hidden_dim),
nn.ReLU6(inplace=True),
# 利用1x1卷积进行通道数的调整
nn.Conv2d(hidden_dim, oup, kernel_size=(1,1), stride=(1,1), padding=0, bias=False),
BatchNorm2d(oup),
)
else:
self.conv = nn.Sequential(
# 利用1x1卷积进行通道数的上升
nn.Conv2d(inp, hidden_dim, kernel_size=(1,1), stride=(1,1), padding=0, bias=False),
BatchNorm2d(hidden_dim),
nn.ReLU6(inplace=True),
# 进行3x3的逐层卷积,进行跨特征点的特征提取
nn.Conv2d(hidden_dim, hidden_dim, kernel_size=(3,3), stride=stride, padding=1, groups=hidden_dim, bias=False),
BatchNorm2d(hidden_dim),
nn.ReLU6(inplace=True),
# 利用1x1卷积进行通道数的下降
nn.Conv2d(hidden_dim, oup, kernel_size=(1,1), stride=(1,1), padding=0, bias=False),
BatchNorm2d(oup),
)
def forward(self, x):
if self.use_res_connect:
return x + self.conv(x)
else:
return self.conv(x)
搭建Mobilenetv2
在这里它的实现还是相对比较清晰的。在建立Mobilenetv2前,首先先定义了bn卷积,只有卷积核的大小有所不同,具体可以看下面pytoch实现当中。
变量features会先对图片有3x3大小、步长为2d的卷积进行一个高和宽的压缩。接下来会进入一个列表的循环,t表示是否进行1*1卷积上升的过程,c表示output_channel大小,n表示小列表倒残差次数,s是步长,表示是否对高和宽进行压缩。
那么这样来看,如果最初图片为(512,512,3),经过features后,在经过循环列表会有这样的处理。
- 输入features:512,512,3 -> 256, 256, 32
- 第1次循环:256, 256, 32 -> 256, 256, 16
- 第2次循环:256, 256, 16 -> 128, 128, 24
- 第3次循环:128, 128, 24 -> 64, 64, 32
- 第4次循环:64, 64, 32 -> 32, 32, 64
- 第5次循环:32, 32, 64 -> 32, 32, 96
- 第6次循环:32, 32, 96 -> 16, 16, 160
- 第7次循环:16, 16, 160 -> 16, 16, 320
接着会用1x1卷积调整通道数,完成features的建立。
论文给出的:
Pytorch实现Mobilenetv2主干网络
import math
import torch.nn as nn
BatchNorm2d = nn.BatchNorm2d
def conv_bn(inp, oup, strides):
return nn.Sequential(
nn.Conv2d(inp, oup, kernel_size=(3,3), stride=strides, padding=1, bias=False),
BatchNorm2d(oup),
nn.ReLU6(inplace=True)
)
def conv_1x1_bn(inp, oup):
return nn.Sequential(
nn.Conv2d(inp, oup, kernel_size=(1,1), stride=(1,1), padding=0, bias=False),
BatchNorm2d(oup),
nn.ReLU6(inplace=True)
)
class MobileNetV2(nn.Module):
def __init__(self, n_class=1000, input_size=224, width_mult=1.):
super(MobileNetV2, self).__init__()
block = InvertedResidual
input_channel = 32
last_channel = 1280
interverted_residual_setting = [
# t, c, n, s
[1, 16, 1, 1],
[6, 24, 2, 2],
[6, 32, 3, 2],
[6, 64, 4, 2],
[6, 96, 3, 1],
[6, 160, 3, 2],
[6, 320, 1, 1],
]
assert input_size % 32 == 0
input_channel = int(input_channel * width_mult)
self.last_channel = int(last_channel * width_mult) if width_mult > 1.0 else last_channel
self.features = [conv_bn(3, input_channel, 2)]
for t, c, n, s in interverted_residual_setting:
output_channel = int(c * width_mult)
for i in range(n):
if i == 0:
self.features.append(block(input_channel, output_channel, s, expand_ratio=t))
else:
self.features.append(block(input_channel, output_channel, 1, expand_ratio=t))
input_channel = output_channel
self.features.append(conv_1x1_bn(input_channel, self.last_channel))
self.features = nn.Sequential(*self.features)
self.classifier = nn.Sequential(
nn.Dropout(0.2),
nn.Linear(self.last_channel, n_class),
)
self.initialize_weights()
def forward(self, x):
x = self.features(x)
x = x.mean(3).mean(2)
x = self.classifier(x)
return x
def initialize_weights(self):
for m in self.modules():
if isinstance(m, nn.Conv2d):
n = m.kernel_size[0] * m.kernel_size[1] * m.out_channels
m.weight.data.normal_(0, math.sqrt(2. / n))
if m.bias is not None:
m.bias.data.zero_()
elif isinstance(m, BatchNorm2d):
m.weight.data.fill_(1)
m.bias.data.zero_()
elif isinstance(m, nn.Linear):
n = m.weight.size(1)
m.weight.data.normal_(0, 0.01)
m.bias.data.zero_()
def mobilenetv2(pretrained=False, **kwargs):
model = MobileNetV2(n_class=1000, **kwargs)
if pretrained:
pass
return model
if __name__ == "__main__":
model = mobilenetv2()
for i, layer in enumerate(model.features):
print(i, '->', layer)
运行成功,至此mobielnetv2的搭建完成
相关参考资料
DeepLabV3-/Mobilenetv2.pdf at main · Auorui/DeepLabV3- (github.com)
MobileNet_v2模型解读
MobileNet_v2模型解读——知乎
憨批的语义分割重制版9——Pytorch 搭建自己的DeeplabV3+语义分割平台