目录
前言
理论知识
1.CNN算法发展
2.-残差网络的由来
一、导入数据
二、数据处理
四、编译
五、模型评估
六、总结
前言
- 🍨 本文为🔗365天深度学习训练营中的学习记录博客
- 🍖 原作者：K同学啊
理论知识
1.CNN算法发展
该图列举出的是一些有里程碑意义的，经典卷积神经网络。评估一个网络性能，我们一般从识别精度和网络复杂度(计算量)两方面入手。从图中我们可以看出
- 2012年,AlexNet是在2012年ImageNet图像分类竞赛中提出一种经典的卷积神经网络。AlexNet是首个深层卷积神经网络，同时也引入了ReLU激活函数、局部归一化、数据增强和Dropout处理
- VGG-16和VGG-19,依靠多层卷积+池化层堆叠而成的一个网络，性能在当时不错，但是计算量太大，VGG-16的网络结构将深层网络结构分为多个组，每组堆叠不等的Conv-ReLU层，在每个组之间使用MaxPool缩减特征图尺寸.
- GoogleNet(Inception V1)提出了并联卷积结构,且在每个通路中使用大小不同的卷积核网络，随后衍生出V2,V3,V4等网络结构
- ResNet网络有V1、V2、NeXt等不同的版本，首次提出了残差概念,可以很方便的扩展为18~101层(ResNet-18,ResNet-34,ResNet-50,ResNet-101的数字表示网络层数)
- DenseNet是一种具有前级特征重用、层间直连、结构递归扩展等特点的卷积神经网络
2.-残差网络的由来
残差网络ResNet(Residual Network)在2015年由何恺明等提出，因为简单且使用，随后很多研究都建立在ResNet-50/ResNet-101基础上完成。ResNet主要解决**卷积神经网络在深度加深的时候的"退化"问题**。对于一般的网络而言，网络深度加大之后容易出现的问题就是**梯度消失、梯度爆炸**
-
梯度消失:反向传播过程中，随着网络层数的增加，前面几层的梯度值变得非常小，接近于0，这会使得权重更新变得非常缓慢，从而导致无法有效训练网络训练
-
梯度爆炸:反向传播过程中，随着网络层数的增加，梯度值变得非常大，导致网络权重更新幅度过大，进而导致模型无法收敛，甚至数值溢出.
2015年，Szegedy提出BN(BatchNormalization)层之后解决了该问题。BN层能对各层的输出做归一化，这样梯度在反向层层传递后仍能保持大小稳定，不会出现过小或过大的情况。 \
但是随之而来的是加了BN后加大深度也很难收敛，就引伸出了第二个问题———准确率下降问题：即当层级大到一定程度时准确率会饱和，然后迅速下降，这种下降不是由于梯度消失/过拟合，而是因为网络过于复杂\
作者证明了只要有合适的网络结构，更深的网络肯定会比浅的网络好，并假设了一种恒等映射，直到何恺明提出了残差结构实现该恒等映射，如下图
整个模块除了正常的卷积层输出外，还有一个分支把输入直接连到输出上，该分支输出和卷积的输出做算数相加得到最终的输出，公式表达结果为：
H(x)=F(x)+xH(x)=F(x)+x
其中x是输入，F(x)是卷积分支的输出，H(x)是整个结构的输出。可以证明如果F(x)分支中所有参数都是0，H(x)就是个恒等映射。残差结构人为制造了恒等映射，就能让整个结构朝着恒等映射的方向去收敛，确保最终的错误率不会因为深度的变大而越来越差。
/如果一个网络通过简单的手工设置参数值就能达到想要的结果，那这种结构就很容易通过训练来收敛到该结果/。这是一条设计复杂网络通用的规则。
图2左边的单元为 ResNet 两层的残差单元，两层的残差单元包含两个相同输出的通道数的卷积，只是用于较浅的 ResNet 网络，对较深的网络主要使用三层的残差单元。三层的残差单元又称为bottleneck 结构。\
先用一个*1*1卷积进行降维，然后3*3卷积，最后用1*1*升维恢复原有的维度。\
另外，如果有输入输出维度不同的情况，可以对输入做一个线性映射变换维度，再连接后面的层。三层的残差单元对于相同数量的层又减少了参数量，因此可以拓展更深的模型。通过残差单元的组合有经典的 ResNet-50，ResNet-101 等网络结构。
ResNet-50介绍
组成:Conv Block;Identity Block
一、导入数据
import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")
if gpus:
tf.config.experimental.set_memory_growth(gpus[0],True)
tf.config.set_visible_devices([gpus[0],"GPU"])
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
import os,PIL,pathlib,random
import numpy as np
from tensorflow import keras
from tensorflow.keras import layers,modelsimage_count = len(list(data_dir.glob('*/*')))
二、数据处理
batch_size = 8
img_height = 224
img_width = 224train_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split = 0.2,
subset = "training",
seed = 123,
image_size = (img_height,img_width),
batch_size = batch_size
)val_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
validation_split = 0.2,
subset = "validation",
seed = 123,
image_size = (img_height,img_width),
batch_size = batch_size
)class_names = train_ds.class_namesclass_names['Bananaquit', 'Black Skimmer', 'Black Throated Bushtiti', 'Cockatoo']
plt.figure(figsize=(10,5))
plt.suptitle("训练集图片部分览")
for img,labels in train_ds.take(1):
for i in range(8):
ax = plt.subplot(2,4,i+1)
plt.imshow(img[i].numpy().astype("uint8"))
plt.title(class_names[labels[i]])
plt.axis('off')
plt.show() 
plt.imshow(img[1].numpy().astype("uint8"))for image_batch,labels_batch in train_ds:
print(image_batch.shape)
print(labels_batch.shape)
break(8, 224, 224, 3) (8,)
AUTOTUNE = tf.data.AUTOTUNE
train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)
三、构建ResNet-50网络模型
# ResNet-50搭建
from keras import layers
from keras.layers import Input,Activation,BatchNormalization,Flatten
from keras.layers import Dense,Conv2D,MaxPooling2D,ZeroPadding2D,AveragePooling2D
from keras.models import Model
def identity_block(input_tensor,kernel_size,filters,stage,block):
filters1,filters2,filters3 = filters
name_base = str(stage) + block + "_identity_block_"
x = Conv2D(filters1,(1,1),name=name_base+'conv1')(input_tensor)
x = BatchNormalization(name=name_base+'bn1')(x)
x = Activation('relu',name=name_base+'relu1')(x)
x = Conv2D(filters2,kernel_size,padding='same',name=name_base+'conv2')(x)
x = BatchNormalization(name=name_base+'bn2')(x)
x = Activation('relu',name=name_base+'relu2')(x)
x = Conv2D(filters3,(1,1),name=name_base+'conv3')(x)
x = BatchNormalization(name=name_base+'bn3')(x)
x = layers.add([x,input_tensor],name=name_base+'add')
x = Activation('relu',name=name_base+'relu4')(x)
return x
def conv_block(input_tensor,kernel_size,filters,stage,block,strides=(2,2)):
filters1,filters2,filters3 = filters
res_name_base = str(stage) + block + '_conv_block_res'
name_base = str(stage) + block + '_conv_block'
x = Conv2D(filters1,(1,1),strides=strides,name=name_base+'conv1')(input_tensor)
x = BatchNormalization(name=name_base + 'bn1')(x)
x = Activation('relu', name=name_base + 'relu1')(x)
x = Conv2D(filters2,kernel_size,padding='same',name=name_base+'conv2')(x)
x = BatchNormalization(name=name_base+'bn2')(x)
x = Activation('relu', name=name_base+'relu2')(x)
x = Conv2D(filters3,(1,1),name=name_base+'conv3')(x)
x = BatchNormalization(name=name_base+'bn3')(x)
shortcut = Conv2D(filters3,(1,1),strides=strides,name=res_name_base+'conv')(input_tensor)
shortcut = BatchNormalization(name=res_name_base + 'bn3')(shortcut)
x = layers.add([x,shortcut],name=name_base+'add')
x = Activation('relu',name=name_base+'relu4')(x)
return x
def ResNet50(input_shape=[224,224,3],classes=1000):
img_input = Input(shape=input_shape)
x = ZeroPadding2D((3,3))(img_input)
x = Conv2D(64,(7,7),strides=(2,2),name='conv1')(x)
x = BatchNormalization(name='bn_conv1')(x)
x = Activation('relu')(x)
x = MaxPooling2D((3,3),strides=(2,2))(x)
x = conv_block(x,3,[64,64,256],stage=2,block='a',strides=(1,1))
x = identity_block(x,3,[64,64,256],stage=2,block='b')
x = identity_block(x,3,[64,64,256],stage=2,block='c')
x = conv_block(x,3,[128,128,512],stage=3,block='a')
x = identity_block(x,3,[128,128,512],stage=3,block='b')
x = identity_block(x,3,[128,128,512],stage=3,block='c')
x = identity_block(x,3,[128,128,512],stage=3,block='d')
x = conv_block(x,3,[256,256,1024],stage=4,block='a')
x = identity_block(x,3,[256,256,1024],stage=4,block='b')
x = identity_block(x,3,[256,256,1024],stage=4,block='c')
x = identity_block(x,3,[256,256,1024],stage=4,block='d')
x = identity_block(x,3,[256,256,1024],stage=4,block='e')
x = identity_block(x,3,[256,256,1024],stage=4,block='f')
x = conv_block(x,3,[512,512,2048],stage=5,block='a')
x = identity_block(x,3,[512,512,2048],stage=5,block='b')
x = identity_block(x,3,[512,512,2048],stage=5,block='c')
x = AveragePooling2D((7,7),name='avg_pool')(x)
x = Flatten()(x)
x = Dense(classes,activation='softmax',name='fc10000')(x)
model = Model(img_input,x,name='resnet50')
model.load_weights("/Users/haorunkun/Desktop/365天深度学习/resnet50_weights_tf_dim_ordering_tf_kernels.h5")
return model
model = ResNet50()
model.summary()
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓ ┃ Layer (type) ┃ Output Shape ┃ Param # ┃ Connected to ┃ ┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩ │ input_layer_1 (InputLayer) │ (None, 224, 224, 3) │ 0 │ - │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ zero_padding2d_1 │ (None, 230, 230, 3) │ 0 │ input_layer_1[0][0] │ │ (ZeroPadding2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ conv1 (Conv2D) │ (None, 112, 112, 64) │ 9,472 │ zero_padding2d_1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ bn_conv1 (BatchNormalization) │ (None, 112, 112, 64) │ 256 │ conv1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ activation_1 (Activation) │ (None, 112, 112, 64) │ 0 │ bn_conv1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ max_pooling2d_1 │ (None, 55, 55, 64) │ 0 │ activation_1[0][0] │ │ (MaxPooling2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockconv1 (Conv2D) │ (None, 55, 55, 64) │ 4,160 │ max_pooling2d_1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockbn1 │ (None, 55, 55, 64) │ 256 │ 2a_conv_blockconv1[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockrelu1 │ (None, 55, 55, 64) │ 0 │ 2a_conv_blockbn1[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockconv2 (Conv2D) │ (None, 55, 55, 64) │ 36,928 │ 2a_conv_blockrelu1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockbn2 │ (None, 55, 55, 64) │ 256 │ 2a_conv_blockconv2[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockrelu2 │ (None, 55, 55, 64) │ 0 │ 2a_conv_blockbn2[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockconv3 (Conv2D) │ (None, 55, 55, 256) │ 16,640 │ 2a_conv_blockrelu2[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_block_resconv │ (None, 55, 55, 256) │ 16,640 │ max_pooling2d_1[0][0] │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockbn3 │ (None, 55, 55, 256) │ 1,024 │ 2a_conv_blockconv3[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_block_resbn3 │ (None, 55, 55, 256) │ 1,024 │ 2a_conv_block_resconv[0][… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockadd (Add) │ (None, 55, 55, 256) │ 0 │ 2a_conv_blockbn3[0][0], │ │ │ │ │ 2a_conv_block_resbn3[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockrelu4 │ (None, 55, 55, 256) │ 0 │ 2a_conv_blockadd[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_conv1 │ (None, 55, 55, 64) │ 16,448 │ 2a_conv_blockrelu4[0][0] │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_bn1 │ (None, 55, 55, 64) │ 256 │ 2b_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_relu1 │ (None, 55, 55, 64) │ 0 │ 2b_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_conv2 │ (None, 55, 55, 64) │ 36,928 │ 2b_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_bn2 │ (None, 55, 55, 64) │ 256 │ 2b_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_relu2 │ (None, 55, 55, 64) │ 0 │ 2b_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_conv3 │ (None, 55, 55, 256) │ 16,640 │ 2b_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_bn3 │ (None, 55, 55, 256) │ 1,024 │ 2b_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_add (Add) │ (None, 55, 55, 256) │ 0 │ 2b_identity_block_bn3[0][… │ │ │ │ │ 2a_conv_blockrelu4[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_relu4 │ (None, 55, 55, 256) │ 0 │ 2b_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_conv1 │ (None, 55, 55, 64) │ 16,448 │ 2b_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_bn1 │ (None, 55, 55, 64) │ 256 │ 2c_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_relu1 │ (None, 55, 55, 64) │ 0 │ 2c_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_conv2 │ (None, 55, 55, 64) │ 36,928 │ 2c_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_bn2 │ (None, 55, 55, 64) │ 256 │ 2c_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_relu2 │ (None, 55, 55, 64) │ 0 │ 2c_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_conv3 │ (None, 55, 55, 256) │ 16,640 │ 2c_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_bn3 │ (None, 55, 55, 256) │ 1,024 │ 2c_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_add (Add) │ (None, 55, 55, 256) │ 0 │ 2c_identity_block_bn3[0][… │ │ │ │ │ 2b_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_relu4 │ (None, 55, 55, 256) │ 0 │ 2c_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockconv1 (Conv2D) │ (None, 28, 28, 128) │ 32,896 │ 2c_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockbn1 │ (None, 28, 28, 128) │ 512 │ 3a_conv_blockconv1[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockrelu1 │ (None, 28, 28, 128) │ 0 │ 3a_conv_blockbn1[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockconv2 (Conv2D) │ (None, 28, 28, 128) │ 147,584 │ 3a_conv_blockrelu1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockbn2 │ (None, 28, 28, 128) │ 512 │ 3a_conv_blockconv2[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockrelu2 │ (None, 28, 28, 128) │ 0 │ 3a_conv_blockbn2[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockconv3 (Conv2D) │ (None, 28, 28, 512) │ 66,048 │ 3a_conv_blockrelu2[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_block_resconv │ (None, 28, 28, 512) │ 131,584 │ 2c_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockbn3 │ (None, 28, 28, 512) │ 2,048 │ 3a_conv_blockconv3[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_block_resbn3 │ (None, 28, 28, 512) │ 2,048 │ 3a_conv_block_resconv[0][… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockadd (Add) │ (None, 28, 28, 512) │ 0 │ 3a_conv_blockbn3[0][0], │ │ │ │ │ 3a_conv_block_resbn3[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockrelu4 │ (None, 28, 28, 512) │ 0 │ 3a_conv_blockadd[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_conv1 │ (None, 28, 28, 128) │ 65,664 │ 3a_conv_blockrelu4[0][0] │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_bn1 │ (None, 28, 28, 128) │ 512 │ 3b_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_relu1 │ (None, 28, 28, 128) │ 0 │ 3b_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_conv2 │ (None, 28, 28, 128) │ 147,584 │ 3b_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_bn2 │ (None, 28, 28, 128) │ 512 │ 3b_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_relu2 │ (None, 28, 28, 128) │ 0 │ 3b_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_conv3 │ (None, 28, 28, 512) │ 66,048 │ 3b_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_bn3 │ (None, 28, 28, 512) │ 2,048 │ 3b_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_add (Add) │ (None, 28, 28, 512) │ 0 │ 3b_identity_block_bn3[0][… │ │ │ │ │ 3a_conv_blockrelu4[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_relu4 │ (None, 28, 28, 512) │ 0 │ 3b_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_conv1 │ (None, 28, 28, 128) │ 65,664 │ 3b_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_bn1 │ (None, 28, 28, 128) │ 512 │ 3c_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_relu1 │ (None, 28, 28, 128) │ 0 │ 3c_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_conv2 │ (None, 28, 28, 128) │ 147,584 │ 3c_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_bn2 │ (None, 28, 28, 128) │ 512 │ 3c_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_relu2 │ (None, 28, 28, 128) │ 0 │ 3c_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_conv3 │ (None, 28, 28, 512) │ 66,048 │ 3c_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_bn3 │ (None, 28, 28, 512) │ 2,048 │ 3c_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_add (Add) │ (None, 28, 28, 512) │ 0 │ 3c_identity_block_bn3[0][… │ │ │ │ │ 3b_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_relu4 │ (None, 28, 28, 512) │ 0 │ 3c_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_conv1 │ (None, 28, 28, 128) │ 65,664 │ 3c_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_bn1 │ (None, 28, 28, 128) │ 512 │ 3d_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_relu1 │ (None, 28, 28, 128) │ 0 │ 3d_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_conv2 │ (None, 28, 28, 128) │ 147,584 │ 3d_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_bn2 │ (None, 28, 28, 128) │ 512 │ 3d_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_relu2 │ (None, 28, 28, 128) │ 0 │ 3d_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_conv3 │ (None, 28, 28, 512) │ 66,048 │ 3d_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_bn3 │ (None, 28, 28, 512) │ 2,048 │ 3d_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_add (Add) │ (None, 28, 28, 512) │ 0 │ 3d_identity_block_bn3[0][… │ │ │ │ │ 3c_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_relu4 │ (None, 28, 28, 512) │ 0 │ 3d_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockconv1 (Conv2D) │ (None, 14, 14, 256) │ 131,328 │ 3d_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockbn1 │ (None, 14, 14, 256) │ 1,024 │ 4a_conv_blockconv1[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockrelu1 │ (None, 14, 14, 256) │ 0 │ 4a_conv_blockbn1[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockconv2 (Conv2D) │ (None, 14, 14, 256) │ 590,080 │ 4a_conv_blockrelu1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockbn2 │ (None, 14, 14, 256) │ 1,024 │ 4a_conv_blockconv2[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockrelu2 │ (None, 14, 14, 256) │ 0 │ 4a_conv_blockbn2[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockconv3 (Conv2D) │ (None, 14, 14, 1024) │ 263,168 │ 4a_conv_blockrelu2[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_block_resconv │ (None, 14, 14, 1024) │ 525,312 │ 3d_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockbn3 │ (None, 14, 14, 1024) │ 4,096 │ 4a_conv_blockconv3[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_block_resbn3 │ (None, 14, 14, 1024) │ 4,096 │ 4a_conv_block_resconv[0][… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockadd (Add) │ (None, 14, 14, 1024) │ 0 │ 4a_conv_blockbn3[0][0], │ │ │ │ │ 4a_conv_block_resbn3[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockrelu4 │ (None, 14, 14, 1024) │ 0 │ 4a_conv_blockadd[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_conv1 │ (None, 14, 14, 256) │ 262,400 │ 4a_conv_blockrelu4[0][0] │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_bn1 │ (None, 14, 14, 256) │ 1,024 │ 4b_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_relu1 │ (None, 14, 14, 256) │ 0 │ 4b_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_conv2 │ (None, 14, 14, 256) │ 590,080 │ 4b_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_bn2 │ (None, 14, 14, 256) │ 1,024 │ 4b_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_relu2 │ (None, 14, 14, 256) │ 0 │ 4b_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_conv3 │ (None, 14, 14, 1024) │ 263,168 │ 4b_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_bn3 │ (None, 14, 14, 1024) │ 4,096 │ 4b_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_add (Add) │ (None, 14, 14, 1024) │ 0 │ 4b_identity_block_bn3[0][… │ │ │ │ │ 4a_conv_blockrelu4[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_relu4 │ (None, 14, 14, 1024) │ 0 │ 4b_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_conv1 │ (None, 14, 14, 256) │ 262,400 │ 4b_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_bn1 │ (None, 14, 14, 256) │ 1,024 │ 4c_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_relu1 │ (None, 14, 14, 256) │ 0 │ 4c_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_conv2 │ (None, 14, 14, 256) │ 590,080 │ 4c_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_bn2 │ (None, 14, 14, 256) │ 1,024 │ 4c_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_relu2 │ (None, 14, 14, 256) │ 0 │ 4c_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_conv3 │ (None, 14, 14, 1024) │ 263,168 │ 4c_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_bn3 │ (None, 14, 14, 1024) │ 4,096 │ 4c_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_add (Add) │ (None, 14, 14, 1024) │ 0 │ 4c_identity_block_bn3[0][… │ │ │ │ │ 4b_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_relu4 │ (None, 14, 14, 1024) │ 0 │ 4c_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_conv1 │ (None, 14, 14, 256) │ 262,400 │ 4c_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_bn1 │ (None, 14, 14, 256) │ 1,024 │ 4d_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_relu1 │ (None, 14, 14, 256) │ 0 │ 4d_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_conv2 │ (None, 14, 14, 256) │ 590,080 │ 4d_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_bn2 │ (None, 14, 14, 256) │ 1,024 │ 4d_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_relu2 │ (None, 14, 14, 256) │ 0 │ 4d_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_conv3 │ (None, 14, 14, 1024) │ 263,168 │ 4d_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_bn3 │ (None, 14, 14, 1024) │ 4,096 │ 4d_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_add (Add) │ (None, 14, 14, 1024) │ 0 │ 4d_identity_block_bn3[0][… │ │ │ │ │ 4c_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_relu4 │ (None, 14, 14, 1024) │ 0 │ 4d_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_conv1 │ (None, 14, 14, 256) │ 262,400 │ 4d_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_bn1 │ (None, 14, 14, 256) │ 1,024 │ 4e_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_relu1 │ (None, 14, 14, 256) │ 0 │ 4e_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_conv2 │ (None, 14, 14, 256) │ 590,080 │ 4e_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_bn2 │ (None, 14, 14, 256) │ 1,024 │ 4e_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_relu2 │ (None, 14, 14, 256) │ 0 │ 4e_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_conv3 │ (None, 14, 14, 1024) │ 263,168 │ 4e_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_bn3 │ (None, 14, 14, 1024) │ 4,096 │ 4e_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_add (Add) │ (None, 14, 14, 1024) │ 0 │ 4e_identity_block_bn3[0][… │ │ │ │ │ 4d_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_relu4 │ (None, 14, 14, 1024) │ 0 │ 4e_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_conv1 │ (None, 14, 14, 256) │ 262,400 │ 4e_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_bn1 │ (None, 14, 14, 256) │ 1,024 │ 4f_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_relu1 │ (None, 14, 14, 256) │ 0 │ 4f_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_conv2 │ (None, 14, 14, 256) │ 590,080 │ 4f_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_bn2 │ (None, 14, 14, 256) │ 1,024 │ 4f_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_relu2 │ (None, 14, 14, 256) │ 0 │ 4f_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_conv3 │ (None, 14, 14, 1024) │ 263,168 │ 4f_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_bn3 │ (None, 14, 14, 1024) │ 4,096 │ 4f_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_add (Add) │ (None, 14, 14, 1024) │ 0 │ 4f_identity_block_bn3[0][… │ │ │ │ │ 4e_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_relu4 │ (None, 14, 14, 1024) │ 0 │ 4f_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockconv1 (Conv2D) │ (None, 7, 7, 512) │ 524,800 │ 4f_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockbn1 │ (None, 7, 7, 512) │ 2,048 │ 5a_conv_blockconv1[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockrelu1 │ (None, 7, 7, 512) │ 0 │ 5a_conv_blockbn1[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockconv2 (Conv2D) │ (None, 7, 7, 512) │ 2,359,808 │ 5a_conv_blockrelu1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockbn2 │ (None, 7, 7, 512) │ 2,048 │ 5a_conv_blockconv2[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockrelu2 │ (None, 7, 7, 512) │ 0 │ 5a_conv_blockbn2[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockconv3 (Conv2D) │ (None, 7, 7, 2048) │ 1,050,624 │ 5a_conv_blockrelu2[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_block_resconv │ (None, 7, 7, 2048) │ 2,099,200 │ 4f_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockbn3 │ (None, 7, 7, 2048) │ 8,192 │ 5a_conv_blockconv3[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_block_resbn3 │ (None, 7, 7, 2048) │ 8,192 │ 5a_conv_block_resconv[0][… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockadd (Add) │ (None, 7, 7, 2048) │ 0 │ 5a_conv_blockbn3[0][0], │ │ │ │ │ 5a_conv_block_resbn3[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockrelu4 │ (None, 7, 7, 2048) │ 0 │ 5a_conv_blockadd[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_conv1 │ (None, 7, 7, 512) │ 1,049,088 │ 5a_conv_blockrelu4[0][0] │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_bn1 │ (None, 7, 7, 512) │ 2,048 │ 5b_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_relu1 │ (None, 7, 7, 512) │ 0 │ 5b_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_conv2 │ (None, 7, 7, 512) │ 2,359,808 │ 5b_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_bn2 │ (None, 7, 7, 512) │ 2,048 │ 5b_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_relu2 │ (None, 7, 7, 512) │ 0 │ 5b_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_conv3 │ (None, 7, 7, 2048) │ 1,050,624 │ 5b_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_bn3 │ (None, 7, 7, 2048) │ 8,192 │ 5b_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_add (Add) │ (None, 7, 7, 2048) │ 0 │ 5b_identity_block_bn3[0][… │ │ │ │ │ 5a_conv_blockrelu4[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_relu4 │ (None, 7, 7, 2048) │ 0 │ 5b_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_conv1 │ (None, 7, 7, 512) │ 1,049,088 │ 5b_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_bn1 │ (None, 7, 7, 512) │ 2,048 │ 5c_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_relu1 │ (None, 7, 7, 512) │ 0 │ 5c_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_conv2 │ (None, 7, 7, 512) │ 2,359,808 │ 5c_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_bn2 │ (None, 7, 7, 512) │ 2,048 │ 5c_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_relu2 │ (None, 7, 7, 512) │ 0 │ 5c_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_conv3 │ (None, 7, 7, 2048) │ 1,050,624 │ 5c_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_bn3 │ (None, 7, 7, 2048) │ 8,192 │ 5c_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_add (Add) │ (None, 7, 7, 2048) │ 0 │ 5c_identity_block_bn3[0][… │ │ │ │ │ 5b_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_relu4 │ (None, 7, 7, 2048) │ 0 │ 5c_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ avg_pool (AveragePooling2D) │ (None, 1, 1, 2048) │ 0 │ 5c_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ flatten_1 (Flatten) │ (None, 2048) │ 0 │ avg_pool[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ fc10000 (Dense) │ (None, 1000) │ 2,049,000 │ flatten_1[0][0] │ └───────────────────────────────┴───────────────────────────┴─────────────────┴────────────────────────────┘
Total params: 25,636,712 (97.80 MB)
Trainable params: 25,583,592 (97.59 MB)
Non-trainable params: 53,120 (207.50 KB)
四、编译
model.compile(
optimizer= 'adam',
loss = 'sparse_categorical_crossentropy',
metrics = ['accuracy']
)epochs = 10
history = model.fit(
train_ds,
validation_data = val_ds,
epochs = epochs
)Epoch 1/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 52s 758ms/step - accuracy: 0.6244 - loss: 2.4667 - val_accuracy: 0.2655 - val_loss: 194.2997 Epoch 2/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 756ms/step - accuracy: 0.7661 - loss: 0.7086 - val_accuracy: 0.3186 - val_loss: 260.6581 Epoch 3/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 44s 765ms/step - accuracy: 0.8727 - loss: 0.3057 - val_accuracy: 0.8142 - val_loss: 0.5678 Epoch 4/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 758ms/step - accuracy: 0.9518 - loss: 0.1473 - val_accuracy: 0.6903 - val_loss: 1.6736 Epoch 5/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 763ms/step - accuracy: 0.9726 - loss: 0.0908 - val_accuracy: 0.7876 - val_loss: 0.8246 Epoch 6/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 757ms/step - accuracy: 0.9822 - loss: 0.0567 - val_accuracy: 0.8407 - val_loss: 0.8213 Epoch 7/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 756ms/step - accuracy: 0.9995 - loss: 0.0153 - val_accuracy: 0.9292 - val_loss: 0.2252 Epoch 8/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 759ms/step - accuracy: 1.0000 - loss: 0.0048 - val_accuracy: 0.9469 - val_loss: 0.2579 Epoch 9/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 756ms/step - accuracy: 1.0000 - loss: 0.0011 - val_accuracy: 0.9469 - val_loss: 0.2006 Epoch 10/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 763ms/step - accuracy: 1.0000 - loss: 6.9633e-04 - val_accuracy: 0.9469 - val_loss: 0.1847
五、模型评估
from datetime import datetime
current_time = datetime.now() # 获取当前时间
acc = history.history['accuracy']
val_acc = history.history['val_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs_range = range(epochs)
plt.figure(figsize=(12,4))
plt.subplot(1,2,1)
plt.suptitle('准确率和损失一览')
plt.plot(epochs_range,acc,label='Training Accuracy')
plt.plot(epochs_range,val_acc,label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title(current_time) # 打卡请带上时间戳，否则代码截图无效
plt.subplot(1,2,2)
plt.plot(epochs_range,loss,label='Training Loss')
plt.plot(epochs_range,val_loss,label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show() 
六、总结
在编写代码时遇到“name 'torch' is not defined”错误，意识到未安装PyTorch。此次经历提醒我，在开始项目前务必检查所需库是否已安装。同时，熟悉环境配置和错误排查方法至关重要，以避免此类基础问题影响项目进度。
