本文借鉴
国科大深度学习复习
深度学习期末
深度学习2020
一．名词解释（每个2分，共10分）
深度学习，稀疏自编码器，正则化，集成学习，Dropout
二．简答题（每题5分，共30分）
1．请简述你对误差反向传播算法的理解。
2．请列出卷积神经网络的主要结构模块，以及各个模块完成的功能。
3．请简述你对LSTM的理解，并解释为什么它能够解决长时依赖问题。
4．请简述深度学习中常见的避免过拟合的方法。
5．请简述你对生成对抗网络的理解，并简述其训练过程。
6．请简述你对胶囊网络的理解。
三．计算题（每题10分，共20分）
1．请使用卷积神经网络中的Full卷积、Same卷积和Valid卷积分别计算下图所示输入矩阵和卷积核对应的特征图，卷积步长为1，激活函数采用ReLU。
2．多分类任务中，某个样本的期望输出为（0，0，0，1），两个模型A和B都采用交叉熵作为损失函数，针对该样本的实际输出分别为（In20，In40，In60，In80）、（In10，In30，ln50，In90），采用Softmax 函数对输出进行归一化并计算两个模型的交叉熵，说明哪个模型更好。提示：lg2≈0.301，lg3≈0.477。
四．设计题（每题20分，共40分）
1．请给出对大量图像进行目标检测的设计方案，要求有自己的新思路和新观点。
2．请给出机器阅读理解模型的设计方案，要求有自己的新思路和新观点。
深度学习2021
一.名词解释（每个2分，共10分）
卷积神经网络，循环神经网络，奇异值外解，交叉熵，深度信念网络
二、简答题（每题5分，共30分）
1. 请简述反向传播算法的思想，并用图和公式说明其过程。
2. 什么是过拟合和欠拟合？如何解决这两种问题？
3. 请简述 Yolo 算法的主要思想和实现过程。
4. 请简述GRU网络的主要思想，并用图和公式表达其计算过程.
5. 请简述胶囊网络的主要思想，并用图和公式表达其计算过程。
6. 请简述生成对抗网络的主要原理，并用公式表达其目标函数.
三，计算题（每题10分，共20分）
1， 请使用卷积神经网络中的Full卷积、Same卷积和Valid卷积分别计算下图所示输入矩阵和卷积核对应的特征图，卷积步长为1，激活函数采用ReLU.
2. 二分类任务中，样本（5个）的期望输出（类标签）如下图左侧矩阵所示，对应的实际输出下图右侧矩阵所示，模型采用交叉熵作为损失函数，计算：
（1） 模型的交叉熵损失；
（2） 模型的焦点损失（Focal loss），其中y= 2， a = 0.4.
提示：Ig2≈0.301，Ig3≈0.477.
四．设计题（每题20分，共40分）
1．请给出姿态估计模型的设计方案，要求有自己的新思路和新观点。
import tensorflow as tf
input_x = tf.constant([
[[[5, 6, 0, 1, 8, 2],
[0, 9, 8, 4, 6, 5],
[2, 6, 5, 3, 8, 4],
[6, 3, 4, 9, 1, 0],
[7, 5, 9, 1, 6, 7],
[2, 5, 9, 2, 3, 7]
]]])
filters = tf.constant([
[[[0, -1, 1], [1, 0, 0], [0, -1, 1]]]
])
input_x=tf.reshape(input_x,(1,6,6,1))
filters=tf.reshape(filters,[3,3,1,1])
res = tf.nn.conv2d(input_x, filters, strides=1, padding='VALID')
print('Valid 无激活函数下的输出',res)
res=tf.squeeze(res)
print('Valid 条件下可视化的输出：',res)
# print('Valid 激活函数下输出',tf.nn.relu(res))
print('Valid 激活函数下可视化输出：',tf.squeeze(tf.nn.relu(res)))
#在full卷积下，TF中没有这个参数，可以手动加0实现
input_x = tf.constant([
[[[0,0,0,0,0,0,0,0],
[0,5,6,0,1,8,2,0],
[0,2,5,7,2,3,7,0],
[0,0,7,2,4,5,6,0],
[0,5,3,6,9,3,1,0],
[0,6,5,3,1,4,6,0],
[0,5,2,4,0,8,7,0],
[0,0,0,0,0,0,0,0]
]]])
input_x=tf.reshape(input_x,(1,8,8,1))
res = tf.nn.conv2d(input_x, filters, strides=1,padding='SAME')
print('Full（加0）未使用激活之前的输出',res)
print('Full(加0）未使用激活函数之前的可视化输出，',tf.squeeze(res))
out = tf.nn.relu(res)
print('Full 激活的输出',out)
print('Full 激活之后的可视化输出，',tf.squeeze(out))
2．请给出图像描述模型的设计方案，要求有自己的新思路和新观点。
import torch
import torch.nn as nn
criterion = nn.BCELoss()#默认是求均值，数据需要是浮点型数据
pre=torch.tensor([0.1,0.2,0.3,0.4]).float()
tar=torch.tensor([0,0,0,1]).float()
l=criterion(pre,tar)
print('二分类交叉熵损失函数计算（均值）',l)
pre=torch.tensor([0.2,0.8,0.4,0.1,0.9]).float()
tar=torch.tensor([0,1,0,0,1]).float()
pre=torch.tensor([0.1,0.2,0.3,0.4]).float()
tar=torch.tensor([0,0,0,1]).float()
criterion = nn.BCELoss(reduction="sum")#求和
l=criterion(pre,tar)
print('二分类交叉熵损失函数计算（求和）',l)
loss=nn.BCELoss(reduction="none")#reduction="none"得到的是loss向量#对每一个样本求损失
l=loss(pre,tar)
print('每个样本对应的loss',l)
criterion2=nn.CrossEntropyLoss()
import numpy as np
pre1=torch.tensor([np.log(20),np.log(40),np.log(60),np.log(80)]).float()
# soft=nn.Softmax(dim=0)
# pre=soft(pre).float()#bs*label_nums
pre1=pre1.reshape(1,4)
tar=torch.tensor([3])
loss2=criterion2(pre1,tar)
print('多分类交叉熵损失函数pre1条件下',loss2)
pre2=torch.tensor([np.log(10),np.log(30),np.log(50),np.log(90)]).float()
pre2=pre2.reshape(1,4)
tar=torch.tensor([3])
loss2=criterion2(pre2,tar)
print('多分类交叉熵损失函数pre2条件下',loss2)
深度学习2022
一．名词解释（每个2分，共10分）
深度学习，相对熵，欠拟合，深度森林，降噪自编码器
二．简答题（每题5分，共20分）
1．请简述Dropout的实现方式，并阐述你理解的它对于解决过拟合问题的原因。
2．请简述你对Batch Normalization的理解，并说明其在训练和测试阶段如何实现？
3．请简述你对生成对抗网络的理解，并简述其训练过程。
4．请简述你对残差网络的理解，并解释为什么它能够解决梯度消失问题。
三．计算题（每题15分，共30分）
1．如下图卷积神经网络所示：卷积层C1为3x3大小的卷积核，卷积层深度为5，Stride＝1，卷积层C2为5x5大小的卷积核，卷积层深度为2，stride＝1，卷积方式均为Valid卷积；池化层P1为2x2大小的均值池化，stride＝2；输出层是10x1的向量；请计算输出特征图F1、F2和F3的大小（宽x高x通道数），特征图F3的感受野大小，并分别计算卷积层和全连接层的参数量（其中卷积和全连接操作均不考虑偏置参数，提示：注意卷积层深度的概念）。
2．根据表格中的数据使用ID3算法构建决策树，预测西瓜好坏，给出每步的计算过程（信息熵计算以2为底数）。
在这里插入图片描述
四．设计题（每题20分，共40分）
1．请给出图像描述的设计方案，要求有自己的新思路和新观点。
2．请给出视频超分辨率模型的设计方案，要求有自己的新思路和新观点。
深度学习2023
一．名词解释（每个2分，共10分）
深度信念网络，胶囊网络，深度可分离卷积，目标检测，焦点损失（Focal loss）
二．简答题（每题5分，共30分）
请写出对矩阵Amxn（m≠n）进行奇异值分解的过程。请图示说明卷积神经网络的主要组成部分及其功能。请给出GRU的主要思想，并用图和公式说明。请简述神经网络模型中Dropout正则化方法的主要思想并图示说明。请简述随机梯度下降法的基本思想并图示说明。请简述Transformer的主要思想，并用图和公式说明。
三．计算题（20分）
1.（12分）如下图所示，请计算输入矩阵输入卷积层之后得到的特征图，分别使用Same和Valid卷积，卷积步长为1，激活函数为ReLU。
2.（8分）有一个5分类任务，输入一个样例后，得到输出logits＝［0.01，—0.01，—0.05，0.02，0.1］，请计算其SoftMax分类概率；如其one—hot标签label＝［0，0，0，0，1］，请计算其交叉熵损失。（可使用电脑上或手机
上的计算器，结果保留小数点后4位）
四．设计题（每题20分，共40分）
