上周工作

SVInvNet论文研读

本周计划

加入DenseNet，修改网络架构，跑代码

总结

DenseNet

• 密集块：DenseNet将网络分成多个密集块（Dense Block)。在每个密集块内，每一层都连接到前面所有的层。这种跳跃连接有助于解决梯度消失问题，因为每一层都可以直接访问之前层的梯度信息，使得训练更加稳定。
• 特征重用性：由于每一层都与前面所有层连接，网络可以自动地学习到更加丰富和复杂的特征表示。有助于提高网络的性能，同时减少了需要训练的参数数量。
• 过渡层：在密集块之间，通常会使用过渡层来控制特征图的大小，从而减少计算量。

优点：

• 网络可以更好地利用浅层特征信息，从而提高网络的性能。
• 网络具有更强的特征重用能力，可以减少参数数量，降低过拟合风险。
• 网络训练更加稳定，可以缓解梯度消失和梯度爆炸等问题。

实验1——引入密集连接在编码器部分

前期太混乱，没有把densenet代码理解透彻，密集快和过渡块他们的通道数和尺寸具体每一层是如何变化的

后面自己先计算了尺寸以及通道变化，因为密集块部分根据Bottleneck层数来改变通道数，过渡层（BN+ReLU+1×1Conv+2×2AvgPooling）是通道数减半并且尺寸减半。

• 先采用（kernel_size=(7, 1), stride=(2, 1), padding=(3, 0)的卷积）将（，5，1000，70）变化到（，32，500，70），
• 再使用三个（kernel_size=(3, 1), stride=(2, 1), padding=(1, 0)卷积）变化到（，64，63，70），使尺寸近似方形
• 接着使用三个（密集块+过渡层），密集块层数是（6，12，8），变化到（，256，7，8）
• 再使用卷积变化到（，512，1，1）

  self.convblock5 = ConvBlock(256, 512, kernel_size=(7, ceil(50 * sample_spatial/ 7)), padding=0)

• 解码部分跟InversionNet一致，未做改变

数据集：curvevel-a

Epochs = 120
Trainsize = 5000 

ValSize = 500
Testsize = 500

TestBatchsize = 50
Batchsize = 64

但目前感觉网络架构有问题后续需要修改，比InversionNet一个epoch慢了1min。——因为DenseNet缺点有：

• 要进行多次Concatenate操作，数据需要被复制多次，显存容易增加得很快，需要一定的显存优化技术。
• 网络结构较为复杂，需要更多的计算资源和时间来训练。
• 在一些应用场景下，由于特征传递的过多，会导致内存占用较大。

使用以下预训练模型进行测试：

PreModelname = 'InversionNet_DenseNet_TrainSize5000_Epoch120_BatchSize64_LR0.001_epoch200.pkl'

测试结果如下：第三行

 实验结果如下：

 

实验2——使用aba跑InversionNet

数据集：curvevel-a

Epochs = 120
Trainsize = 5000 

ValSize = 500
Testsize = 500

TestBatchsize = 50
Batchsize = 64

Trained model saved: 100 percent completed
Training complete in 41m  43s 

 测试结果如下：

 

后续跑24000再看看结果 

遇到的问题及解决

1.使用torchsummary时报错AttributeError: ‘list‘ object has no attribute ‘size‘：

查看torchsummary的源码，发现处理input的方法都是粗暴使用如下语句：

summary[m_key]["input_shape"] = list(input[0].size())

 修改后：

            # summary[m_key]["input_shape"] = list(input[0].size())
            if isinstance(input[0], torch.Tensor):
                summary[m_key]["input_shape"] = list(input[0].size())
            elif isinstance(input[0], list):
                summary[m_key]["input_shape"] = list(item.size() for item in input[0])

2.RuntimeError: Can't call numpy() on Tensor that requires grad. Use tensor.detach().numpy() instead.

原因：待转换类型的PyTorch Tensor变量带有梯度，直接将其转换为numpy数据将破坏计算图，因此numpy拒绝进行数据转换，实际上这是对开发者的一种提醒。如果自己在转换数据时不需要保留梯度信息，可以在变量转换之前添加detach()调用。

解决办法：

y.numpy() ---> y.detach().numpy()

3.RuntimeError: Given groups=1, weight of size [64, 3, 7, 7], expected input[10, 5, 1000, 70] to have 3 channels, but got 5 channels instead

原因：通道数不匹配 

4.TypeError: 'module' object is not callable

原因：Python导入模块的方法有两种——import module 和 from module import，区别是前者所有导入的东西使用时需加上模块名的限定，而后者不要。

5.UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.解决办法 - 欣杰科技 - 博客园 (cnblogs.com)

6.TypeError: empty() received an invalid combination of arguments - got (tuple, dtype=NoneType, device=NoneType), but expected one of: 

原因：在python3中两个整型相除得到的是浮点型，例如：4/2=2.0,而在构建卷积时的参数要求时整型。

解决：传参时加上int转换：