为更灵活、更高效地解决各种复杂和动态变化问题，研究者开始着眼于将迁移学习与其他技术相结合。

这种结合充分发挥了迁移学习的优势，如知识转移、数据效率和加速学习过程等，让模型能够从更高的基准开始学习，更快地适应新任务，节省时间和资源，并在训练过程中更高效地改进性能，提升泛化能力。

这些优势让其成为了众多研究者追求的热点，也让迁移学习+的写作模式逐渐成为了当前发文的主流，在各种学术期刊和会议上都有相当多的研究成果。

本文整理了9个最新的迁移学习结合创新方案，包含大火的图神经网络、物理信息神经网络等主题，希望能给各位提供新的思路。

全部论文合集需要的同学看文末

Gearbox fault diagnosis method based on lightweight channel attention mechanism and transfer learning

方法：论文提出了一种基于轻量级通道注意机制和迁移学习的齿轮箱故障诊断方法。该方法能够解决由于样本分布差异大和样本有限导致的故障诊断性能差的问题。使用轴承和齿轮数据集验证了所提出模型的分类和泛化能力。

创新点：

• 轻量级通道注意机制（LECA）：该方法通过1D卷积层、BN层、最大池化、平均池化和硬Sigmoid激活函数构建了LECA。LECA通过聚合全局和局部特征来捕捉通道之间的依赖关系，并根据通道数和系数自适应计算卷积核大小，从而使注意机制更加轻量级。

• 迁移学习策略：在有限样本的情况下，引入了迁移学习来提取特征。该策略能够针对未经训练的工作条件和组件进行高精度的故障诊断，扩展了迁移学习的应用范围，并且在不同工作条件和组件之间具有良好的泛化能力。

实验：

• 实验验证了EfficientNetV2网络与LECA集成的故障诊断效果，并与SE、ECA相比较和分析。

• 使用东南大学的齿轮箱数据集进行了故障诊断实验验证，数据集包括轴承和齿轮数据集。

• 参数设置方面，实验在ubuntu18.04操作系统下运行，应用Python3.8和Pytorch1.8框架，使用了Intel (R) Xeon(R) Gold6330处理器和NVIDIA GeForce RTX3090 GPU的计算机。

Transfer learning for a foundational chemistry model

基于图神经网络的迁移学习框架

方法：通过利用CCDC数据集生成一个基础化学模型，然后对其进行微调，用于预测化合物的毒性、反应产率和气味。作者使用了CCDC的晶体结构数据，构建了一个基于图的模型，并通过训练一个大型传递神经网络来预测分子的键长和键角。然后，利用这个基础模型进行微调，用于预测其他化学任务。

创新点：

• 作者提出了一个基于迁移学习的通用化学模型，可以预测化合物的毒性、钯催化交叉偶联收率和分子香味。

• 作者使用Cambridge Crystallographic Data Centre (CCDC)的近1百万个有机晶体结构训练了基础模型，并证明该模型在毒性预测、收率预测和香味预测等化学相关任务上的性能优于其他机器学习技术和深度学习模型。

• 作者通过将基础模型的输出层替换为新的未训练的前馈神经网络，实现了快速而轻松地将基础模型转化为适用于其他化学任务的微调模型。

实验：

• 成功构建了一个基础化学模型，可以从化合物的2D结构预测毒性、交叉偶联产率和分子香味。

• 通过模块化开发了三个微调模型，这些模型优于基准模型和其他深度学习模型基准。

• 该框架在毒性预测方面表现出良好的准确性，优于基准模型和其他模型。

• 预训练于CCDC数据的Crystal-Tox模型在预测非治疗分子的毒性方面比基准模型更准确。

Efficient Equivariant Transfer Learning from Pretrained Models

方法：开发一种能够利用群等变性的预训练模型的高效迁移学习算法λ-equitune，通过学习特征的重要性权重，对特征进行加权平均。作者还提出了一种特殊情况的算法equizero，通过优化代理损失函数来获得等变输出。

创新点：

• 提出了λ-equitune算法，该算法通过使用重要性权重λ对特征进行加权平均，从而在零样本和微调任务上取得出色的结果，优于equitune方法。

• 证明了λ-equitune是可等变的，并且是可等变函数的通用逼近器。

实验：

• equizero在深度Q学习、公平性评估和组合泛化能力评估等任务中表现出优越的性能。

• equizero相对于equitune在零样本任务和有限样本学习能力方面表现更好。

• λ-equitune在图像分类任务中优于equitune和equizero。

• equizero在CNN-based图像分类任务中表现不佳，但λ-equitune能够轻松优于equitune和equizero。

• equizero和λ-equitune具有相同的计算复杂度，且易于实现。

• 综合多个实验结果，λ-equitune和equizero优于equitune在零样本和有限样本学习任务中。

Transfer learning based physics-informed neural networks for solving inverse problems in engineering structures under different loading scenarios

方法：论文介绍一种基于物理信息神经网络的方法，用于解决工程结构中的逆问题。通过将物理定律嵌入到损失函数中，使得PINNs能够解决偏微分方程（PDEs）。作者还提出了一种多任务学习方法，使用不确定性加权来提高PINNs在线性弹性和超弹性逆问题中的训练效率和准确性。

创新点：

• 使用不确定性加权来提高PINNs在线性弹性和超弹性逆问题中的训练效率和准确性。

• 引入了迁移学习，通过在离线阶段确定简化的加载场景，并将未知边界条件设为可学习参数，PINNs可以预测外部载荷。

• 在实际工程项目中的在线阶段，使用迁移学习对预训练模型进行微调，以适应不同的结构和加载场景。

实验：

• 通过三个基准测试案例验证了所提出方法的有效性，包括预测厚弹性圆柱体内部压力、预测受均匀线载荷作用的正方形超弹性板的载荷，以及预测受拉伸载荷作用的3D弹性梁的载荷。

• 结果表明，即使在存在噪声的数据情况下，PINN模型仍然能够获得满意的结果，这归功于物理定律的双重正则化和先验知识。

• 所提出的方法能够桥接不同结构和加载场景之间的差距，并通过层冻结和多任务权重继承加速训练收敛。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“迁移学习”获取全部论文合集

码字不易，欢迎大家点赞评论收藏