Adapter Tuning（适配器微调）和LoRA的区别与联系

Adapter Tuning（适配器微调）和LoRA（Low-Rank Adaptation of Large Language Models，大型语言模型的低秩适应）都是在预训练模型基础上进行高效微调的方法，

一、联系

• 目的相同：都是为了在尽量少改变预训练模型结构和参数的前提下，通过较小的计算成本和数据量，使预训练模型能够更好地适应特定任务或领域，从而提升模型在目标任务上的性能。
• 基于预训练模型：都依赖于已有的大规模预训练模型，如BERT、GPT等，这些预训练模型在大量通用数据上学习到了丰富的语言知识和模式，Adapter Tuning和LoRA都是在这些模型的基础上进行微调，以利用预训练模型的优势并针对特定任务进行优化。

二、区别

• 结构和参数调整方式：

  • Adapter Tuning：在预训练模型的每一层（如Transformer的编码器或解码器层࿰