---

一些无编码器的MLLMs统一架构如Fuyu，直接在LLM内处理原始像素，消除了对外部视觉模型的依赖。但是面临视觉与语言模态冲突的挑战，导致训练不稳定和灾难性遗忘等问题。解决方案则是通过参数解耦方法解决模态冲突。

在多模态大语言模型（MLLM）中，将视觉处理模块与语言处理模块的参数进行隔离设计，使两者在训练和推理过程中保持独立性。其核心是通过架构设计或训练策略 ，限制视觉与语言参数之间的直接耦合，从而缓解多模态学习中的固有冲突。

---

一、为什么要参数解耦

1. 缓解模态冲突（Modality Conflict）

视觉与语言数据分布差异大（图像空间局部相关 vs 文本时序长程依赖），联合训练易导致优化方向冲突。

2. 抑制灾难性遗忘（Catastrophic Forgetting）

解耦参数可冻结语言模块参数，防止视觉任务训练覆盖语言知识。

3. 提升训练效率

梯度隔离：视觉与语言参数的梯度反向传播路径分离，减少优化器状态内存占用。

4. 支持模块化升级

独立替换：可单独更新视觉编码器（如替换ViT为Swin Transformer）或升级语言模型（如LLaMA-2 → Mistral），无需重新训练整个系统。

---

二、方案

1. 模块化隔离

• 结构设计：视觉编码器（如ViT）与语言模型（如LLaMA）分别使用独立的参数池，仅通过轻量级适配器（Adapter）连接。
  • 示例：早期MLLM如Flamingo [1] 使用冻结的ViT和LLM，仅训练连接两者的Perceiver Resampler。
  • 参数占比：视觉编码器参数量占比约80%，语言模型15%，适配器仅5%。

2. 混合专家（MoE）架构

• 动态路由：为视觉和语言模态分配不同的专家网络，通过门控机制选择激活路径。
  • 示例：Mono-InternVL [2] 设置视觉专家（处理图像块）和语言专家（处理文本token），共享仅30%的基础参数。
  • 计算开销：MoE结构在训练时增加约20%的FLOPs，但推理时通过稀疏激活降低开销。

3. 分层解耦

• 参数分组：在Transformer层内分离视觉相关与语言相关的线性层、归一化层。

  • 示例：EVEv2 [3] 将每个FFN层的权重矩阵拆分为视觉子矩阵 $W_v$ 和语言子矩阵 $W_l$，反向传播时仅更新对应模态的子矩阵。

  • 公式表达：
    

    其中 $||$ 表示矩阵拼接，训练时根据输入模态冻结 $W_l$ 或 $W_v$。

---

三、关键技术挑战

1. 跨模态对齐难度

• 问题：参数解耦可能削弱视觉与语言表征的对齐能力，导致跨模态理解性能下降。
• 解决方案：引入对比学习损失（如InfoNCE），强制视觉-语言适配器输出对齐。
  实验效果：在VQA任务中，解耦模型+对比学习的准确率提升6.7%。

2. 参数膨胀

• 现象：完全解耦可能使总参数量翻倍（如EVEv2的13B → 26B）。
• 优化方法：
  • 参数共享：在MoE中让视觉与语言专家共享底层投影矩阵（如共享率30%）。
  • 低秩适配：使用LoRA [5] 为各模态添加低秩增量，而非全参数更新（可减少70%新增参数量）。

3. 动态推理开销

• 挑战：MoE等动态路由机制增加条件计算，可能降低GPU并行效率。
• 硬件优化：NVIDIA的FasterMoE框架通过智能缓存机制，将MoE延迟降低40%。

---

未来研究方向

• 动态解耦强度：根据输入内容自动调整视觉-语言参数交互程度（如注意力门控）。
• 量子化兼容性：开发视觉与语言参数的异构量化策略（如视觉模块8-bit，语言模块4-bit）。
• 神经架构搜索（NAS）：自动探索最优解耦比例与连接结构。

---

参考文献
[1] Alayrac et al., Flamingo: A Visual Language Model for Few-Shot Learning, 2022.
[2] Chen et al., Mono-InternVL: Scaling Multimodal Foundation Models without Catastrophic Forgetting, 2023.
[3] Li et al., EVEv2: Decoupling Vision and Language in Multimodal Transformers, 2023.
[5] Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, ICLR 2022.