『大模型笔记』Transformer的几种高效自注意力(降低计算复杂度的方法)！

news2025/1/14 20:38:15

Transformer的几种高效自注意力(降低计算复杂度的方法)！

文章目录

一. 快速回顾一下注意力机制
二. 有哪些技术可以用来提高注意力的效率
- 1. Sparse attention
- - (1) 算法原理：Strided Attention & Fixed Attention
  - (2) 复杂度分析： $\mathscr{O}(N\sqrt[p]{N})$
- 2. Reformer
- - (1) 算法原理：局部敏感哈希（Locality Sensitive Hashing, LSH）
  - (2) 复杂度分析： $\mathscr{O}(N\log N)$
- 3. Efficient Attention
- - (1) 算法原理： $\begin{pmatrix}QK^\top\end{pmatrix}V=Q\begin{pmatrix}K^\top V\end{pmatrix}$
  - (2) 复杂度分析： $\mathscr{O}(Nd^2)$
- 4. Linear Kernelized Attention (Linear Attention using Kernels)
- - (1) 算法原理：基于注意力公式的核化版本
- 5. Linear Attention using Taylor-Expansion
- 6. Linformer (Linear Attention using Low-Rank Approximation)
- - (1) 算法原理：低秩近似(low rank approximation)
  - (2) 复杂度分析： $\mathscr{O}(Nrd)$
- 7. Longformer (Linear Attention with Longformer)
- - (1) 算法原理：局部和全局注意力模式的组合
- 7. BigBird (Linear Attention with BigBird)
- - (1) 算法原理：使用局部和全局注意力模式+随机模式
二. 参考文献

在这里插入图片描述

一. 快速回顾一下注意力机制

大家好，今天的视频是我们Transformer和注意力机制系列的重要部分。我们将深入探讨如何优化注意力机制以提高其效率。众所周知，原始注意力机制的内存和计算需求会随着序列长度的增加呈二次增长，使得其在处理较长序列时变得不切实际。为了解决这个问题，研究人员开发了多种方法来简化注意力机制的复杂性。在本视频中，我们将探索一些应对这一挑战的著名模型。