note

一、扩展LLM的Context长度

1. 常见方法

扩展LLM的Context长度其实已有不少，但多数是通过结合检索或者摘要的方式来缩短样本的长Context，如Unlimiformer。由于不是直接处理长Context，因此通常无法做精细的阅读理解，而且这些方案往往需要在训练阶段就考虑进去，而不是事后即插即用到已有的LLM模型中。

2. PCW方法

以前能够不微调地扩展Context长度的方案是Parallel Context Window（下面简称PCW），出自论文《Parallel Context Windows for Large Language Models》和《Structured Prompting: Scaling In-Context Learning to 1,000 Examples》，两篇论文是同一时期不同作者的工作，但所提的方法只有细微的差别。

PCW适用于Self Attention模型，主要修改包括Position Encoding和Attention Mask：

二、NBCE方法

使用朴素贝叶斯方法。

为了改善Random Sample的效果，将Pooling方式改为直接输出不确定性最低的那个分布：
[ log ⁡ p ( T ∣ S ) ] = log ⁡ p ( T ∣ S k ) k = arg ⁡ min ⁡ { H 1 , H 2 , ⋯   , H n } H i = − ∑ T p ( T ∣ S i ) log ⁡ p ( T ∣ S i ) \begin{array}{r} {[\log p(T \mid S)]=\log p\left(T \mid S_k\right)} \\ k=\arg \min \left\{H_1, H_2, \cdots, H_n\right\} \\ H_i=-\sum_T p\left(T \mid S_i\right) \log p\left(T \mid S_i\right) \end{array} [logp(T∣S)]=logp(T∣Sk​)k=argmin{H1​,H2​,⋯,Hn​}Hi​=−∑T​p(T∣Si​)logp(T∣Si​)​

三、RoPE方法

RoPE的目标：构建一个位置相关的投影矩阵, 使得
$${\left({\mathbf{R}}_m\mathbf{q}\right)}^{\top }\left({\mathbf{R}}_n\mathbf{k}\right)={\mathbf{q}}^{\top }{\mathbf{R}}_m^{\top }{\mathbf{R}}_n\mathbf{k}={\mathbf{q}}^{\top }{\mathbf{R}}_{n-m}\mathbf{k}$$

• 对位置编码的转换称为位置插值。在这一步中，我们将位置索引从 $\left[0,L^{\prime }\right)$减小到 $[0,\mathrm{L})$，以匹配计算 RoPE 之前的原始索引范围。
• 因此，作为 RoPE 的输入，任意两个标记之间的最大相对距离从 $L^{\prime }$减小到 $L$ 。由于我们在扩展之前和之后对位置索引和相对距离的范围进行了对齐，减轻了上下文窗口扩展对注意力得分计算的影响，这使得模型更容易适应。
• 为了进一步证明这一点，下面的定理表明插值后的注意力得分具有良好的性质：

四、FlashAttention方法

• 最新发布的ChatGLM2-2B就用了这种方法将上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。
• 用了哈希感知（hash-aware）的技术，可以根据它们的相似性将输入序列中的元素分配到不同的桶（bucket）中。这样，模型只需要计算桶元素之间的注意力权重，而不是整个序列。

Reference

[1] Transformer升级之路：10、RoPE是一种β进制编码. 苏剑林
[2] NTK-Aware Scaled RoPE allows LLaMA models to have extended (8k+) context size without any fine-tuning and minimal perplexity degradation.
[3] ​Bias项的神奇作用：RoPE + Bias = 更好的长度外推性
[4] NBCE：使用朴素贝叶斯扩展LLM的Context处理长度.苏剑林
[5] Improving language models by retrieving from trillions of tokens. DeepMind的RETRO做法（以前是将文本分块chunk依次提供给LLM，但这只是暂时的做法）
[6] 【自然语言处理】【大模型】ChatGLM-6B模型结构代码解析(单机版)
[7] https://huggingface.co/THUDM/chatglm-6b/blob/main/modeling_chatglm.py
[8] 也谈langchain大模型外挂知识库问答系统核心部件：如何更好地解析、分割复杂非结构化文本
[9] 田渊栋团队新作：通过位置插值来扩展大语言模型的上下文窗口 Extending Context Window of Large Language Models via Positional Interpolation
[10] RoPE可能是LLM时代的Resnet.刘俊是
[12] flash-attention：https://github.com/Dao-AILab/flash-attention（chatglm2-6b就用了这个实现支持更长的上下文）
[13] https://huggingface.co/THUDM/chatglm2-6b
[14] NBCE：使用朴素贝叶斯扩展LLM的Context处理长度