2023年，上下文LLMs窗口一般在4K-8K左右。但是，截至 2024 年 7 月，LLMs上下文窗口超过 128K 的情况很常见。
例如，Claude 2 有一个 100K 的上下文窗口。Gemini 1.5 声称有 2M 的上下文，后来的 LongRoPE 声称将LLM上下文窗口扩展到 200 万个令牌之外。此外，Llama-3–8B-Instruct-Gradient-4194k 的上下文长度为 4194K。使用LLMs时，上下文窗口的大小似乎不再是一个问题。
在Llama-3.1模型发布之前，开源模型与闭源模型之间的性能差距一直较为显著，尤其体现在对长上下文的理解能力上。开源模型在处理长文本时通常面临更大的挑战，其上下文理解和信息整合能力往往不及闭源模型。随着Llama-3.1的推出，这一差距有所缩小，开源模型在长上下文处理上的表现得到了显著提升。
最近，NVIDIA 研究团队在开源模型 Llama-3 的基础上，通过一系列创新技术显著提升了其上下文处理能力。他们将 Llama-3 的上下文长度从原有的
