1. 什么是 LLM？

LLM（大型语言模型）是一种神经网络，专门用于理解、生成并对人类文本作出响应。这些模型是深度神经网络，通常训练于海量文本数据上，有时甚至覆盖了整个互联网的公开文本。

LLM 中的 “大” 主要体现在以下两个方面：

1. 模型规模巨大 —— 这些模型拥有数十亿甚至上千亿个参数，这些参数是在训练过程中不断调整的权重，用于优化模型的文本预测能力。
2. 训练数据庞大 —— 这些模型训练于庞大的数据集，使它们能够学习语言的结构、上下文和关系，并进行强大的文本理解和生成。

LLM 的训练目标通常是 “预测下一个单词”（Next-word Prediction）。尽管这个任务本身看似简单，但研究人员发现，仅仅基于这个任务训练出来的模型，竟然能够具备如此强大的语言理解能力。这种现象令人惊讶，并成为 LLM 研究的核心之一。

LLM 采用的核心架构是Transformer，它使模型能够关注输入文本中的不同部分，在生成文本时综合利用不同的上下文信息。这种能力使得 LLM 能够处理人类语言的复杂性，并进行高质量的文本生成。

由于 LLM 具备文本生成能力，它们也被称为生成式人工智能（Generative AI 或 GenAI）。从人工智能（AI）的整体层次来看，AI 领域涵盖了一系列模拟人类智能的技术，包括语言理解、模式识别、决策等。机器学习（ML）和深度学习（DL）则是 AI 领域的重要子集，而 LLM 正是深度学习的具体应用（见下图）。

2.人工智能（AI）、机器学习（ML）和深度学习（DL）的关系

在人工智能（AI）领域，机器学习（ML）指的是让计算机从数据中学习模式并进行预测或决策，而无需人为编写具体规则。例如，垃圾邮件过滤器可以通过机器学习算法自动学习哪些邮件属于垃圾邮件，而不需要人工手动制定规则。

机器学习又进一步划分为传统机器学习和深度学习：

• 传统机器学习 依赖人工特征提取，即需要人类专家分析数据并提取最相关的特征。例如，在垃圾邮件检测中，专家可能会定义一些特征，比如：

  • 电子邮件中出现的某些关键词（如 “中奖”、“免费”、“特价”）
  • 过多的感叹号
  • 全大写文本的比例
  • 是否包含可疑链接

  这些特征然后被用于训练分类模型，以判断邮件是否为垃圾邮件。

• 深度学习（Deep Learning） 则依赖多层神经网络，无需人工特征提取，模型可以自动学习数据中的模式和抽象特征。这使得 LLM 及其他 AI 技术能够比传统方法更高效地处理复杂任务。

尽管目前 AI 领域主要由机器学习和深度学习主导，但AI 还包括其他方法，如基于规则的系统、遗传算法、专家系统、模糊逻辑或符号推理等。

回到垃圾邮件分类的例子，在传统机器学习方法中，人们需要手动设计特征，而在深度学习方法中，神经网络可以自动学习哪些特征对垃圾邮件检测最重要。这就是深度学习的一个核心优势：减少人工干预，使模型能够自主学习数据特征。

3.LLM 带来的变革

LLM 之所以能够突破传统 NLP 的限制，主要归因于以下两个关键因素：

1. Transformer 架构的引入 —— Transformer 采用自注意力机制（Self-Attention），可以捕捉文本中的远程依赖关系，使 LLM 能够理解复杂的语言结构。
2. 大规模数据训练 —— LLM 训练于海量的文本数据，使其能够学习到比传统方法更多的语言模式、上下文和微妙的语义关系。

这种从基于规则的 NLP 方法向大规模神经网络模型的转变，彻底重塑了自然语言处理（NLP）领域，使计算机能够更好地理解和生成自然语言文本。