---

版权声明

• 本文原创作者：谷哥的小弟
• 作者博客地址：http://blog.csdn.net/lfdfhl

---

Token概述

Token的定义与分类

基本定义

Token是自然语言处理（NLP）和机器学习中的基本单元，它代表文本中的一个有意义的片段，如单词、短语或子词。在大型语言模型（LLM）中，Token是模型理解和生成文本的基础。Token的定义和使用依赖于模型架构和处理语言的特性。

分类与特性

Token可以根据不同的标准进行分类，主要分类包括：

• 按语言特性分类：在英语等具有明显单词边界的语言中，Token通常对应于单词或标点符号；而在中文等没有明显单词边界的语言中，Token可能对应于单个汉字或经过分词算法处理后的词组。
• 按处理阶段分类：在Token化之前，原始文本中的Token被称为"raw tokens"；经过标准化处理（如小写化、去除停用词）后的Token称为"normalized tokens"。
• 按模型需求分类：某些模型可能需要特定的Token类别，如在BERT模型中使用的[CLS]和[SEP]特殊Token，用于表示句子的开始和结束。

Token的特性包括但不限于：

• 灵活性：Token的定义可以根据不同的应用场景和模型需求进行调整。
• 语境依赖性：Token的意义不仅取决于其本身，还依赖于其在文本中的上下文位置。
• 编码多样性：Token可以通过不同的方式编码，如one-hot编码或embedding向量，以适应不同的模型架构。

Token的这些特性使其成为大模型中处理自然语言文本的关键元素，合理地定义和处理Token对于提升模型性能至关重要。

Token化过程

文本拆分

文本拆分是Token化过程的第一步，它直接影响到模型对文本内容的理解和处理。在英文文本中，通常依据空格和标点符号进行拆分，而中文文本由于缺乏明显的词间分隔，常常需要依赖更复杂的分词算法。

• 英文文本拆分：英文文本的Token化相对简单，空格是自然的分隔符，如句子 “The quick brown fox” 可以被拆分为 [“The”, “quick”, “brown”, “fox”]。
• 中文文本拆分：中文Token