1. 前言
自从chatgpt出现，大模型的发展就进入了快车道，各种各样的大模型卷上天，作为一个在大模型时代的科研人，即使你不向前，也会被时代裹挟着向前，所以还是自己走快一点比较好，免得被后浪拍死在沙滩上。对于我而言，写文章更多的是对知识的总结和回顾，当然如果我的文章能够对你的学习有所帮助我也是挺开心的。
这篇文章主要参考B站上的这位大神的视频以及Huggingface上的总结
B站视频LLM分词
Huggingface Tokenization
另外大家也可以通过这个分词网站来玩一下分词：https://tiktokenizer.vercel.app
2. Token,Tokenization和Tokenizer的概念
首先，什么是Token?什么是Tokenization? 什么又是Tokenizer
Token：是文本数据的基本单元也即词元，通常表示一个词、子词或字符.
Tokenization:Tokenization中文翻译为分词，是将原始文本字符串分割成一系列Token的过程。这个过程可以有不同的粒度，比如单词级别分词(Word-based Tokenization)、字符级别分词(Character-based Tokenization)和子词级别分词(Subword-based Tokenization)。
Tokenizer: 是将文本切分成多个tokens的工具或算法
另外再NLP中我们经常会遇到一个词OOV（Out Of Vocabulary),意思是有些单词在词典中查询不到，例如一些根据词根现造的词，或者拼写错误的词等
接下来，我们首先介绍两种比较容易理解的分词Word-based Tokenization 和Character-based Tokenization
3. Word-based Tokenization
Word-based Tokenization 是将将文本划分为一个个词（包括标点）
我们以这句话为例："Don't you love 🤗 Transformers? We sure do."
一种最简单的方法是通过空格进行划分：
["Don't", "you", "love", "🤗", "Transformers?", "We", "sure", "do."]
在这种划分下，标点和单词是粘在一起的： ["Transformers?","do."]，，如果把标点也作为一个词的话，可以进一步划分：
["Don", "'", "t", "you", "love", "🤗", "Transformers", "?", "We", "sure", "do", "."]
但是这里的Don't 应该被划分为Do,n't,引入规则之后事情就变得复杂起来了。
英文的划分有两个常用的基于规则的工具spaCy 和 Moses,划分如下：
["Do", "n't", "you", "love", "🤗", "Transformers", "?", "We", "sure", "do", "."]
使用Word-base Tokenization，
优点是：符合人的自然语言和直觉。
缺点是: ①相同意思的词被划分为不同的token,比如：dog和dogs ② 最终的词表会非常大
因此我们可以设置词表上限比如上限为10000，未知的词用Unkown表示
但是这样会损失大量的信息，模型性能大打折扣！
4. Character-based Tokenization
Character-based Tokenization 将文本划分为一个个字符（包括标点）。
我们以这个例子为例： Today is Sunday.
按照Character 划分，我们可以得到
["T","o","d","a","y","i","s","S","u","n","d","a","y"]
使用Character-based Tokenization 划分的优点是
① 大大减少了词汇量，在256个ASCII码表示的范围内
② 可以表示任意字符，不会出现unkown的情况
缺点是
①字母包含的信息量低，一个字母"T” 无法知道它具体指代的是什么，但如果是"Today"语义就比较明确
②相对于Word-based Tokenization ，会产生很长的token序列
③如果是中文，依然会有很大的词汇量
5. Subword-based Tokenization
待续。。。。。。。。。。。。。。。。
5.1 BPE/BBPE
5.1.1 BPE
5.1.2 BBPE
5.2 Unigram
5.3 WordPiece
5.4 SentencePiece
参考文献
简介NLP中的Tokenization（基于Word,Subword 和 Character）
https://zhuanlan.zhihu.com/p/620603105
https://blog.csdn.net/zhaohongfei_358/article/details/123379481
