Tokenization

因为这些问题没有一个正确答案，所以没有一种方法可以进行标记化。主要有以下三种方法：

基于单词

在空格上拆分句子，以及应用特定语言的规则来尝试分隔含义的各个部分，即使没有空格（例如将“不要”变成“不要”）。通常，标点符号也被拆分成单独的标记。

基于子词

根据最常出现的子字符串将单词拆分成更小的部分。例如，“场合”可能被标记为“场合”。

基于字符

将一个句子拆分成各个字符。

我们将在这里查看单词和子词标记化，我们将把基于字符的标记化留给您在本章末尾的调查问卷中实施。

让我们用我们在 第 1 章中使用的 IMDb 数据集来尝试一下：

from fastai.text.all import *
path = untar_data(URLs.IMDB)

我们需要获取文本文件以试用分词器。就像get_image_files（我们已经用过很多次）一样，获取一个路径中的所有图像文件，get_text_files 获取一个路径中的所有文本文件。我们还可以选择传递 folders 以将搜索限制在特定的子文件夹列表中：

files = get_text_files(path, folders = ['train', 'test', 'unsup'])

这是我们将标记化的评论（我们将在此处打印它的开头以节省空间）：

txt = files[0].open().read(); txt[:75]

'This movie, which I just discovered at the video store, has apparently sit '

在我们撰写本书时，fastai 的默认英文单词分词器使用了一个名为spaCy的库。它有一个复杂的规则引擎，具有针对 URL、个别特殊英语单词等的特殊规则。SpacyTokenizer然而，我们不会直接使用，而是使用WordTokenizer，因为这将始终指向 fastai 当前的默认单词分词器（可能不一定是 spaCy，具体取决于您阅读本文的时间）。

让我们试试看。我们将使用 fastai 的coll_repr(collection,n) 功能来显示结果。这将显示collection 的第一个项目以及完整尺寸——这是默认使用的L。请注意，fastai 的分词器采用一组文档进行分词，因此我们必须将其包装txt在一个列表中：

spacy = WordTokenizer()
toks = first(spacy([txt]))
print(coll_repr(toks, 30))

(#201) ['This','movie',',','which','I','just','discovered','at','the','video','s
 > tore',',','has','apparently','sit','around','for','a','couple','of','years','
 > without','a','distributor','.','It',"'s",'easy','to','see'...]

如您所见，spaCy 主要只是分离出了单词和标点符号。但它在这里也做了其他事情：它将“it's”拆分为“it”和“'s”。这是直觉上的道理；这些是单独的词，真的。当您考虑必须处理的所有小细节时，令牌化是一项非常微妙的任务。幸运的是，spaCy 为我们很好地处理了这些——例如，在这里我们看到了“.”。当它终止一个句子时被分开，但不是首字母缩写词或数字：

first(spacy(['The U.S. dollar $1 is $1.00.']))

(#9) ['The','US','dollar','$','1','is','$','1.00','.']

fastai 然后使用Tokenizer类向标记化过程添加一些额外的功能：

tkn = Tokenizer(spacy)
print(coll_repr(tkn(txt), 31))

(#228) ['xxbos','xxmaj','this','movie',',','which','i','just','discovered','at',
 > 'the','video','store',',','has','apparently','sit','around','for','a','couple
 > ','of','years','without','a','distributor','.','xxmaj','it',"'s",'easy'...]

defaults.text_proc_rules

[<function fastai.text.core.fix_html(x)>,
 <function fastai.text.core.replace_rep(t)>,
 <function fastai.text.core.replace_wrep(t)>,
 <function fastai.text.core.spec_add_spaces(t)>,
 <function fastai.text.core.rm_useless_spaces(t)>,
 <function fastai.text.core.replace_all_caps(t)>,
 <function fastai.text.core.replace_maj(t)>,
 <function fastai.text.core.lowercase(t, add_bos=True, add_eos=False)>]

??replace_rep

要处理这些情况，通常最好使用子词标记化。这分两步进行：

1. 分析文档语料库以找到最常出现的字母组。这些成为词汇。

2. 使用这个子词单元的词汇对语料库进行标记。

让我们看一个例子。对于我们的语料库，我们将使用前 2,000 条电影评论：

txts = L(o.open().read() for o in files[:2000])

我们实例化我们的分词器，传入我们想要创建的词汇的大小，然后我们需要“训练”它。也就是说，我们需要让它阅读我们的文档并找到常见的字符序列来创建词汇表。这是用setup. 正如我们很快就会看到的，setup是一种特殊的 fastai 方法，它会在我们通常的数据处理管道中自动调用。但是，由于我们目前是手动完成所有操作，因此我们必须自己调用它。下面是一个针对给定词汇量执行这些步骤并显示示例输出的函数：

def subword(sz):
    sp = SubwordTokenizer(vocab_sz=sz)
    sp.setup(txts)
    return ' '.join(first(sp([txt]))[:40])

让我们试试看：

subword(1000)

'▁This ▁movie , ▁which ▁I ▁just ▁dis c over ed ▁at ▁the ▁video ▁st or e , ▁has
 > ▁a p par ent ly ▁s it ▁around ▁for ▁a ▁couple ▁of ▁years ▁without ▁a ▁dis t
 > ri but or . ▁It'

使用 fastai 的子词分词器时，特殊字符 ▁表示原始文本中的空格字符。

如果我们使用更小的词汇表，每个标记将代表更少的字符，并且将需要更多的标记来表示一个句子：

subword(200)

'▁ T h i s ▁movie , ▁w h i ch ▁I ▁ j us t ▁ d i s c o ver ed ▁a t ▁the ▁ v id e
 > o ▁ st or e , ▁h a s'

另一方面，如果我们使用更大的词汇表，最常见的英语单词将最终出现在词汇表中，我们就不需要那么多来表示一个句子：

subword(10000)

"▁This ▁movie , ▁which ▁I ▁just ▁discover ed ▁at ▁the ▁video ▁store , ▁has
 > ▁apparently ▁sit ▁around ▁for ▁a ▁couple ▁of ▁years ▁without ▁a ▁distributor
 > . ▁It ' s ▁easy ▁to ▁see ▁why . ▁The ▁story ▁of ▁two ▁friends ▁living"

选择子词词汇量大小代表了一种妥协：更大的词汇量意味着每个句子更少的标记，这意味着更快的训练、更少的内存和更少的模型要记住的状态；但不利的一面是，这意味着更大的嵌入矩阵，需要更多的数据来学习。

总的来说，子词标记化提供了一种在字符标记化（即使用小的子词词汇）和单词标记化（即使用大的子词词汇）之间轻松缩放的方法，并且无需开发特定于语言的算法即可处理每种人类语言。它甚至可以处理其他“语言”，例如基因组序列或 MIDI 音乐符号！出于这个原因，在去年它的 受欢迎程度飙升，它似乎有可能成为最常见的标记化方法（当你读到这篇文章时，它很可能已经是！）。

一旦我们的文本被分割成标记，我们需要将它们转换为数字。我们接下来看看。

用 fasti 进行数值化

1. 列出该分类变量（词汇）的所有可能级别。

2. 用词汇表中的索引替换每个级别。

让我们看一下我们之前看到的单词标记化文本的实际效果：

toks = tkn(txt)
print(coll_repr(tkn(txt), 31))

(#228) ['xxbos','xxmaj','this','movie',',','which','i','just','discovered','at',
 > 'the','video','store',',','has','apparently','sit','around','for','a','couple
 > ','of','years','without','a','distributor','.','xxmaj','it',"'s",'easy'...]

与 一样SubwordTokenizer，我们需要setup呼吁Numericalize; 这就是我们创建词汇的方式。这意味着我们首先需要我们的标记化语料库。由于标记化需要一段时间，因此由 fastai 并行完成；但对于本手动演练，我们将使用一小部分：

toks200 = txts[:200].map(tkn)
toks200[0]

(#228)
 > ['xxbos','xxmaj','this','movie',',','which','i','just','discovered','at'...]

我们可以将其传递给setup来创建我们的词汇表：

num = Numericalize()
num.setup(toks200)
coll_repr(num.vocab,20)

"(#2000) ['xxunk','xxpad','xxbos','xxeos','xxfld','xxrep','xxwrep','xxup','xxmaj
 > ','the','.',',','a','and','of','to','is','in','i','it'...] “

fastai 还可以通过将单词列表作为vocab参数传递，使用您提供的词汇对您的数据集进行数值化。

一旦我们创建了我们的Numericalize对象，我们就可以像使用函数一样使用它：

nums = num(toks)[:20]; nums

tensor([  2,   8,  21,  28,  11,  90,  18,  59,   0,  45,   9, 351, 499,  11,
 > 72, 533, 584, 146,  29,  12])

这一次，我们的令牌已经转换为我们的模型可以接收的整数张量。我们可以检查它们是否映射回原始文本：

' '.join(num.vocab[o] for o in nums)

'xxbos xxmaj this movie , which i just xxunk at the video store , has apparently
 > sit around for a'

现在我们有了数字，我们需要将它们分批放入我们的模型中。

将我们的文本放入语言模型的批次中

使用 DataBlock 的语言模型

以下是我们如何TextBlock使用 fastai 的默认设置来创建语言模型：

get_imdb = partial(get_text_files, folders=['train', 'test', 'unsup'])

dls_lm = DataBlock(
    blocks=TextBlock.from_folder(path, is_lm=True),
    get_items=get_imdb, splitter=RandomSplitter(0.1)
).dataloaders(path, path=path, bs=128, seq_len=80)

learn = language_model_learner(
    dls_lm, AWD_LSTM, drop_mult=0.3,
    metrics=[accuracy, Perplexity()]).to_fp16()

默认使用的损失函数是交叉熵损失，因为我们本质上有一个分类问题（不同的类别是我们词汇中的单词）。这里使用的困惑度度量在 NLP 中经常用于语言模型：它是损失的指数（即 torch.exp(cross_entropy)）。我们还包括准确性指标，以查看我们的模型在尝试预测下一个单词时正确的次数，因为交叉熵（正如我们所见）既难以解释又告诉我们更多关于模型的信心而不是其准确性。

让我们回到本章开头的流程图。第一个箭头已经为我们完成并在 fastai 中作为预训练模型提供，我们刚刚为第二阶段构建了DataLoaders和。Learner现在我们准备好微调我们的语言模型了！

训练每个 epoch 需要相当长的时间，因此我们将在训练过程中保存中间模型结果。由于 fine_tune不为我们这样做，我们将使用fit_one_cycle. 就像cnn_learner,在使用预训练模型（这是默认设置）时language_model_learner 自动调用一样freeze，所以这将只训练嵌入（模型中唯一包含随机初始化权重的部分——即，嵌入我们 IMDb 词汇表中的单词，但不在预训练模型词汇中）：

learn.fit_one_cycle(1, 2e-2)

这个模型需要一段时间来训练，所以这是一个谈论保存中间结果的好机会。

保存和加载模型

learn.save_encoder('finetuned')

编码器

该模型不包括特定于任务的最后一层。当应用于视觉 CNN 时，这个术语与“身体”的含义大致相同，但“编码器”往往更多地用于 NLP 和生成模型。

TEXT = "I liked this movie because"
N_WORDS = 40
N_SENTENCES = 2
preds = [learn.predict(TEXT, N_WORDS, temperature=0.75)
         for _ in range(N_SENTENCES)]

print("\n".join(preds))

i liked this movie because of its story and characters . The story line was very
 > strong , very good for a sci - fi film . The main character , Alucard , was
 > very well developed and brought the whole story
i liked this movie because i like the idea of the premise of the movie , the (
 > very ) convenient virus ( which , when you have to kill a few people , the "
 > evil " machine has to be used to protect

如您所见，我们添加了一些随机性（我们根据模型返回的概率随机选择一个词），因此我们不会两次获得完全相同的评论。我们的模型没有任何关于句子结构或语法规则的编程知识，但它显​​然已经学到了很多关于英语句子的知识：我们可以看到它正确地将大写字母 ( I转换为i因为我们的规则需要两个或更多字符认为一个词是大写的，所以看到它小写是正常的）并且使用一致的时态。总体评价乍一看有道理，只有仔细阅读才能发现有些地方不对劲。对于几个小时内训练好的模型来说还不错！

但我们的最终目标不是训练一个模型来生成评论，而是对它们进行分类……所以让我们使用这个模型来做到这一点。

创建分类器数据加载器

learn.fit_one_cycle(1, 2e-2)

在一个 epoch 中，我们得到了与第 1 章中训练相同的结果 ——还不错！我们可以传递-2给freeze_to 冻结除最后两个参数组之外的所有参数：

learn.freeze_to(-2)
learn.fit_one_cycle(1, slice(1e-2/(2.6**4),1e-2))

然后我们可以解冻更多并继续训练：

learn.freeze_to(-3)
learn.fit_one_cycle(1, slice(5e-3/(2.6**4),5e-3))

最后，整个模型！

learn.unfreeze()
learn.fit_one_cycle(2, slice(1e-3/(2.6**4),1e-3))