GPT2与Bert、T5之类的模型很不一样！！！
如果你对Bert、T5、BART的训练已经很熟悉，想要训练中文GPT模型，务必了解以下区别！！！
官方文档里虽然已经有教程，但是都是英文，自己实践过才知道有很多坑！！！
中文也有一些教程，但是使用了TextDataset这种已经过时的方法，不易于理解GPT2的真正工作原理。
开门见山说结论，与bert的最主要区别：
- GPT2Tokenizer，是以字节为单位的字节对编码，不是以中文的字或词为单位的！
对于英文，GPT2Tokenizer大部分时候是以单词为单位进行切分的，但是对中文则完全不同，有时候2个id代表一个中文字，有时候又是1个？这一奇怪的现象正是因为采用字节对编码的结果。
这也是为什么很多中文GPT使用BertTokenizer作为分词器，因为比较符合直观。 - GPT2Tokenizer没有默认的【pad_token】，需要自己设置，而且需要padding在左边！
- 训练时GPT2的【labels】和【input_ids】是一样的！所以使用的DataCollator不同
与T5的主要区别：
- generate时的设置不同，因为input本身也是output的一部分，所以最好设置max_new_tokens
下面对这几点分别介绍：
1.tokenizer问题
官方介绍：如下
Construct a GPT-2 tokenizer. Based on byte-level Byte-Pair-Encoding.
This tokenizer has been trained to treat spaces like parts of the tokens (a bit like sentencepiece) so a word will be encoded differently whether it is at the beginning of the sentence (without space) or not:
from transformers import GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
tokenizer("Hello world")['input_ids']
[15496, 995]
tokenizer(" Hello world")['input_ids']
[18435, 995]
You can get around that behavior by passing add_prefix_space=True when instantiating this tokenizer or when you call it on some text, but since the model was not pretrained this way, it might yield a decrease in performance.
总结起来就是：
- GPT-2 tokenizer 基于字节对进行编码。更多介绍可以看Byte-Pair-Encoding
- GPT-2 tokenizer 会把空格视为token的一部分（T5也是如此），例如“hello”与“ hello”的encode结果截然不同
- 你可以设置add_prefix_space，来避免上述情况，但是模型效果会下降
tokenize过程：
由于英文字母转换为字节再转换为单字节字符后和原来是一样的，所以英文tokenize看起来和bert差不多。（单字节字符共有256个，是ascii码的扩充，0-128和ascii码一样，所以不影响英文编码）
然而中文则面目全非，GPT-2 tokenizer的vocab里面看不见一个中文，因为vocab全都是单字节字符的组合。如下图：
那么中文是怎么变成id的呢？中文转换过程如下（这部分比较烦，不看不影响模型的训练）
外部看起来的情况：中文（utf-8）–>字节串（一个中文3个字节）–>每个字节对应一个单字节字符–>单字节字符串–>寻找vocab里对应的子串，进行分词–>转变为input_ids
实际情况：中文（utf-8）–>字节串（一个中文3个字节）–>寻找vocab里对应的子字节串，进行分词–>转变为input_ids
可以看下面例子理解以上过程：
>>> '中国'.encode('utf-8')
b'\xe4\xb8\xad\xe5\x9b\xbd'
>>> [tokenizer.byte_encoder[b] for b in b'\xe4\xb8\xad\xe5\x9b\xbd']
['ä', '¸', 'Ń', 'å', 'Ľ', '½']
>>> ''.join(['ä', '¸', 'Ń', 'å', 'Ľ', '½'])
'ä¸ŃåĽ½'
>>> tokenizer.tokenize('中国')
['ä¸Ń', 'åĽ', '½']
>>> tokenizer.convert_tokens_to_ids(['ä¸Ń', 'åĽ', '½'])
[40792, 32368, 121]
>>> tokenizer.tokenize('ä¸ŃåĽ½')
['ä', 'Â', '¸', 'Å', 'ĥ', 'Ã¥', 'Ä', '½', '½']
#由于python的encode命令默认使用utf-8编码，而不是单字节字符集，
#所以这里将“中国”的分词结果拼回去在分词，结果会不一样
>>> tokenizer.byte_decoder['ä'] #此处使用单字节字符集，将'ä'映射为一个字节
228 #十进制228对应十六进制0xe4
>>> bytearray([228])
bytearray(b'\xe4')
>>> 'ä'.encode('utf-8') #此处使用默认encode，将'ä'映射为2个字节
b'\xc3\xa4'
2.Padding问题
由于gpt是自回归语言模型，理论上来说，是不需要pad的，因为生成的id必须立即接在输入的id后面，中间不能有pad_token。
但是当一个batch训练时，难免出现输入句子不一样长的情况，所以需要在前面添加pad_token而不是像Bert一样默认添加在后面。所以需要在加载tokenizer时设置：
tokenizer = GPT2Tokenizer.from_pretrained(model_path,padding_side='left')
3.训练label问题
-
对于GPT，训练数据集里没有输入输出的区别，没有question与answer之分。训练时，一整句话，既是input，也是label。所以labels与input_ids 完全一致。举例如下：
假设我希望训练模型，使其能进行如下问答：question：“中国是首都是什么？”answer：“北京”
T5：input_ids ：“中国是首都是什么？”，labels：“北京”
GPT2：input_ids ：“中国是首都是什么？北京”，labels：“中国是首都是什么？北京” -
当你的数据集已经有question和answer列，那么需要将question和answer拼接在一起，再tokenizer处理为input_ids与attention_mask列
-
当你的数据集已经有input_ids与attention_mask列，那么就使用 transformers提供的DataCollatorForLanguageModeling即可让dataloader自动生成labels。如下是训练一个epoch的方式：
#dataset已经经过处理，有input_ids与attention_mask列
data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)
data_loader = DataLoader(dataset, batch_size=batch_size,
shuffle=True, collate_fn=data_collator, drop_last=False)
# acclelrator包装
model, data_loader = accelerator.prepare(model, data_loader)
#训练一个epoch
for step, batch in enumerate(data_loader):
optimizer.zero_grad()
outputs = model(**batch)
loss = outputs[0]
accelerator.backward(loss)
optimizer.step()
4.Generate问题
- 由于模型的config中pad_token一般为None，但在生成一个batch的时候，因为设置了early_stopping=True，所以生成的序列不一样长，难免要用到padding，所以这一项需要设置 ：pad_token_id=tokenizer.pad_token_id，使所有生成序列一样长。
- GPT2生成的结果，max_length表示prompt+generate的总长度，max_new_tokens表示generate的长度，通常我们想要限制的都是generate的长度，input_ids的长度一般不算在内，所以设置 max_length=None, max_new_tokens=256。 T5模型则一般设置max_length，因为decoder部分一般没有前缀。
- 前面提到过的，input需要padding，但需要pad在左边，pad_token一般与eos_token相同，不影响生成结果。
- 由于是生成（test）不是训练，所以input_ids和训练时不同。训练时输入 问题+答案；测试时只输入 问题，不需要提供labels
举个例子，训练时，input_ids是“中国是首都是什么？北京”；测试时，input_ids则为“中国是首都是什么？”，然后模型生成“中国是首都是什么？北京”，需要自己再把后面部分截取出来作为 答案
input_ids=tokenizer("中国是首都是什么？")['input_ids']
attention_mask=tokenizer("中国是首都是什么？")['attention_mask']
generated_ids = model.generate(
input_ids=input_ids,
attention_mask=attention_mask,
min_length=3,
max_length=None,
max_new_tokens=256,
pad_token_id=tokenizer.pad_token_id,
repetition_penalty=3.5,
length_penalty=2.5,
early_stopping=True,)
decoded_preds = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
>>> decoded_preds
'中国是首都是什么？北京'
