目录

问题描述

在使用ChatGLM+lora微调的时候，报错“AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'“

​编辑问题解决：

---

问题描述

在使用ChatGLM+lora微调的时候，报错“AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'“

问题解决：

导致该问题的主要原因是transformers版本的问题。

原始的transformer版本为4.36.2：

需要满足的版本是

"transformers<4.34"`

 再结合自己原本的虚拟环境中有trl和vllm,也对transformers有一定的限定，因此安装transformers 4.33.1解决该问题。如果没有trl和vllm的限制，只需要安装transformers<4.34即可。