问题描述:
将模型文件下载到本地,
模型文件==>https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main
通过【from_pretrained】去加载本地磁盘上的分词器
YOURPATH = 'models/Qwen-7B-Chat'
name = 'Qwen/Qwen-7B-Chat'
tokenizer = AutoTokenizer.from_pretrained(YOURPATH, local_files_only=True)
运行结果报错
分析:
从报错信息中可知,问题来源tokenization_auto.py", line 729。由于调用了 AutoTokenizer.from_pretrained(YOURPATH, local_files_only=True)
。这个调用尝试从给定的路径(YOURPATH)加载一个预训练的 tokenizer。local_files_only=True
参数表示只从本地文件系统加载预训练的 tokenizer,不会尝试从互联网下载。在尝试加载 tokenizer 的过程中,程序在 tokenization_auto.py
文件的第724行抛出了一个 ValueError
。错误信息是 "Tokenizer class QWenTokenizer does not exist or is not currently imported.",意思是 QWenTokenizer
这个 tokenizer 类不存在,或者没有被当前程序导入。