VisualGLM训练缺失latest文件问题解决

news2024/11/23 3:38:21

清华已经公布了VisualGLM 模型，图像预测也取得了比较好的效果，但是我在调试微调的过程遇到不少问题，这里记录一下缺失latest问题解决（ValueError: could not find the metadata file ../latest, please）

修正后的代码可以参考这个git

GitHub - qjzcy/Visualglm-image-to-text: 补充了一些Visualglm缺少的文件，可以对Visualglm进行训练，实例中是对人脸做了面相的识别

——————————————————————————————————————————

如下所示，训练的时候模型会提示我们，找不到latest这个文件。（ValueError: could not find the metadata file ../latest, please check --load）

ValueError: could not find the metadata file ../visualglm-6b/latest, please check --load

一，可不可以用其它方法跳开

查看代码可以看到，报错的地方是这段代码

既然这种调用model的方式不行，那我们用其它调用modle的方法能解决这个问题么？

调用LLM model我们一般有下面几种方式

AutoModel.from_pretrained ，FineTuneVisualGLMModel.from_pretrained() 和 VisualGLMModel.from_pretrained()

这几种种调用的区别在于它们返回的模型类型不同。

1，AutoModel 类型的模型是 Hugging Face Transformers 库中的一个通用模型类型，用于加载任意预训练模型。该模型类型可以自动检测预训练模型的类型，并返回相应类型的模型对象。但是，AutoModel 类型的模型目前还不能识别 VisualGLMModel 模型，因为 VisualGLMModel 不是 Hugging Face Transformers 库中的标准模型类型。VisualGLM训练的时候我们强行把调用model的类改为AutoModel，会导致错误，比如输入的时候无法识别图像的输入，因为其它类型的模型不支持 image 这个关键字参数，这个方案不行

2，VisualGLMModel.from_pretrained() 方法返回一个 VisualGLMModel 类型的对象，该对象包含了预训练模型的参数。这个方法通常用于加载预训练模型。

3，FineTuneVisualGLMModel.from_pretrained() 方法返回一个 FineTuneVisualGLMModel 类型的对象，是 VisualGLMModel 类型的子类，它添加了一些额外的属性和方法，用于支持 fine-tune。例如，FineTuneVisualGLMModel 类型可能包含了 fine-tune 的相关参数，例如学习率、批次大小等。此外，FineTuneVisualGLMModel 类型可能还包含了一些额外的方法，例如 train() 方法，用于继续训练模型。该对象包含了预训练模型的参数和 fine-tune 的相关参数。这个方法通常用于加载 fine-tune 后的模型，以便进行推理或者继续训练。

这两个方法都会遇到刚刚的问题，会找你要latest，所以这个问题躲是躲不掉了。我们再看看这个文件是干啥用的。