最近MiniGPT4开源了，获得了很多网友好评，在Github上获得了1.6万的star，它相比ChatGPT3.5来说，可以实现图片识别，生成想要的文本效果，理解能力非常强。

• 论文地址：https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf

• 论文主页：https://minigpt-4.github.io/

• 代码地址：https://github.com/Vision-CAIR/MiniGPT-4

目录

一、MiniGPT-4网页版体验

1.1 用图片写一首诗 

1.2 网页版缺点 

二、安装环境依赖

2.1 下载Github项目

2.2 搭建pytorch环境

2.3 安装依赖包 

三、下载相关模型

3.1 下载LLaMa 全量模型

3.2 下载Vicuna的delta增量权重 

3.3 更新模型权重

3.4 准备预训练MiniGPT-4权重 

四、运行MiniGPT-4

4.1 报错解决

4.2 大功告成 

---

 

一、MiniGPT-4网页版体验

1.1 用图片写一首诗 

MiniGPT-4 联网体验网址为：Minigpt-4

 

根据一张图片写一首诗，体验效果如下：

 

翻译成中文：

一个小男孩高高地站在草地上、
手中拿着网，他准备好了要过。
头顶的天空晴朗而湛蓝、
一个完美的日子，适合捕捉一些乐趣。

男孩仰望天空、
脸上带着微笑，他已准备好飞翔。
他轻松地举起他的网、
看着蝴蝶走近。

蝴蝶飞来飞去，翩翩起舞、
男孩用手轻轻地捕捉着它们。
他很有耐心，一动不动、
当他等待着完美的收获时。

阳光照在他的脸上、
温暖着他的皮肤，使他感到安心。
他被大自然的美丽所包围、
他对这种宁静心存感激。

男孩的心中充满了喜悦、
当他看着蝴蝶飞翔。
他已经找到了对大自然的热爱、
它将永远在他身边。

所以让我们都花点时间
欣赏我们周围的美景。
让我们珍视简单的事物、
并在我们所做的一切中找到快乐。

1.2 网页版缺点 

可以发现，根据图片写的诗句还是比较优美的，但是网页体验的话，由于并发量比较大，很容易突然卡顿的现象，下面我主要讲解一下如何进行本地部署。

二、安装环境依赖

2.1 下载Github项目

GitHub - Vision-CAIR/MiniGPT-4: MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models

2.2 搭建pytorch环境

window系统搭建pytorch环境可参考：
Anaconda安装Pytorch（win系统）_Dr.sky_的博客-CSDN博客

2.3 安装依赖包 

方法一：

cd MiniGPT-4

conda env create -f environment.yml

conda activate minigpt4

方法二：

将MiniGPT-4/environment.yml 中需要安装的依赖包都拷贝到requirement.txt文件中（下图为部分安装包截图），并用pip安装：

 

三、下载相关模型

3.1 下载LLaMa 全量模型

LLaMa-7B模型下载地址：

decapoda-research/llama-7b-hf at main (huggingface.co)

LLaMa-13B模型下载地址（我用的）：

 decapoda-research/llama-7b-hf at main (huggingface.co)

3.2 下载Vicuna的delta增量权重 

vicuna-7b-delta-v1.1下载地址：

lmsys/vicuna-7b-delta-v1.1 at main

vicuna-13b-delta-v1.1下载地址（我用的）：

lmsys/vicuna-13b-delta-v1.1 at main 

vicuna-7b-delta-v1.0下载地址：

lmsys/vicuna-7b-delta-v0 at main

vicuna-13b-delta-v0下载地址：

lmsys/vicuna-13b-delta-v0 at main (huggingface.co) 

3.3 更新模型权重

pip install git+https://github.com/lm-sys/FastChat.git@v0.1.10
pip install fastchat

python -m fastchat.model.apply_delta --base llama-13b-hf的路径/  --target weight/(更新权重存放的路径）  --delta vicuna-13b-delta-v1.1的路径/

然后，在模型配置文件中修改权重路径为minigpt4—configs—models—minigpt4.yaml第16行 

3.4 准备预训练MiniGPT-4权重 

Checkpoint Aligned with Vicuna 13B	Checkpoint Aligned with Vicuna 7B
下载	下载

我下载的是13B权重

然后，在模型配置文件中修改权重路径为minigpt4—eval_configs—minigpt4_eval.yaml第11行

 

四、运行MiniGPT-4

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml  --gpu-id 0

4.1 报错解决

运行上述代码，出现以下报错：

 

解决方法： 

4.2 大功告成 

 

复制生成网址链接，在浏览器可以轻松方式，大功告成！ 

 

参考内容：

1. 手把手教学！在本地部署自己的MiniGPT4模型 

2. MiniGPT-4/environment.yml at main · Vision-CAIR/MiniGPT-4 · GitHub 

3.  icey-zhang/miniGPT4_guide: miniGPT4的本地复现 (github.com)

4. RiseInRose/MiniGPT-4-ZH: MiniGPT-4 中文部署翻译 完善部署细节 (github.com) 

5. MiniGPT-4本地部署，纯新手小白踩过的坑 (wolai.com)