引子
最近看新闻博客说零一科技的Yi-VL-Plus视觉大模型效果很不错,那就想着尝尝鲜。这是第四篇关于视觉大模型的博客。之前有写过一篇零一科技的chat大模型零一科技Yi-34B Chat大模型环境搭建&推理_python部署大模型yi-34b-chat-CSDN博客,感兴趣的童鞋可以移步。我个人始终觉得大模型发展之路,还是要走小而精之路,即模型小但能力强,所以这篇就部署下6B的模型吧(好吧,也许最重要原因是我显卡不够。。。)。OK,让我们开始吧。
一、环境搭建
1、模型下载
git clone 魔搭社区
2、代码下载
git clone https://github.com/01-ai/Yi.git
3、安装环境
docker run -it -v /datas/work/zzq/:/workspace --gpus=all pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel bash
cd /workspace/Yi-vl/Yi/VL
pip install -r requirements.txt -i Simple Index
二、代码运行
1、接口运行
python single_inference.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg --question "Describe the cats and what they are doing in detail."
报错,显卡不支持格式,修改如下:
继续运行
2、命令行交互
python cli.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg
报错,显卡不支持格式,修改如下: