服务器选用:算力云 部署qwen2.5-vl-7B,24g显卡跑不起图,单问问题就占20g左右。有能力可以用大点的显卡
一、下载模型 Qwen2.5-VL-7B-Instruct
有conda ,可以在conda下操作,不知道conda的同学可以参考本博主之前的文章Conda/Miniconda/Anaconda 安装及命令整理_conda mini-CSDN博客;
conda create --name qwen python=3.11
conda activate qwen
模型地址: 魔搭社区
pip install modelscope
可以使用sdk下载、git下载、命令行下载,本次使用命令行下载方便指定下载路径到数据盘:
cd /root/autodl-tmp #进到数据盘目录
mkdir qwen2.5 #创建文件夹
cd qwen2.5
mkdir Qwen2___5-VL-7B-Instruct #创建模型文件夹
#下载模型到指定文件夹
modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir ./Qwen2___5-VL-7B-Instruct
注意:local_dir后是下载到指定文件夹
二、下载项目代码及相关安装
git clone https://github.com/QwenLM/Qwen2.5-VL
cd Qwen2.5-VL
pip install git+https://github.com/huggingface/transformers accelerate
# It's highly recommanded to use `[decord]` feature for faster video loading.
pip install qwen-vl-utils[decord]==0.0.8
三 启动webUI
git下来的Qwen2.5-VL目录下有个web_demo_mm.py文件,打开该文件,有两处需要修改:
第一处:修改模型加载的路径:
DEFAULT_CKPT_PATH = ‘/root/autodl-tmp/qwen2.5/Qwen2___5-VL-7B-Instruct’
第二处:修改web ui 的端口号
parser.add_argument(‘–server-port’, type=int, default=6006, help=‘Demo server port.’)
执行命令:
python web_demo_mm.py
如有报错,少啥装啥,如下:
pip install gradio
pip install torchvision
启动成功:
算力云服务需要使用隧道代理,autoDL帮助文档->最佳实践->ssh隧道有教程可以查看:
SSH代理命令¶
使用SSH将实例中的端口代理到本地,具体步骤为:
Step.1 在实例中启动您的服务(比如您的服务监听6006端口,下面以6006端口为例)
Step.2 在本地电脑的终端(cmd / powershell / terminal等)中执行代理命令
ssh -CNg -L 6006:127.0.0.1:6006 root@123.125.240.150 -p 42151
其中root@123.125.240.150
和42151
分别是实例中SSH指令的访问地址与端口,请找到自己实例的ssh指令做相应替换。6006:127.0.0.1:6006
是指代理实例内6006
端口到本地的6006
端口。
注意:执行完这条ssh命令,没有任何日志是正常的,只要没有要求重新输入密码或错误退出
Windows下的cmd/powershell如果一直提示密码错误,是因为无法粘贴,手动输入即可(正常不会显示正在输入的密码)
Step.3 在本地浏览器中访问http://127.0.0.1:6006
即可打开服务,注意这里的6006
端口要和上述6006:127.0.0.1:6006
中的端口保持一致