接着上一篇的介绍,这一篇就来跑跑 Dolphins 模型,本篇会记录,跑模型常见的阬点。
1 在 k8s 上创建 pod
将外部数据挂载在 pod 里,并申请 gpu 资源。同时修改代码里对应的引入数据的路径
# dolphins.yaml
apiVersion: v1
kind: Pod
metadata:
name: czl-test-pod-dolphins
labels:
app: czl-dolphins
spec:
containers:
- name: czl-1-container
image: harbor.yoocar.com.cn/deeplearning/pytorch/pytorch:2.1.0-cuda11.8-cudnn8-devel
#imagePullPolicy: Always
command: ['sh', '-c', 'sleep infinity;']
resources:
limits:
nvidia.com/gpu: 1
requests:
nvidia.com/gpu: 1
volumeMounts:
- name: data
mountPath: /mount/bev
- name: dshm
mountPath: /dev/shm
volumes:
- name: data
hostPath:
path: "/root/data/pjp/dolphins"
type: Directory
- name: dshm
emptyDir:
medium: Memory
sizeLimit: 1000Gi
restartPolicy: Never
用 yaml 方式创建 pod
kebuctl apply -f dolphins.yaml
2 去 github 下载 Dolphins
https://github.com/SaFoLab-WISC/Dolphins/tree/main
2.1 修改源码——依赖包
这里为了避免一些报错,例如重复的依赖。
ERROR: Cannot install einops==0.6.1 and einops==0.7.0 because these package versions have conflicting dependencies.
直接修改依赖包,requirement.txt
# 更新依赖后的requirements.txt,指定了一些版本
open_clip_torch==2.16.0
opencv_python_headless==4.5.5.64
#einops==0.6.1
einops_exts==0.0.4
transformers==4.28.1
accelerate==0.31.0
deepspeed==0.9.3
huggingface_hub
inflection==0.5.1
nltk==3.8.1
numpy==1.23.5
#torch==2.0.0
#torchvision==0.15.1
tqdm==4.65.0
fastapi>=0.95.2
gradio==3.34
braceexpand==0.1.7
einops==0.7.0
fastapi==0.104.1
#horovod==0.27.0
huggingface_hub==0.14.0
ijson==3.2.3
importlib_metadata==6.6.0
inflection==0.5.1
markdown2==2.4.8
natsort==8.4.0
nltk==3.8.1
#numpy==1.26.2
openai==1.3.7
orjson==3.9.10
packaging==23.2
Pillow==10.1.0
pycocoevalcap==1.2
pycocotools==2.0.7
Requests==2.31.0
uvicorn==0.24.0.post1
webdataset==0.2.79
wandb
datasets
mmengine
peft
pandas
h5py
# https://github.com/gradio-app/gradio/issues/4306
httpx==0.24.1
2.2 修改源码——数据引入路径
正常情况下,load_pretrained_modoel
会从 huggingface
里去下载数据。如果无法下载那么只能自己从网络上搬运了。我这里是统一存放,并挂载到了 pod 的 /mount/bev/ 路径里。找到的数据如下所示
修改源代码里的数据引入路径,如下修改地址的注释
def load_pretrained_modoel():
peft_config, peft_model_id = None, None
peft_config = LoraConfig(**openflamingo_tuning_config)
model, image_processor, tokenizer = create_model_and_transforms(
clip_vision_encoder_path="ViT-L-14-336",
clip_vision_encoder_pretrained="openai",
clip_vision_encoder_cache_dir="/mount/bev/clip", # 修改地址,添加 clip_vision 的缓存路径,那么他会在这个路径里去查找 ViT-L-14-336 模型
lang_encoder_path="/mount/bev/anas-awadalla/mpt-7b", # 修改地址 anas-awadalla/mpt-7b
tokenizer_path="/mount/bev/anas-awadalla/mpt-7b", # 修改地址 anas-awadalla/mpt-7b
cross_attn_every_n_layers=4,
use_peft=True,
peft_config=peft_config,
)
checkpoint_path ="/mount/bev/huggingface/gray311/Dolphins/checkpoint.pt" # 修改地址
model.load_state_dict(torch.load(checkpoint_path), strict=False)
model.half().cuda()
return model, image_processor, tokenizer
3 从本地将代码上传到 k8s 的 pod 里
这里需要自行研究下,如何在本地通过 cmd 连接远程 k8s。这样就可以在本地执行下面的命令。
kubectl cp Dolphins-main czl-test-pod-dolphins:/workspace/Dolphins-main -n test
4 进入 pod,开始安装依赖,跑模型
kubectl exec -it czl-test-pod-dolphins -n test -- bash
pip install -r requirement.txt
python inference.py
到这里就会开始一系列的报错了
5 处理一系列报错问题
报错1:
解决1:切换安装源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
报错2:
解决2:
安装 ffmpeg libsm6 libxext6
apt-get install ffmpeg libsm6 libxext6 -y
此时还没解决就又报错了,没报错的可以跳过下一步
那么
apt update
apt-get install software-properties-common
然后再安装
apt-get install ffmpeg libsm6 libxext6 -y
6 结果展示
方式一:
方式二:
这里需要开通 k8s 对外访问的服务,我这里对外暴露的端口号为 30066
# service.yaml
apiVersion: v1
kind: Service
metadata:
name: czl-dolphins-svc
spec:
selector:
app: czl-dolphins
type: NodePort
ports:
- protocol: TCP
port: 7862
targetPort: 7862
nodePort: 30066
创建服务:
kubectl apply -f service.yaml -n test
接下来一系列的启动命令
python -m serve.controller --host 0.0.0.0 --port 10000
CUDA_VISIBLE_DEVICES=0 python -m serve.model_worker --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model_name dolphins --use_lora --num_gpus 1 --limit_model_concurrency 200
python -m serve.gradio_web_server_video --controller http://localhost:10000 --port 7862 --host 0.0.0.0 --share
这个命令记得加上 --host 0.0.0.0
这个时候,集群地址加上,创建 service.yaml 对外暴露的端口号,即可打开 Dolphins web 页面。如果页面不长这样,那么可能是 gradio 依赖包的版本不对。我这里的是 3.34.0 版本,其他版本都会报错,或者展示的 web 界面有问题。
7 总结
跑模型,要注意机子本身是否能跑模型,是否需要 gpu 资源,可能还要注意下可以支持的显存大小。
流程:
- github 上下载模型源码
- 数据准备:找用到的数据,和源码放在一起,修改引入路径
- 跑模型:安装依赖,跑模型 github 启动命令
- 解决一系列的报错:包括环境、依赖包。甚至看源码,修改源码。