解决容器内deepspeed微调大模型报错:[launch.py:315:sigkill_handler] Killing subprocess
- 问题描述:
- 解决办法
问题描述:
在容器中用deepspeed微调百川大模型2时,出现上述错误,错误是由于生成容器时,共享内存没有设置,采用默认值引起的。终端输入ds_report,可以查看shared_memory,(之前是默认63M,现已调整50G)
解决办法
docker stop 容器名
docker rm 容器名
重新生成容器时加上共享内存参数:–shm-size=1g
例:
docker run -it -d --shm-size=50g --name 容器名–net host --gpus all -v 宿主机路径:容器内路径 -e NVIDIA_DRIVER_CAPABILITIES=compute,utility ubuntu:latest /bin/bash