目录
创建容器
安装miniconda
安装mineru
CPU运行
GPU加速
多卡问题
创建容器
构建Dockerfile文件
开启ssh服务，设置密码为1234等操作
# 使用官方 Ubuntu 24.04 镜像
FROM ubuntu:24.04
# 安装基础工具和SSH服务
RUN apt-get update && \
apt-get install -y --no-install-recommends \
openssh-server \
vim \
curl \
net-tools \
iputils-ping && \
rm -rf /var/lib/apt/lists/*
# 配置SSH
RUN mkdir -p /var/run/sshd && \
echo 'root:1234' | chpasswd && \
sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
# 暴露SSH端口
EXPOSE 22
# 启动SSH守护进程
CMD ["/usr/sbin/sshd", "-D"]
将Dockerfile文件构建为镜像
docker build -t ubuntu_lfl .
启动一个docker容器
docker run -d --name mineru-1 --restart=unless-stopped --gpus '"device=0"' -v /mnt/LTSDataset:/mnt/LTSDataset -v /mnt/Share400T:/mnt/Share400T -p 9999:22 ubuntu_lfl:latest 安装miniconda
连接进入容器
可以使用ssh或者vscode或者xshell等
安装wget
apt update && apt install wget -y
下载miniconda安装的运行脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O miniconda.sh
运行脚本
bash miniconda.sh -b -p ~/miniconda3
环境变量生效
source ~/.bashrc用查看版本来验证是否安装成功
conda --version
安装mineru
创建一个py10的conda环境
conda create -n mineru python=3.10
进入环境
conda activate mineru
安装相关的包
pip install -U "magic-pdf[full]" --extra-index-url https://wheels.myhloli.com -i https://mirrors.aliyun.com/pypi/simple
安装modelscope，用来下载模型的（也可以自己下）
pip install modelscope
下载使用modelscope包下载模型的python运行脚本
wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models.py -O download_models.py
运行python脚本（可以自己写）
python download_models.py
验证安装
magic-pdf -v
CPU运行
上传了一个pdf文件
magic-pdf -p /root/olb_ug-1.7r0.pdf -o /root/outputs -m auto
运行报错，缺少了一些图像处理的包
安装对应的包
apt-get update && apt-get install -y libgl1 libglib2.0-0
成功启动
结果如下
运行时间
8:52-11:05 共 73分钟
GPU加速
将用户目录下的magic-pdf.json文件修改为 （原来是cpu）
"device-mode":"cuda"
运行时间为3分钟
GPU加速的效果确实很好
多卡问题
使用其官方镜像运行发现也不会多卡加速
所以对于多张卡的用户就授予不同的GPU权限，分开跑，比如我可以四个docker容器分别跑。
