文章目录
- 一、前言
- 二、主要内容
- 1. Docker Desktop?
- 2. VMware17 + CentOS Linux + Xshell
- 三、总结
🍉 CSDN 叶庭云:https://yetingyun.blog.csdn.net/
一、前言
主要的要求:
- 通过 Dockerfile 文件创建 Docker 镜像,数据 + 程序文件将以只读的方式挂载在容器内的 /data 目录下,使用相对路径,如 “./data/XX”。安装好 Python 项目的依赖库。
- 程序入口要求:务必封装入口脚本 run.sh,放置于镜像工作目录(如果在 Dockerfile 中指定了工作目录,请放在对应目录下)。务必确保镜像正常运行(可运行 docker run -it your_image sh run.sh 验证),并生成预测结果 result_A.csv 和 result_B.csv(具体如何挂载执行的要在 README.md 文件中说明)。
- 提供 inference_main.sh 文件作为预测程序入口,确保可以通过执行该文件来运行得到最终结果,并将结果保存到上述对应的文件路径下。
解决问题: 我该如何在 Windows 系统的笔记本电脑配置好 Docker 并调试好数据竞赛的复现代码(你有一台 Linux 内核的服务器就更容易了),然后打包提交?
二、主要内容
1. Docker Desktop?
去网上搜了一下相关的教程,Windows 环境下很多都是先装 Docker Desktop。
去官网下载安装 Docker Desktop:https://www.docker.com/products/docker-desktop/
-
配置镜像加速,可以参考:https://www.cnblogs.com/ychun/p/16460332.html
-
旧版 WSL 的手动安装步骤
Windows 安装 Docker 首先需要配置好适用于 Linux 的 Windows 子系统 WSL,以及安装好 Ubuntu
Add-AppxPackage .\ubuntu-2004.appx
Win10 子系统 Ubuntu 忘记密码解决方案
ubuntu config --default-user root
sudo passwd root
wsl -l -v
wsl.exe --list --verbose
wsl -l --running
改一下设置,Docker 镜像加速,然后拉取镜像
docker pull continuumio/conda-ci-linux-64-python3.8
docker run -i -t -p 12345:8888 continuumio/conda-ci-linux-64-python3.8
conda create -n model_paper python=3.8
source activate model_paper
能用,但使用 Docker Desktop 踩了很多坑,即使查阅了网上的很多资料和问 ChatGPT,并且 Docker Desktop 默认安装在 Windows C 盘,还不给你选择自定义目录的机会,我用着是一下就占了 10 多个 G,电脑慢慢就很卡。。。体验很差。你要安装配置 Docker Desktop 推荐先读一下这篇文章:https://juejin.cn/post/7085363544102797325
2. VMware17 + CentOS Linux + Xshell
VMware17 + CentOS Linux + Xshell is all you need!
安装配置好 VMware17、CentOS7 Linux,安装和使用 XShell,开启和配置虚拟机,用 XShell 连上就能很方便的用 Linux 命令操作了,并用 Linux 命令先安装好 Docker。然后基于 Dockerfile 构建 Docker 镜像,Dockerfile 里的内容为:
# 拉取阿里云提供的基础镜像源 Python3.7
FROM registry.cn-shanghai.aliyuncs.com/tcc-public/python:3
# 复制数据挂载上去 data 文件夹、requirements.txt
COPY ./data /data
COPY ./requirements.txt /data
# 更新一下 pip
RUN pip3 install --upgrade pip
# 用 pip 安装需要的 packages
RUN pip install -r /data/requirements.txt -i https://mirrors.cloud.tencent.com/pypi/simple
# 指定工作目录为 /data/code 方便运行代码
WORKDIR /data/code
docker build -t paper296816:v1 .
docker run -it paper296816:v1 sh run.sh
docker save -o paper296816.tar.gz paper291213:v1
docker load -i paper296816.tar.gz
rz paper296816.tar.gz
sz paper296816.tar.gz
rm -rf /var/log/httpd # 删除文件夹实例
rm data.zip # 删除文件实例
docker images # 查看所有 Docker 容器
docker ps -a # 查看所有 Docker 容器
docker rm -f $(docker ps -aq) # 删除所有 Docker 容器
docker rmi $(docker images -q) # 删除所有 Docker 镜像
VMware17 + CentOS Linux + Xshell 更轻量和易用,我个人觉得更好。
三、总结
其实吧,专业的事儿交给专业的人来做,快速解决实际问题,节约时间,也是极好的。后来发现某鱼上有代配置 Docker 的同学,也就几十块,都能搞定和跟他交流。
数据竞赛复现代码 Docker 镜像制作总结如下:
- 安装配置好 Docker,如果你有 Linux 内核的服务器,直接在上面用 Linux 配置好即可。如果你也跟我一样不想租服务器,就在本地 Windows 系统的笔记本安装,可以选择用 Docker Desktop 或者 VMware17 + CentOS Linux + Xshell 的方式。
- 要通过
Dockerfile
构建 Docker 镜像,首先用 vim Dockerfile 创建该文件,根据要求写 Dockerfile 里的内容。 - 然后用
docker build -t paper296816:v1 .
构建 Docker 镜像。 docker run -it paper296816:v1 sh run.sh
。通过运行该命令可以检验代码是否有问题(其中 run.sh 是自己封装的入口脚本,放在镜像的工作目录下)。docker save -o paper296816.tar.gz paper296816:v1
。构建并验证完成后可以通过该命令进行镜像打包。docker load -i paper296816.tar.gz
。打包完,还可以通过加载镜像包来进行加载验证。
成堆的镜像非常占用空间,如果需要删除所有镜像,则可以采取如下命令,先停止容器再删除镜像,如果是 Windows 系统则需要 powershell 或 XShell 中运行以下命令:
docker container stop $(docker container ls -aq)
docker rmi -f $(docker images -q)
📚️ 参考链接:
- 老肥码码码 | 竞赛 Docker 提交指南
- Windows 上的 Docker 部署以及 Conda 环境配置
- Win10 安装 Ubuntu20.04 LTS 子系统
- 史上最全(全平台)docker 安装方法!
- Docker 快速入门 | 简介和安装
- 旧版 WSL 的手动安装步骤
- 将 Python 项目打包成 Docker 镜像
- dockerfile 来构建自己的 docker 镜像
- Docker 制作 Ubuntu 的 Python 环境镜像
- 创建 Python 项目镜像,Windows Desktop Docker
- Docker 复现代码记录
- Docker 最全教程 —— 从理论到实战 (一)
- 动力节点 Docker 教程
- 从零开始:Python 程序制作 Docker 镜像并运行容器
- 【Docker】Win10 上修改 docker 的镜像文件存储位置(九)
- Docker 极简实战之 Python 项目安装部署
- Windows 上如何关闭 Docker Desktop
- Docker 清理
- docker python3.8 镜像
- 利用 docker 构建 Python3 镜像
- Windows下使用 Docker 容器的踩坑记录