基于docker进行任意项目灵活发布

引言

不管是java还是python程序等，使用docker发布的优势有以下几点：

易于维护。直接docker命令进行管理，如docker stop、docker start等，快速方便无需各种进程查询关闭。
环境隔离。项目代码任何依赖或设置都可以基本独立，不会因为共用发布服务器软件环境，而导致相互之间有影响。
配套程序安装简单。当需要配置mysql或nginx时，省去了配置环境下载软件等步骤，直接借助别人的image镜像，docker run一步到位。
更新方便。根据容器映射的地址，直接把项目代码进行替换即可，简单方便。

正文

1. 公共部分：通用镜像准备

在进行项目发布之前，首先需要准备一个通用的基础镜像。这个基础镜像将作为所有项目的起点，包含项目运行所需的基本环境。通过构建一个通用的基础镜像，可以避免在每个项目中重复配置环境，从而提高发布效率。

1.1 拉取基础镜像

在构建基础镜像之前，首先需要从Docker Hub或其他镜像仓库中拉取一个基础镜像。这里以Python 3.10为例，拉取基础镜像的命令如下：

docker pull python:3.10

1.2 Dockerfile文件内容

Dockerfile是用于构建Docker镜像的脚本文件。通过编写Dockerfile，可以定义镜像的构建过程，包括基础镜像的选择、环境变量的设置、依赖项的安装等。以下是一个通用的Dockerfile示例：

FROM python:3.10

# 设置工作目录
WORKDIR /project

# 清空容器内目录
RUN rm -rf /project

# 设置时区
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo "Asia/Shanghai" > /etc/timezone

# 根据公共需求，预装环境
RUN pip config set global.index-url https://mirrors.aliyun.com/pypi/simple && pip install --upgrade pip

# docker start时，要执行的命令。
CMD bash /project/docker_start.sh

文件内容解释

FROM python:3.10: 指定基础镜像为Python 3.10。
WORKDIR /project: 设置容器内的工作目录为/project。
RUN rm -rf /project: 清空容器内的/project目录，确保目录为空。
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo “Asia/Shanghai” > /etc/timezone: 设置容器的时区为上海。
RUN pip config set global.index-url https://mirrors.aliyun.com/pypi/simple && pip install --upgrade pip: 配置pip的镜像源为阿里云，并升级pip。
CMD bash /project/docker_start.sh: 指定容器启动时执行的命令，即运行/project/docker_start.sh脚本。

1.3 构建镜像

在编写好Dockerfile之后，可以通过以下命令构建镜像。假设将镜像命名为python_project:v1：

# 注意最后一个点符号，表示当前目录下的Dockerfile文件。
docker build -t python_project:v1 .

2. 项目部分：执行脚本

在构建好基础镜像之后，接下来需要为每个项目编写启动脚本。启动脚本将负责安装项目的依赖项、设置环境变量，并启动项目。

2.1 编写启动脚本

启动脚本通常命名为docker_start.sh，并放置在项目的根目录中。以下是一个Python项目的启动脚本示例：

#!/bin/sh

# 项目中默认执行目录为/project
# pipreqs ./
# docker run -d --name chatvl -p 8122:8122 -v /data/extdocker/project/ChatVL-v1/:/project/ python_project:v1

pip install torch==2.2.2 --find-links https://download.pytorch.org/whl/cpu
pip install -r /project/requirements.txt
export PYTHONPATH=$PYTHONPATH:/project/
python /project/web_service/run_chat.py

脚本内容解释

pip install torch==2.2.2 --find-links https://download.pytorch.org/whl/cpu: 安装特定版本的PyTorch库。
pip install -r /project/requirements.txt: 根据requirements.txt文件安装项目的依赖项。
export PYTHONPATH=$PYTHONPATH:/project/: 设置PYTHONPATH环境变量，确保项目代码可以被正确导入。
python /project/web_service/run_chat.py: 启动项目的Web服务。

项目目录概览图

在这里插入图片描述

2.2 启动容器

在编写好启动脚本之后，可以通过以下命令启动容器：

docker run -d --name chatvl -p 8122:8122 -v /data/extdocker/project/ChatVL-v1/:/project/ python_project:v1

命令解释

-d: 以守护进程方式运行容器。
–name chatvl: 指定容器的名称为chatvl。
-p 8122:8122: 将宿主机的8122端口映射到容器的8122端口。
-v /data/extdocker/project/ChatVL-v1/:/project/: 将宿主机的/data/extdocker/project/ChatVL-v1/目录挂载到容器的/project/目录。
python_project:v1: 指定使用的镜像为python_project:v1。

3. 项目执行

在启动容器之后，项目将在容器内运行。为了确保项目正常运行，需要进行一些必要的检查和配置。

3.1 容器内的工作目录

在Dockerfile中，已经将容器内的工作目录设置为/project。因此，宿主机上的项目目录需要通过-v参数挂载到容器的/project目录中。同时，还需要通过-p参数将宿主机的端口映射到容器的端口，以便外部访问。

3.2 查看执行日志

在项目运行过程中，可以通过查看容器的日志来监控项目的运行状态。以下是查看日志的命令：

docker logs -f -n 100 chatvl

命令解释

-f: 持续查看日志，类似于tail -f命令。
-n 100: 显示最新的100行日志。
chatvl: 指定要查看日志的容器名称。
示例截图如下：

[以下为扩展内容]

4. Docker的高级应用（扩展内容）

4.1 Docker Compose

在实际项目中，往往需要同时运行多个容器，如Web服务器、数据库、缓存服务等。为了简化多容器管理，可以使用Docker Compose。Docker Compose是一个用于定义和运行多容器Docker应用程序的工具。通过编写docker-compose.yml文件，可以定义多个服务的配置，并一键启动所有服务。

以下是一个简单的docker-compose.yml示例：

version: '3'
services:
  web:
    image: python_project:v1
    ports:
      - "8122:8122"
    volumes:
      - /data/extdocker/project/ChatVL-v1/:/project/
    command: bash /project/docker_start.sh

  db:
    image: mysql:5.7
    environment:
      MYSQL_ROOT_PASSWORD: example
    volumes:
      - db_data:/var/lib/mysql

volumes:
  db_data:

文件内容解释

version: ‘3’: 指定Docker Compose文件的版本。
services: 定义多个服务。
- web: 定义Web服务，使用python_project:v1镜像。
  - ports: 将宿主机的8122端口映射到容器的8122端口。
  - volumes: 将宿主机的/data/extdocker/project/ChatVL-v1/目录挂载到容器的/project/目录。
  - command: 指定容器启动时执行的命令。
- db: 定义数据库服务，使用mysql:5.7镜像。
  - environment: 设置环境变量，如数据库的root密码。
  - volumes: 将数据库数据挂载到宿主机的db_data卷。
volumes: 定义卷，用于持久化存储数据。

4.2 Docker Swarm

在生产环境中，往往需要将多个Docker主机组成一个集群，以实现高可用性和负载均衡。Docker Swarm是Docker官方提供的集群管理工具，可以将多个Docker主机组成一个Swarm集群，并通过Swarm管理器进行统一管理。

以下是使用Docker Swarm的基本步骤：

初始化Swarm:
```
docker swarm init
```

加入Swarm:

docker swarm join --token <token> <manager-ip>:<port>

部署服务:

docker service create --name chatvl --replicas 3 -p 8122:8122 python_project:v1

命令解释

docker swarm init: 初始化Swarm集群。
docker swarm join --token :: 将其他Docker主机加入Swarm集群。
docker service create --name chatvl --replicas 3 -p 8122:8122 python_project:v1: 在Swarm集群中部署服务，指定服务名称为chatvl，副本数为3，端口映射为8122。

4.3 Kubernetes

虽然Docker Swarm是一个轻量级的集群管理工具，但在大规模生产环境中，往往需要更强大的集群管理工具。Kubernetes（简称K8s）是一个开源的容器编排平台，可以自动化部署、扩展和管理容器化应用程序。

以下是使用Kubernetes的基本步骤：

安装Kubernetes:
```
kubeadm init
```

部署应用:

kubectl create deployment chatvl --image=python_project:v1

暴露服务:

kubectl expose deployment chatvl --port=8122 --type=LoadBalancer

命令解释

kubeadm init: 初始化Kubernetes集群。
kubectl create deployment chatvl --image=python_project:v1: 创建一个名为chatvl的部署，使用python_project:v1镜像。
kubectl expose deployment chatvl --port=8122 --type=LoadBalancer: 将部署暴露为服务，端口为8122，类型为LoadBalancer。