Docker 入门：如何使用 Docker 容器化 AI 项目（二）

四、将 AI 项目容器化：示例实践 - 完整的图像分类与 API 服务

让我们通过一个更完整的 AI 项目示例，展示如何将 AI 项目容器化。我们以一个基于 TensorFlow 的图像分类模型为例，演示如何将训练、推理、以及 API 服务过程容器化。

4.1 创建 AI 项目文件

首先，创建一个 Python 项目目录结构，包含以下文件：

/my-ai-project
    ├── Dockerfile
    ├── requirements.txt
    ├── main.py
    ├── model.py
    └── app.py

requirements.txt：列出项目的所有 Python 依赖。

tensorflow==2.6.0
numpy==1.19.5
matplotlib==3.4.3
flask==2.0.2

main.py：包含模型训练和保存的逻辑代码。

import tensorflow as tf
from tensorflow.keras.datasets import mnist

# 加载数据
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# 数据预处理
x_train = x_train / 255.0
x_test = x_test / 255.0

# 构建模型
model = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=(28, 28)),
    tf.keras.layers.Dense(128, activation='relu'),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Dense(10)
])

# 编译模型
model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy'])

# 训练模型
model.fit(x_train, y_train, epochs=5)

# 评估模型
model.evaluate(x_test, y_test)

# 保存模型
model.save('saved_model/my_model')

model.py：包含模型加载和推理的逻辑。

import tensorflow as tf
import numpy as np

def load_model():
    model = tf.keras.models.load_model('saved_model/my_model')
    return model

def predict(model, image):
    img_array = np.expand_dims(image, axis=0)
    predictions = model.predict(img_array)
    score = tf.nn.softmax(predictions[0])
    class_id = np.argmax(score)
    return class_id

app.py：使用 Flask 构建一个简单的 API 服务，接收图片进行预测。

from flask import Flask, request, jsonify
import numpy as np
import tensorflow as tf
from model import load_model, predict
from PIL import Image
import io

app = Flask(__name__)
model = load_model()

@app.route('/predict', methods=['POST'])
def predict_api():
    if 'file' not in request.files:
        return jsonify({'error': 'No file part'}), 400

    file = request.files['file']
    if file.filename == '':
        return jsonify({'error': 'No selected file'}), 400

    try:
        img = Image.open(io.BytesIO(file.read())).convert('L').resize((28, 28)) # Convert to grayscale and resize
        img_array = np.array(img) / 255.0
        result = predict(model, img_array)
        return jsonify({'prediction': int(result)})
    except Exception as e:
        return jsonify({'error': str(e)}), 500

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000, debug=True)

4.2 创建 Dockerfile

接下来，创建一个优化的 Dockerfile 来容器化这个项目，示例如下：

# 使用 TensorFlow 官方的 Python 3 镜像作为基础镜像, 选择更轻量级的版本
FROM tensorflow/tensorflow:2.6.0-py3

# 设置工作目录
WORKDIR /app

# 复制 requirements.txt
COPY requirements.txt /app/

# 安装依赖, 使用 --no-cache-dir 减小镜像大小
RUN pip install --no-cache-dir -r requirements.txt

# 复制项目文件到容器中
COPY . /app

# 暴露 API 服务的端口
EXPOSE 5000

# 运行训练脚本并保存模型
RUN python main.py

# 启动 API 服务
CMD ["python", "app.py"]

Dockerfile 优化说明：

基础镜像选择: 使用 tensorflow/tensorflow:2.6.0-py3 比 tensorflow/tensorflow:2.6.0 更轻量级。如果需要 GPU 支持，可以选择 tensorflow/tensorflow:2.6.0-gpu-py3。
.dockerignore: 可以在项目根目录下创建一个 .dockerignore 文件，排除不必要的文件或目录被复制到镜像中，例如：

.git
__pycache__
saved_model

多阶段构建 (可选)：如果你的项目需要编译或其他构建步骤，可以使用多阶段构建来减小最终镜像大小。例如，先在一个包含完整构建工具链的镜像中构建应用，然后将构建产物复制到一个更轻量级的运行时镜像中。

4.3 构建并运行 Docker 容器

构建镜像:

docker build -t my-ai-tensorflow .

启动容器并运行 API 服务:

docker run -it -p 5000:5000 my-ai-tensorflow

-p 5000:5000 将容器的 5000 端口映射到主机的 5000 端口，这样你就可以通过 http://localhost:5000 访问 API 服务了。

4.4 测试 API 服务

在这里插入图片描述

你可以使用 curl 或 Postman 等工具来测试 API 服务。例如，使用 curl 发送一个 POST 请求：

curl -X POST -F "file=@<your_image.png>" http://localhost:5000/predict

将 <your_image.png> 替换为你本地的一张 MNIST 手写数字图片。

五、使用 Docker Compose 编排多容器应用 (可选)

如果你的 AI 项目需要多个容器协同工作，例如数据库、Web 服务器、消息队列等，可以使用 Docker Compose 来简化多容器应用的部署和管理。

创建一个 docker-compose.yml 文件，例如：

version: '3.8'
services:
  web:
    build: .
    ports:
      - "5000:5000"
    depends_on:
      - db
  db:
    image: postgres:13-alpine
    environment:
      - POSTGRES_PASSWORD=example

这个示例定义了两个服务：web 和 db。web 服务使用当前目录的 Dockerfile 构建镜像，并将容器的 5000 端口映射到主机的 5000 端口。db 服务使用 PostgreSQL 数据库镜像。

使用 docker-compose up 命令启动所有服务：

docker-compose up -d

-d 表示后台运行。

六、Docker 安全性最佳实践 (简要)

使用非 root 用户: 默认情况下，容器内的进程以 root 用户身份运行。为了提高安全性，可以在 Dockerfile 中创建一个非 root 用户，并使用 USER 指令切换到该用户。
限制容器资源: 使用 Docker 的资源限制功能（例如 --memory、--cpus）来限制容器可以使用的资源，防止容器耗尽主机资源。
定期更新镜像: 及时更新基础镜像和应用程序依赖，修复已知的安全漏洞。
最小化镜像: 只安装必要的软件包，避免安装不必要的组件，减小攻击面。
使用安全扫描工具: 使用 Clair、Anchore 等工具扫描镜像中的安全漏洞。

七、总结

在本文中，我们介绍了如何使用 Docker 容器化 AI 项目。通过 Docker，我们能够将 AI 项目的环境和依赖打包成一个容器，从而简化了项目的部署和管理。Docker 不仅提升了开发者的效率，还确保了项目在不同环境中的一致性。

最佳实践：

保持镜像简洁：在 Dockerfile 中，尽量选择合适的基础镜像，避免冗余的安装和配置。
多阶段构建：对于需要构建和编译的项目，可以使用 Docker 的多阶段构建来减少最终镜像的体积。
数据持久化：在生产环境中，确保使用 Docker 的数据卷（Volumes）来持久化数据。
优化镜像大小：通过清理不必要的文件，减小镜像的体积，提升部署效率。

附：Docker安装流程图：

在这里插入图片描述

流程图说明:

开始: 安装流程开始。
选择操作系统: 根据你的操作系统选择相应的安装步骤。
Windows:
- 访问 Docker 官网下载 Docker Desktop for Windows。
- 启用 Hyper-V 或 WSL 2?: 选择使用 Hyper-V 或 WSL 2 作为 Docker 的后端。
  - Hyper-V: 启用 Hyper-V。
  - WSL 2 (推荐): 启用 WSL 2 (性能更好)。
- 双击安装文件并按照向导安装。
- 启动 Docker Desktop。
- 验证安装: docker --version。
macOS:
- 访问 Docker 官网下载 Docker Desktop for macOS。
- 双击 .dmg 文件并将 Docker 拖入应用程序文件夹。
- 启动 Docker。
- 验证安装: docker --version。
Linux:
- 选择 Linux 发行版: 选择你使用的 Linux 发行版 (Ubuntu 或 CentOS)。
- Ubuntu:
  - sudo apt-get update
  - sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
  - curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
  - sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
  - sudo apt-get update
  - sudo apt-get install docker-ce
  - 验证安装: docker --version。
- CentOS:
  - sudo yum install -y yum-utils
  - sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
  - sudo yum install docker-ce
  - sudo systemctl start docker
  - sudo systemctl enable docker (设置开机自启)
  - 验证安装: docker --version。
安装完成。

关键步骤说明：

WSL 2 和 Hyper-V (D, E, W) 使用不同的填充色，表示这是 Windows 安装中两个重要的选项，WSL 2 通常是更好的选择。
Ubuntu 和 CentOS 安装步骤 分别使用蓝色和橙色填充，方便区分不同发行版的安装命令。

这个流程图清晰地展示了在不同操作系统上安装 Docker 的步骤，希望对你有所帮助!

附：AI 项目容器化流程图：

以下是一个更详细的、包含模型训练、API 服务构建以及 Docker Compose 编排的 AI 项目容器化流程图：
在这里插入图片描述

流程图说明：

开始: 项目开始。
准备 AI 项目代码: 准备好包含模型训练、推理和 API 服务 (例如 Flask 或 FastAPI) 的代码。
创建 requirements.txt: 列出项目所有 Python 依赖。
项目是否需要多容器?: 判断项目是否需要使用 Docker Compose。
- 是: 创建 docker-compose.yml 文件，定义各个服务及其依赖关系。
- 否: 继续创建 Dockerfile。
创建 Dockerfile: 编写 Dockerfile 文件。
选择基础镜像 FROM: 根据项目需求选择合适的基础镜像，例如 tensorflow/tensorflow:2.6.0-py3。
设置工作目录 WORKDIR /app: 设置容器内的工作目录。
复制项目文件 COPY . /app: 将项目代码复制到容器中。
安装依赖 RUN pip install -r requirements.txt: 安装 requirements.txt 中列出的依赖。
项目是否包含训练步骤?:
- 是: RUN python main.py 执行训练脚本并保存模型 (例如到 /app/saved_model 目录)。
- 否: 跳过训练步骤。
暴露端口 EXPOSE 5000: 如果有 API 服务，暴露相应的端口。
设置启动命令 CMD [“python”, “app.py”]: 设置容器启动时执行的命令，例如启动 API 服务。
构建 Docker 镜像 docker build -t my-ai-project .: 构建 Docker 镜像。
是否使用 Docker Compose?:
- 是: 使用 docker-compose up -d 命令启动所有服务。
- 否: 使用 docker run -it -p 5000:5000 my-ai-project 命令运行容器，-p 参数进行端口映射。
访问 API 服务例如: http://localhost:5000: 通过映射的端口访问 API 服务。
测试 API 服务: 使用 curl 或 Postman 等工具测试 API。
部署到生产环境: 将构建好的镜像部署到生产环境 (例如 Kubernetes 集群)。
结束: 项目部署完成。