基于Flask的模型部署

一、背景

Flask：一个使用Python编写的轻量级Web应用程序框架；

首先需要明确模型部署的两种方式：在线和离线；

在线：就是将模型部署到类似于服务器上，调用需要通过网络传输数据，再将结果返回；

离线：就是将模型直接部署在终端设备上，不需要联网，数据传输上比较快；

二、Flask简单部署分类模型

通过一个实际的分类案例，来说明整个实现的流程；

首先Flask分为服务端和设备端，服务端就是接受数据并处理，应用端只负责发送数据和展示结果；

实现步骤：

------服务端-------

1、初始化Flask app

可以理解为初始化一个服务器对象；

app = flask.Flask(__name__)

2、加载模型

def load_model():
    global model
    model = resnet50(pretrained=True)	# 这里模型可以替换成自己的模型
    model.eval()
    if use_gpu:
        model.cuda()

这里是所有模型通用的，如果是一些模型需要将模型结构的代码和模型文件都准备好；

3、数据预处理

推理部分的数据处理应该与模型训练前的处理保持一致，否则可能导致结果出现较大偏差；

def prepare_image(image, target_size):
    if image.mode != 'RGB':
    image = image.convert("RGB")	# 转换图像为RGB类型
	
	# 缩放图像
    image = T.Resize(target_size)(image)
    image = T.ToTensor()(image)

    # 归一化
    image = T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])(image)

    # 这里表示可以配置多个图像作为一个batch
    image = image[None]
    if use_gpu:
        image = image.cuda()	# 使用GPU
    return Variable(image, volatile=True) 	#不需要求导

上述的数据处理是最基本并且简单的数据处理，在很多任务中的数据预处理会复杂很多；

4、开启服务

# 注意这里的predict可以自行修改，但需要和后面的端口后缀保持一致
@app.route("/predict", methods=["POST"])	# 这里是python的装饰器
def predict():
    # 初始化一个返回列表，并且用一个变量表示是否调用成功
    data = {"success": False}

    # 确保传入数据为图像，并且将图像数据经过数据处理
    if flask.request.method == 'POST':
        if flask.request.files.get("image"):	# 这里用于判断接受的对象
            # 读取图像数据
            image = flask.request.files["image"].read()	# 读取实际路径
            image = Image.open(io.BytesIO(image)) #二进制数据

            # 数据预处理
            image = prepare_image(image, target_size=(224, 224))

            # 得到模型输出的结果，取出前K个结果
            preds = F.softmax(model(image), dim=1)
            results = torch.topk(preds.cpu().data, k=3, dim=1)
            results = (results[0].cpu().numpy(), results[1].cpu().numpy())
		   
		   # 结果保存到要传回的列表中
            data['predictions'] = list()

            # 根据标签值找到对应对象的实际类别
            for prob, label in zip(results[0][0], results[1][0]):
                label_name = idx2label[label]
                r = {"label": label_name, "probability": float(prob)}
                data['predictions'].append(r)

            # 设置返回列表调用成功
            data["success"] = True

    # 将数据转为json并返回
    return flask.jsonify(data)

这里是服务的具体执行程序，也就是接收数据和处理数据，并将结果返回；

这里可以做UI的可视化界面，本次只是演示效果就不进行设计；

执行该程序后，出现一个访问地址和端口号，如下图所示：

在这里插入图片描述

这里是部署到本地的服务器上，在实际工程中，一般是部署到一台公共服务器上，将服务开放为接口供但部分应用使用；

------应用端-------

1、初始化服务接口

PyTorch_REST_API_URL = 'http://127.0.0.1:5000/predict'

2、请求服务并展示结果

def predict_result(image_path):
    # 读取图像数据，保存到数组中
    image = open(image_path, 'rb').read()
    payload = {'image': image}

    # 请求服务
    r = requests.post(PyTorch_REST_API_URL, files=payload).json()

    # 确保服务返回成功
    if r['success']:
        # 遍历结果，并打印出来
        for (i, result) in enumerate(r['predictions']):
            print('{}. {}: {:.4f}'.format(i + 1, result['label'],
                                          result['probability']))
    # 如果服务请求失败，返回失败
    else:
        print('Request failed')