本文将介绍如何部署Flask应用。
部署Flask应用,主要是要运用多线程与多进程,提高接口的并发能力。我们以下面的Python代码(server.py)为例进行演示:
# -*- coding: utf-8 -*-
import time
import datetime
from flask import Flask, jsonify
app = Flask(__name__)
@app.route('/')
def hello_world():
time.sleep(15)
return 'Hello World!'
@app.route('/index')
def beijing():
return 'Shanghai'
@app.route('/tell_time')
def tell_time():
start_time_desc = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
time.sleep(5)
end_time_desc = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
return jsonify({"start_time_desc": start_time_desc, "end_time_desc": end_time_desc})
@app.route('/tell_time/<int:_id>', methods=['GET'])
def hello_index(_id):
start_time_desc = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
time.sleep(5)
end_time_desc = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
return jsonify({"id": _id, "start_time_desc": start_time_desc, "end_time_desc": end_time_desc})
if __name__ == '__main__':
app.run(host="0.0.0.0", port=5000, threaded=False)
在上述程序中,一共有四个API接口,描述如下:
- 接口1:/, 功能为睡眠15s,然后输出Hello World!
- 接口2:/index,功能为输出Shanghai
- 接口3:/tell_time,功能为睡眠5s,输出开始、结束时间字典
- 接口4:/tell_time/<int: _id>,以后缀_id区分url,功能同上一个接口。
如果我们使用python3 server.py
,那么该应用部署场景为单线程,即接口之间存在阻塞,也就是说,当我们访问一个耗时的接口的同时,再调用其它接口会被阻塞住,影响这些接口的正常调用。在这个例子中,当我们访问接口1的同时访问接口2,会存在阻塞,如下图:
接下来,我们将介绍三种Flask的部署方式,避免上述的接口阻塞问题,提高接口的并发能力。
本文使用的Flask版本为2.3.2。
设置多线程或多进程
在Flask的应用运行时,app.run()
中可以接受两个参数,分别是threaded和processes,用于开启线程支持和进程支持。
- threaded : 多线程支持,默认为True,即开启多线程;
- processes:进程数量,默认为1.
在Flask版本2.3.2中,threaded默认值为True,但在较早的版本中默认值为False。
我们在app.run()
中将threaded=True或者不写,则该应用采用多线程部署,代码调整如下:
app.run(host="0.0.0.0", port=5000, threaded=True)
此时,当我们访问接口1的同时访问接口2,不会存在阻塞,如下图:
注意,这里千万不要用浏览器来做实验,两次请求都是相同的url,浏览器可能会进行优化导致两次请求使用相同的socket连接。
我们以接口3为例,在Chrome浏览器中同时访问http://127.0.0.1:5000/tell_time,结果如下:
但当我们换成接口4时,接口就不存在阻塞了,如下图:
使用gevent模块
gevent
是一种协程的Python网络库,基于greenlet封装了libevent事件循环的高层同步API。它让我们在不改变编程习惯的同时,用同步的方式写异步I/O的代码。使用gevent编程性能确实要比用传统的线程高。后续我们有机会再单独介绍gevent模块。
在Flask的部署场景中,在引入gevent 前,可以在程序最开始执行的位置引入猴子补丁gevent.monkey,这能修改 python默认的 IO 行为,让标准库变成协作式的 API。示例代码如下:
from gevent import pywsgi
from gevent import monkey
monkey.patch_all() # 打上猴子补丁
from flask import flask
...
if __name__ == '__main__':
app.debug = True
server = pywsgi.WSGIServer(('127.0.0.1', 5000), app)
server.serve_forever()
使用gunicorn模块
Gunicorn
是一个Python的 WSGI HTTP 服务器。它所在的位置通常是在反向代理(如 Nginx)或者负载均衡(如 AWS ELB)和一个 web 应用(比如 Django或者Flask)之间。它是一个移植自Ruby的Unicorn项目的pre-fork worker模型,既支持eventlet也支持greenlet。
通常,我们在使用gunicorn模块部署Flask应用时,会结合配置文件一起使用,比如下面的gunicorn配置文件(gunicorn_config.py):
# -*- coding: utf-8 -*-
# gunicorn + gevent 的配置文件
import multiprocessing
timeout = 600
debug = False
# 预加载资源
preload_app = True
# 绑定 ip + 端口
bind = "0.0.0.0:5000"
# 进程数 = cup数量 * 2 + 1
# workers = multiprocessing.cpu_count() * 2 + 1
workers = 2
# 线程数 = cup数量 * 2
# threads = multiprocessing.cpu_count() * 2
threads = 5
# 等待队列最大长度,超过这个长度的链接将被拒绝连接
backlog = 2048
# 工作模式--协程
worker_class = "gevent"
# 最大客户客户端并发数量,对使用线程和协程的worker的工作有影响
# 服务器配置设置的值 1200:中小型项目 上万并发: 中大型
# 服务器硬件:宽带+数据库+内存
# 服务器的架构:集群 主从
worker_connections = 1200
# 进程名称
proc_name = 'gunicorn.pid'
# 进程pid记录文件
pidfile = 'app_run.log'
# 日志等级
loglevel = 'debug'
# 日志文件名
logfile = 'debug.log'
# 访问记录
accesslog = 'access.log'
# 访问记录格式
access_log_format = '%(h)s %(t)s %(U)s %(q)s'
部署的命令为:gunicorn -c gunicorn_config.py server:app
。该部署方式采用了多线程+多进程的方式,同时配置可调节,适用于高并发的场景。
压力测试
我们对接口/tell_time的两种部署方式:采用多线程部署(方式一)和采用gunicorn部署(方式三)进行压力测试,使用工具为jmeter。
在jmeter中,我们设置1秒钟发送5000个用户请求/tell_time接口,轮次为1,如下图:
使用第一种部署方式(在app.run()
中设置threaded为True),测试结果如下:
使用第三种部署方式(使用gunicorn,CPU核数为4,设置workers=9, threads=8),测试结果如下:
可以看到,HTTP请求的成功数量是第三种部署方式较多,吞吐量也较多,由此可见,第三种部署方式的高并发性能优于第一种部署方式。
总结
本文主要介绍了三种常见的高并发部署Flask应用的方式,希望读者能在实际工作中多多实践,提升工作技能~