目录
一.引言
二.服务构建
1.主函数 upload_gif
2.文件接收
3.专属目录
4.图像修复
5.gif2mp4
6.mp42gif
7.图像返回
三.服务测试
1.服务启动
2.服务调用
四.总结
一.引言
前面我们介绍了如何使用 Real-ESRGAN 进行图像增强并在原始格式 jpeg、jpg、mp4 的基础上增加了 gif 图像的处理:
◆ 图像修复: Python - Real-ESRGAN 提升图像、视频清晰度
◆ 动图修复: Python - Real-ESRGAN 提高 gif 图像质量
为了方便随时随地上传图片即可修图,我们将上面的内容结合,通过 Flask 框架搭建图像修复服务。
二.服务构建
1.主函数 upload_gif
from flask import Flask, request, send_file, abort
from moviepy.editor import VideoFileClip
import os
import subprocess
import shutil
from enhance_frame import enhance
app = Flask(__name__)
output="./server/"
@app.route('/upload-gif', methods=['POST'])
def upload_gif():
if 'gif' not in request.files:
return abort(400, 'No gif file part in the request')
file = request.files['gif']
# 确保文件名安全
if file.filename == '':
return abort(400, 'No selected file')
if file and file.filename.lower().endswith('.gif'):
# 1.创建专属文件夹
gif_name = file.filename.split(".")[0]
cur_dir = os.path.join(output, gif_name)
# 临时测试
#shutil.rmtree(cur_dir)
if not os.path.isdir(cur_dir):
print(f"文件夹 {cur_dir} 不存在,创建中 ...")
os.makedirs(cur_dir)
# 2.图像转存至本地并切换为 mp4 格式
input_path = os.path.join(cur_dir, file.filename)
print(f"原始图像保存路径 {input_path}")
file.save(input_path)
mp4_path, w, h = gif2mp4(input_path, gif_name, cur_dir)
print(f"GIF 转 MP4 路径 {mp4_path}")
# 3.对图像进行增强行理
enhance(mp4_path, cur_dir)
enhance_output = os.path.join(cur_dir, gif_name + "_trans_out.mp4")
# 4.转换为 gif 并返回
final_output = os.path.join(cur_dir, gif_name + "_out.gif")
mp42gif(enhance_output, final_output, w, h)
else:
print(f"文件夹 {cur_dir} 存在 ...")
final_output = 'uploaded.gif'
return send_file(final_output, mimetype='image/gif')
return abort(400, 'The uploaded file is not a GIF')
主函数为 Post 形式,其通过 request.files 接收传入的 gif 图像并对图像进行修复,返回修复后的 gif 图像。下面分步骤对修复过程中的代码进行讲解。
2.文件接收
if 'gif' not in request.files:
return abort(400, 'No gif file part in the request')
file = request.files['gif']
# 确保文件名安全
if file.filename == '':
return abort(400, 'No selected file')
首先检查 gif 是否在传入的图像中,随后通过 .files['gif'] 获取传入的 gif 图像,最后检查文件名为空的异常情况。这里只做了简单的异常判断,大家可以根据自己场景进行扩充。
3.专属目录
if file and file.filename.lower().endswith('.gif'):
# 1.创建专属文件夹
gif_name = file.filename.split(".")[0]
cur_dir = os.path.join(output, gif_name)
# 临时测试
#shutil.rmtree(cur_dir)
if not os.path.isdir(cur_dir):
print(f"文件夹 {cur_dir} 不存在,创建中 ...")
os.makedirs(cur_dir)
这里通过 file.filename 获取对应 gif 图的名称,并在输出文件中创建该 gif 图的专属文件夹,一方面是可以记录 Post 请求传来的图像以及修复后的状态,另一方面相当于做了一个本地 Cache,如果相同名称的 gif 图像再次 Post 传过来,可以直接在文件夹中找到缓存的返回。
4.图像修复
# 2.图像转存至本地并切换为 mp4 格式
input_path = os.path.join(cur_dir, file.filename)
print(f"原始图像保存路径 {input_path}")
file.save(input_path)
mp4_path, w, h = gif2mp4(input_path, gif_name, cur_dir)
print(f"GIF 转 MP4 路径 {mp4_path}")
# 3.对图像进行增强行理
enhance(mp4_path, cur_dir)
enhance_output = os.path.join(cur_dir, gif_name + "_trans_out.mp4")
# 4.转换为 gif 并返回
final_output = os.path.join(cur_dir, gif_name + "_out.gif")
mp42gif(enhance_output, final_output, w, h)
由于原始的 Real-ESRGAN 源码对视频只支持了 flv 和 mp4,因此对于要修复的 gif 我们需要:
◆ gif2mp4
先将其逐帧转换为 mp4 ,这一步由 gif2mp4 函数负责;
◆ enhance
转换为 mp4 后由 enhance 函数进行修复,这里 enhance 函数对应源码中的 inference_realesrgan_video.py ,enhance 函数对应源码中的 main() 函数,只需要修改名称即可;
◆ mp42gif
修复后再将 mp4 转换为 gif,这一步由 mp42gif 负责。
Tips:
如果觉得上述过程比较繁琐,可以直接通过 ffmpeg 在源码中实现对 gif 图像进行转换。
5.gif2mp4
def gif2mp4(file_path, filename, out):
# 加载GIF文件
clip = VideoFileClip(file_path)
# 输出地址
output = os.path.join(out, filename + "_trans.mp4")
# 将GIF文件写到MP4文件
clip.write_videofile(output, fps=clip.fps, codec="libx264", bitrate='8000k')
# 关闭
clip.close()
return output, clip.w, clip.h
通过 moviepy 的 VideoFileClip 函数读取 mp4,随后通过 write_videofile 将 mp4 写出,这里 bitrate 可以控制输出 mp4 的码率,数值越高可以在一定程度提高输出视频的质量。同时为了保证输出的 gif 图像与原始 gif 图像的长宽保持一致,这里我们还返回了 clip.w 和 clip.h。
6.mp42gif
def mp42gif(file_path, out, w, h):
# 加载GIF文件
clip = VideoFileClip(file_path)
# 目标大小
resized_clip = clip.resize(width=w).resize(height=h)
# 导出GIF
resized_clip.write_gif(out, fps=15) # fps参数可以减少帧数,来进一步降低文件大小
# 释放资源
clip.close()
还是通过 moviepy 进行 mp4 到 gif 的转换,使用 resize 保证输出的 gif 与原始 gif 尺寸相同,由于增强的缘故,新生成的 gif 会比之前的老图大 5-10 倍,如果有缩减的需要,可以减少 FPS 或者使用 reduction_factor 按百分比减少分辨率。
7.图像返回
else:
print(f"文件夹 {cur_dir} 存在 ...")
final_output = 'uploaded.gif'
return send_file(final_output, mimetype='image/gif')
return abort(400, 'The uploaded file is not a GIF')
else 逻辑其实是该 gif 存在缓存文件夹,直接在文件夹找增强过的图像直接返回就可以了,这里省略了 Cache 的逻辑,有需要的同学也可以自己添加。最后就是通过 send_file 将 final_output 文件写出,作为 Post 的结果回传。
三.服务测试
1.服务启动
if __name__ == '__main__':
# 这将允许你在你的开发机上本地运行它
ip = "10.196.1.666"
app.run(host=ip, port=5000, debug=True)
运行主函数后提示下述信息即代表 Http 服务启动,Running on http: 后面就是对应的 URL。如果显示异常可以尝试切换 port 重新启动:
2.服务调用
在本地执行下述命令:
#!/bin/bash
# gif 路径
gif_path="gif=@/Users/xxx/Desktop/892f4f60de074a7b9c682f744a5cf6f8.gif"
# post 调用 URL
url="http://10.192.1.666:5000/upload-gif"
# 输出地址
out="response.gif"
curl -X POST $url -F $gif_path --output $out
◆ 服务端日志
服务端日志会把 Flask 程序里相关的 print 都打印出来,最后 inference 是视频修复的 tqdm 进度条,这里 nb_frames: 12 代表当前 gif 转换的 mp4 共包含 12 帧,程序在单线程的情况下需要逐帧转换,有需要的同学也可以使用多线程实现,分 Frame 处理,最后使用 ffmpeg 进行合并。
◆ 本地日志
本地日志会记录调用的时间以及相关接收数据等信息。
◆ gif 修复前
◆ gif 修复后
四.总结
本文使用 Flask 搭建了轻量级的图像修复服务,可以优化的点还有很多,大家可以多多交流讨论。