深度学习图像风格迁移 计算机竞赛

news2024/11/17 14:51:11

文章目录

  • 0 前言
  • 1 VGG网络
  • 2 风格迁移
  • 3 内容损失
  • 4 风格损失
  • 5 主代码实现
  • 6 迁移模型实现
  • 7 效果展示
  • 8 最后

0 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 深度学习图像风格迁移 - opencv python

该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数：3分
  • 工作量：3分
  • 创新点：4分

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

图片风格迁移指的是将一个图片的风格转换到另一个图片中，如图所示：

在这里插入图片描述
原图片经过一系列的特征变换，具有了新的纹理特征，这就叫做风格迁移。

1 VGG网络

在实现风格迁移之前，需要先简单了解一下VGG网络（由于VGG网络不断使用卷积提取特征的网络结构和准确的图像识别效率，在这里我们使用VGG网络来进行图像的风格迁移）。

在这里插入图片描述
如上图所示，从A-
E的每一列都表示了VGG网络的结构原理，其分别为：VGG-11，VGG-13，VGG-16，VGG-19，如下图，一副图片经过VGG-19网络结构可以最后得到一个分类结构。

在这里插入图片描述

2 风格迁移

对一副图像进行风格迁移，需要清楚的有两点。

  • 生成的图像需要具有原图片的内容特征
  • 生成的图像需要具有风格图片的纹理特征

根据这两点，可以确定，要想实现风格迁移，需要有两个loss值：
一个是生成图片的内容特征与原图的内容特征的loss，另一个是生成图片的纹理特征与风格图片的纹理特征的loss。

而对一张图片进行不同的特征（内容特征和纹理特征）提取，只需要使用不同的卷积结构进行训练即可以得到。这时我们需要用到两个神经网络。

再回到VGG网络上，VGG网络不断使用卷积层来提取特征，利用特征将物品进行分类，所以该网络中提取内容和纹理特征的参数都可以进行迁移使用。故需要将生成的图片经过VGG网络的特征提取，再分别针对内容和纹理进行特征的loss计算。

在这里插入图片描述
如图，假设初始化图像x（Input image）是一张随机图片，我们经过fw（image Transform Net）网络进行生成，生成图片y。
此时y需要和风格图片ys进行特征的计算得到一个loss_style，与内容图片yc进行特征的计算得到一个loss_content，假设loss=loss_style+loss_content，便可以对fw的网络参数进行训练。

现在就可以看网上很常见的一张图片了：

在这里插入图片描述
相较于我画的第一张图，这即对VGG内的loss求值过程进行了细化。

细化的结果可以分为两个方面：

  • （1）内容损失
  • （2）风格损失

3 内容损失

由于上图中使用的模型是VGG-16，那么即相当于在VGG-16的relu3-3处，对两张图片求得的特征进行计算求损失，计算的函数如下：

在这里插入图片描述

简言之，假设yc求得的特征矩阵是φ(y)，生成图片求得的特征矩阵为φ(y^)，且c=φ.channel，w=φ.weight，h=φ.height，则有：

在这里插入图片描述

代码实现：

​

def content_loss(content_img, rand_img):
    content_layers = [('relu3_3', 1.0)]
    content_loss = 0.0
    # 逐个取出衡量内容损失的vgg层名称及对应权重
    for layer_name, weight in content_layers:

        # 计算特征矩阵
        p = get_vgg(content_img, layer_name)
        x = get_vgg(rand_img, layer_name)
        # 长x宽xchannel
        M = p.shape[1] * p.shape[2] * p.shape[3]

        # 根据公式计算损失，并进行累加
        content_loss += (1.0 / M) * tf.reduce_sum(tf.pow(p - x, 2)) * weight

    # 将损失对层数取平均
    content_loss /= len(content_layers)
    return content_loss

4 风格损失

风格损失由多个特征一同计算，首先需要计算Gram Matrix

在这里插入图片描述
Gram Matrix实际上可看做是feature之间的偏心协方差矩阵（即没有减去均值的协方差矩阵），在feature
map中，每一个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字就代表一个特征的强度，而Gram计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消彼长的等等，同时，Gram的对角线元素，还体现了每个特征在图像中出现的量，因此，Gram有助于把握整个图像的大体风格。有了表示风格的Gram
Matrix，要度量两个图像风格的差异，只需比较他们Gram Matrix的差异即可。 故在计算损失的时候函数如下：

在这里插入图片描述
在实际使用时，该loss的层级一般选择由低到高的多个层，比如VGG16中的第2、4、7、10个卷积层，然后将每一层的style loss相加。

在这里插入图片描述
第三个部分不是必须的，被称为Total Variation
Loss。实际上是一个平滑项（一个正则化项），目的是使生成的图像在局部上尽可能平滑，而它的定义和马尔科夫随机场（MRF）中使用的平滑项非常相似。
其中yn+1是yn的相邻像素。

代码实现以上函数：

​

# 求gamm矩阵
def gram(x, size, deep):
    x = tf.reshape(x, (size, deep))
    g = tf.matmul(tf.transpose(x), x)
    return g

def style_loss(style_img, rand_img):
    style_layers = [('relu1_2', 0.25), ('relu2_2', 0.25), ('relu3_3', 0.25), ('reluv4_3', 0.25)]
    style_loss = 0.0
    # 逐个取出衡量风格损失的vgg层名称及对应权重
    for layer_name, weight in style_layers:

        # 计算特征矩阵
        a = get_vgg(style_img, layer_name)
        x = get_vgg(rand_img, layer_name)

        # 长x宽
        M = a.shape[1] * a.shape[2]
        N = a.shape[3]

        # 计算gram矩阵
        A = gram(a, M, N)
        G = gram(x, M, N)

        # 根据公式计算损失，并进行累加
        style_loss += (1.0 / (4 * M * M * N * N)) * tf.reduce_sum(tf.pow(G - A, 2)) * weight
    # 将损失对层数取平均
    style_loss /= len(style_layers)
    return style_loss

5 主代码实现

代码实现主要分为4步：

  • 1、随机生成图片

  • 2、读取内容和风格图片

  • 3、计算总的loss

  • 4、训练修改生成图片的参数，使得loss最小

      * def main():
        # 生成图片
        rand_img = tf.Variable(random_img(WIGHT, HEIGHT), dtype=tf.float32）
        with tf.Session() as sess:

            content_img = cv2.imread('content.jpg')
            style_img = cv2.imread('style.jpg')
        
            # 计算loss值
            cost = ALPHA * content_loss(content_img, rand_img) + BETA * style_loss(style_img, rand_img)
            optimizer = tf.train.AdamOptimizer(LEARNING_RATE).minimize(cost)
        
            sess.run(tf.global_variables_initializer())
            
            for step in range(TRAIN_STEPS):
                # 训练
                sess.run([optimizer,  rand_img])
        
                if step % 50 == 0:
                    img = sess.run(rand_img)
                    img = np.clip(img, 0, 255).astype(np.uint8)
                    name = OUTPUT_IMAGE + "//" + str(step) + ".jpg"
                    cv2.imwrite(name, img)

    6 迁移模型实现

由于在进行loss值求解时，需要在多个网络层求得特征值，并根据特征值进行带权求和，所以需要根据已有的VGG网络，取其参数，重新建立VGG网络。
注意：在这里使用到的是VGG-19网络：

在重建的之前，首先应该下载Google已经训练好的VGG-19网络，以便提取出已经训练好的参数，在重建的VGG-19网络中重新利用。

在这里插入图片描述
下载得到.mat文件以后，便可以进行网络重建了。已知VGG-19网络的网络结构如上述图1中的E网络，则可以根据E网络的结构对网络重建，VGG-19网络：

在这里插入图片描述
进行重建即根据VGG-19模型的结构重新创建一个结构相同的神经网络，提取出已经训练好的参数作为新的网络的参数，设置为不可改变的常量即可。

​

def vgg19():
    layers=(
        'conv1_1','relu1_1','conv1_2','relu1_2','pool1',
        'conv2_1','relu2_1','conv2_2','relu2_2','pool2',
        'conv3_1','relu3_1','conv3_2','relu3_2','conv3_3','relu3_3','conv3_4','relu3_4','pool3',
        'conv4_1','relu4_1','conv4_2','relu4_2','conv4_3','relu4_3','conv4_4','relu4_4','pool4',
        'conv5_1','relu5_1','conv5_2','relu5_2','conv5_3','relu5_3','conv5_4','relu5_4','pool5'
    )
    vgg = scipy.io.loadmat('D://python//imagenet-vgg-verydeep-19.mat')
    weights = vgg['layers'][0]

    network={}
    net = tf.Variable(np.zeros([1, 300, 450, 3]), dtype=tf.float32)
    network['input'] = net
    for i,name in enumerate(layers):
        layer_type=name[:4]
        if layer_type=='conv':
            kernels = weights[i][0][0][0][0][0]
            bias = weights[i][0][0][0][0][1]
            conv=tf.nn.conv2d(net,tf.constant(kernels),strides=(1,1,1,1),padding='SAME',name=name)
            net=tf.nn.relu(conv + bias)
        elif layer_type=='pool':
            net=tf.nn.max_pool(net,ksize=(1,2,2,1),strides=(1,2,2,1),padding='SAME')
        network[name]=net
    return network

由于计算风格特征和内容特征时数据都不会改变，所以为了节省训练时间，在训练之前先计算出特征结果(该函数封装在以下代码get_neck()函数中)。

总的代码如下：

​



    import tensorflow as tf
    import numpy as np
    import scipy.io
    import cv2
    import scipy.misc
    
    HEIGHT = 300
    WIGHT = 450
    LEARNING_RATE = 1.0
    NOISE = 0.5
    ALPHA = 1
    BETA = 500
    
    TRAIN_STEPS = 200
    
    OUTPUT_IMAGE = "D://python//img"
    STYLE_LAUERS = [('conv1_1', 0.2), ('conv2_1', 0.2), ('conv3_1', 0.2), ('conv4_1', 0.2), ('conv5_1', 0.2)]
    CONTENT_LAYERS = [('conv4_2', 0.5), ('conv5_2',0.5)]


    def vgg19():
        layers=(
            'conv1_1','relu1_1','conv1_2','relu1_2','pool1',
            'conv2_1','relu2_1','conv2_2','relu2_2','pool2',
            'conv3_1','relu3_1','conv3_2','relu3_2','conv3_3','relu3_3','conv3_4','relu3_4','pool3',
            'conv4_1','relu4_1','conv4_2','relu4_2','conv4_3','relu4_3','conv4_4','relu4_4','pool4',
            'conv5_1','relu5_1','conv5_2','relu5_2','conv5_3','relu5_3','conv5_4','relu5_4','pool5'
        )
        vgg = scipy.io.loadmat('D://python//imagenet-vgg-verydeep-19.mat')
        weights = vgg['layers'][0]
    
        network={}
        net = tf.Variable(np.zeros([1, 300, 450, 3]), dtype=tf.float32)
        network['input'] = net
        for i,name in enumerate(layers):
            layer_type=name[:4]
            if layer_type=='conv':
                kernels = weights[i][0][0][0][0][0]
                bias = weights[i][0][0][0][0][1]
                conv=tf.nn.conv2d(net,tf.constant(kernels),strides=(1,1,1,1),padding='SAME',name=name)
                net=tf.nn.relu(conv + bias)
            elif layer_type=='pool':
                net=tf.nn.max_pool(net,ksize=(1,2,2,1),strides=(1,2,2,1),padding='SAME')
            network[name]=net
        return network


    # 求gamm矩阵
    def gram(x, size, deep):
        x = tf.reshape(x, (size, deep))
        g = tf.matmul(tf.transpose(x), x)
        return g


    def style_loss(sess, style_neck, model):
        style_loss = 0.0
        for layer_name, weight in STYLE_LAUERS:
            # 计算特征矩阵
            a = style_neck[layer_name]
            x = model[layer_name]
            # 长x宽
            M = a.shape[1] * a.shape[2]
            N = a.shape[3]
    
            # 计算gram矩阵
            A = gram(a, M, N)
            G = gram(x, M, N)
    
            # 根据公式计算损失，并进行累加
            style_loss += (1.0 / (4 * M * M * N * N)) * tf.reduce_sum(tf.pow(G - A, 2)) * weight
            # 将损失对层数取平均
        style_loss /= len(STYLE_LAUERS)
        return style_loss


    def content_loss(sess, content_neck, model):
        content_loss = 0.0
        # 逐个取出衡量内容损失的vgg层名称及对应权重
    
        for layer_name, weight in CONTENT_LAYERS:
            # 计算特征矩阵
            p = content_neck[layer_name]
            x = model[layer_name]
            # 长x宽xchannel
    
            M = p.shape[1] * p.shape[2]
            N = p.shape[3]
    
            lss = 1.0 / (M * N)
            content_loss += lss * tf.reduce_sum(tf.pow(p - x, 2)) * weight
            # 根据公式计算损失，并进行累加
    
        # 将损失对层数取平均
        content_loss /= len(CONTENT_LAYERS)
        return content_loss


    def random_img(height, weight, content_img):
        noise_image = np.random.uniform(-20, 20, [1, height, weight, 3])
        random_img = noise_image * NOISE + content_img * (1 - NOISE)
        return random_img

   

    def get_neck(sess, model, content_img, style_img):
        sess.run(tf.assign(model['input'], content_img))
        content_neck = {}
        for layer_name, weight in CONTENT_LAYERS:
            # 计算特征矩阵
            p = sess.run(model[layer_name])
            content_neck[layer_name] = p
        sess.run(tf.assign(model['input'], style_img))
        style_content = {}
        for layer_name, weight in STYLE_LAUERS:
            # 计算特征矩阵
            a = sess.run(model[layer_name])
            style_content[layer_name] = a
        return content_neck, style_content


    def main():
        model = vgg19()
        content_img = cv2.imread('D://a//content1.jpg')
        content_img = cv2.resize(content_img, (450, 300))
        content_img = np.reshape(content_img, (1, 300, 450, 3)) - [128.0, 128.2, 128.0]
        style_img = cv2.imread('D://a//style1.jpg')
        style_img = cv2.resize(style_img, (450, 300))
        style_img = np.reshape(style_img, (1, 300, 450, 3)) - [128.0, 128.2, 128.0]
    
        # 生成图片
        rand_img = random_img(HEIGHT, WIGHT, content_img)
    
        with tf.Session() as sess:
            # 计算loss值
            content_neck, style_neck = get_neck(sess, model, content_img, style_img)
            cost = ALPHA * content_loss(sess, content_neck, model) + BETA * style_loss(sess, style_neck, model)
            optimizer = tf.train.AdamOptimizer(LEARNING_RATE).minimize(cost)
    
            sess.run(tf.global_variables_initializer())
            sess.run(tf.assign(model['input'], rand_img))
            for step in range(TRAIN_STEPS):
                print(step)
                # 训练
                sess.run(optimizer)
    
                if step % 10 == 0:
                    img = sess.run(model['input'])
                    img += [128, 128, 128]
                    img = np.clip(img, 0, 255).astype(np.uint8)
                    name = OUTPUT_IMAGE + "//" + str(step) + ".jpg"
                    img = img[0]
                    cv2.imwrite(name, img)
    
            img = sess.run(model['input'])
            img += [128, 128, 128]
            img = np.clip(img, 0, 255).astype(np.uint8)
            cv2.imwrite("D://end.jpg", img[0])
    
    main()

7 效果展示

在这里插入图片描述

8 最后

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1251465.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

麒麟linux离线安装dotnet core

麒麟linux离线安装dotnet core

1. 下载 dotnet core,以3.1为例 下载地址: 下载 .NET Core 3.1 (Linux、macOS 和 Windows) 查看linux cpu类型,然后根据类型下载 uname -m #结果是: aarch64 2. 放到指定目录,比如:/usr/dotnet 3. 解压dotnet-sdk-3.1.426-linux-arm64.tar.gz cd /usr/dotnet tar –zxvf a…
阅读更多...
软件测试 | MySQL 主键自增详解：实现高效标识与数据管理

软件测试 | MySQL 主键自增详解：实现高效标识与数据管理

📢专注于分享软件测试干货内容，欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！📢交流讨论：欢迎加入我们一起学习！📢资源分享：耗时200小时精选的「软件测试」资…
阅读更多...
【开源项目】C#.NET 扩展库 -- Com.Gitusme.Net.Extensiones.Core

【开源项目】C#.NET 扩展库 -- Com.Gitusme.Net.Extensiones.Core

目录 1、项目介绍 2、集成方式 方法一：项目中通过Nuget包管理器安装导入 方法二：手动从Nuget官网下载，下载地址： 3、代码中导入命名空间 4、版本变更说明 1.0.7 版本 1.0.6 版本 1.0.5 版本 1.0.4 版本 5、演示示例 示…
阅读更多...
数字孪生技术：提升UI交互性与个性化设计

数字孪生技术：提升UI交互性与个性化设计

随着数字化时代的到来，数字孪生技术正在逐渐改变我们的生活和工作方式。数字孪生是一种复制现实世界系统或实体的技术，通过创建数字模型来模拟现实世界中的各种行为和事件。这种技术不仅为人们提供了一个全新的视角来看待和解决问题，同时也为…
阅读更多...
JAVA创建线程方式有几种

JAVA创建线程方式有几种

方式1：继承Thread类 步骤： 创建一个继承于Thread类的子类重写Thread的run()方法创建当前Thread子类的对象通过实例对象调用start()方法，启动线程----》JAVA虚拟机会调用run()方法 实现： public class TestMyThread {public sta…
阅读更多...
【探索Linux】—— 强大的命令行工具 P.16（进程信号 —— 信号产生 | 信号发送 | 核心转储）

【探索Linux】—— 强大的命令行工具 P.16（进程信号 —— 信号产生 | 信号发送 | 核心转储）

阅读导航 引言一、概念（1）基本概念（2）kill -l命令（察看系统定义的信号列表） 二、产生信号（1）通过终端按键产生信号-- 信号产生-- Core Dump（核心转储） &#…
阅读更多...
基于Loki + Promtail + Grafana 搭建 Nginx 日志监控

基于Loki + Promtail + Grafana 搭建 Nginx 日志监控

文章目录 引言第一部分：Loki 简介与安装1.1 Loki 简介1.2 Loki 安装1.2.1 下载 Loki1.2.2 安装 Loki 1.3 启动 Loki 第二部分：Promtail 简介与安装2.1 Promtail 简介2.2 Promtail 安装2.2.1 下载 Promtail2.2.2 安装 Promtail 2.3 启动 Promtail 第三部分…
阅读更多...
图论——二部图及其算法

图论——二部图及其算法

什么是二部图 二部图的判定 例子1 任选一个节点染成红色 红色的邻居染成蓝色 蓝色邻居染成红色 例子2 这个不是二部图 无权二部图的最大匹配
阅读更多...
PS去除图片上的文字。

PS去除图片上的文字。

问题描述：如何使用PS去除图片上的文字。 解决办法： 第一步：使用框选命令选中文字所在区域，如下图所示。 第二步，右键选择填充，选择内容填充即可。 第三步，文字去除效果如下。
阅读更多...
python数学建模之Numpy、Pandas学习与应用介绍

python数学建模之Numpy、Pandas学习与应用介绍

文章目录 Numpy学习1 Numpy 介绍与应用1-1Numpy是什么 2 NumPy Ndarray 对象3 Numpy 数据类型4 Numpy 数组属性 Pandas学习1 pandas新增数据列2 Pandas数据统计函数3 Pandas对缺失值的处理 总结关于Python技术储备一、Python所有方向的学习路线二、Python基础学习视频三、精品P…
阅读更多...
Java核心知识点整理大全14-笔记

Java核心知识点整理大全14-笔记

Java核心知识点整理大全-笔记_希斯奎的博客-CSDN博客 Java核心知识点整理大全2-笔记_希斯奎的博客-CSDN博客 Java核心知识点整理大全3-笔记_希斯奎的博客-CSDN博客 Java核心知识点整理大全4-笔记-CSDN博客 Java核心知识点整理大全5-笔记-CSDN博客 Java核心知识点整理大全6…
阅读更多...
linux系统中select函数的用法实现

linux系统中select函数的用法实现

前言： select机制已经被很多人都讲解过，select使用起来也不是特别难，为什么还要花时间再次讲解select机制？ 在回答这个问题之前，我们先问一下自己，是否有足够的信心保证在使用select编程时不出错&#xf…
阅读更多...
yolov5利用yaml文件生成模型

yolov5利用yaml文件生成模型

一、yolov5的yaml文件构成 yaml文件如下图 不论是backbone还是head，每一行都由一个列表组成，列表里面有四个元素，另外，还有两个参数depth和width。在搭建模型的时候，会利用每一行的信息生成一个模块，并按照…
阅读更多...
Word文档排版常见问题汇总（公式图表乱码、Visio插图空白区域）

Word文档排版常见问题汇总（公式图表乱码、Visio插图空白区域）

Word文档排版常见问题汇总 1. 公式图表乱码2. Visio图插入Word中，图中空白区域大3. visio 画图插入Word 中只显示{代码}，不显示图片4.部分期刊要求 行连续编码（The manuscript text must be line-numbered continuously）5. 要求图…
阅读更多...
cocos浏览器测试正常，但到了抖音、微信小游戏事件无响应、无法操作的bug原因及解决办法

cocos浏览器测试正常，但到了抖音、微信小游戏事件无响应、无法操作的bug原因及解决办法

本篇文章主要讲解：cocos游戏引擎，浏览器测试时弹出框好好的，无任何报错，构建项目到抖音、微信小游戏时无法弹出弹出框，但又无报错的问题原因及解决办法。 日期：2023年11月25日 作者：任聪聪 问题…
阅读更多...
移动家庭云电脑只能24小时不关机

移动家庭云电脑只能24小时不关机

DD转换Linux也不行，北京地区套餐为家庭云电脑畅享版月包，客服回复目前只能设置24小时不关机。 24小时必须关机这是很严重的问题，不能随时保持在线连接，也没有公网IP。
阅读更多...
一篇文章完成Hbase入门

一篇文章完成Hbase入门

文章目录 一、简介1、数据模型结构2、物理存储结构3、数据模型4、基本架构 二、安装1、下载解压安装包2、修改配置文件3、启动服务(单机、集群)4、配置高可用(HA) 三、命令行操作1、建表2、新增/更新数据3、查看表数据4、删除数据5、修改默认保存的数据版本 四、架构1、RegionS…
阅读更多...
吴恩达《机器学习》10-4-10-5:诊断偏差和方差、正则化和偏差/方差

吴恩达《机器学习》10-4-10-5:诊断偏差和方差、正则化和偏差/方差

一、诊断偏差和方差 在机器学习中，诊断偏差和方差是改进模型性能的关键步骤。通过了解这两个概念，能够判断算法的问题究竟是欠拟合还是过拟合，从而有针对性地调整模型。 1. 概念理解 偏差（Bias）： 表示模…
阅读更多...
Springboot3+vue3从0到1开发实战项目（一）

Springboot3+vue3从0到1开发实战项目（一）

一. 可以在本项目里面自由发挥拓展 二. 知识整合项目使用到的技术 后端开发 ： Validation, Mybatis,Redis, Junit,SpringBoot3 ，mysql，Swagger, JDK17 ，JWT，项目部署 前端开发： Vue3，Vite&am…
阅读更多...
RK3568驱动指南｜第七篇-设备树-第70章 参考文档：设备树bindings

RK3568驱动指南｜第七篇-设备树-第70章 参考文档：设备树bindings

瑞芯微RK3568芯片是一款定位中高端的通用型SOC，采用22nm制程工艺，搭载一颗四核Cortex-A55处理器和Mali G52 2EE 图形处理器。RK3568 支持4K 解码和 1080P 编码，支持SATA/PCIE/USB3.0 外围接口。RK3568内置独立NPU，可用于轻量级人工…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023