近期学习论文总结 3(23.06.05-23.06.09)

news2025/2/1 6:47:05

公众号:EDPJ

目录

0. 摘要

1. Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

1.1 主要思想

1.2 AdaIN

1.3 结构以及不同层使用 AdaIN 的效果 

2. Watch your Up-Convolution: CNN Based Generative Deep Neural Networks are Failing to Reproduce Spectral Distributions

2.1 主要思想

2.2 上卷积造成的谱失真

2.3 谱正则化

2.4 其他贡献

3. FD: On understanding the role of deep feature spaces on face generation evaluation

3.1 主要思想

3.2 Fréchet Inception Distance (FID)

3.3 样本生成

3.4 实验

3.5 分析

4. Addressing Discrepancies in Semantic and Visual Alignment in Neural Networks

4.1 主要思想

4.2 语义混合

4.3 方法

5. Addressing Mistake Severity in Neural Networks with Semantic Knowledge

5.1 主要思想

5.2 名词解释

5.3 方法

5.4 分析

往期总结


0. 摘要

 

1. Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

(2017,AdaIN)用自适应实例归一化进行实时的任意风格迁移_EDPJ的博客-CSDN博客

1.1 主要思想

为了解释实例归一化的成功,作者提出了一种新的解释,即实例归一化通过归一化特征统计来执行样式归一化,这些特征统计携带图像的风格信息。基于此,作者提出了自适应实例归一化 (Adaptive Instance Normalization,AdaIN)。 给定内容和风格,AdaIN 只需调整内容图像的均值和方差以匹配风格图像的均值和方差,从而使生成图像具有前者的内容和后者的风格。

1.2 AdaIN

AdaIN 如公式 8 所示:

其中,x 和 y 分别表示内容图像和风格图像。μ(x) 和 σ(x) 表示内容图像的均值和标准差,μ(y) 和 σ(y) 表示风格图像的均值和标准差。由于图像的特征统计携带图像的风格信息,通过归一化消除内容图像的风格信息后,再使用风格图像的特征统计(风格信息)进行仿射变换,就能实现风格迁移。

1.3 结构以及不同层使用 AdaIN 的效果 

本文使用的网络结构和不同层使用 AdaIN 的效果如上两图所示。

由于 AdaIN 是基于图像特征(特征空间)的统计量进行操作,所以网络中越靠后的层可以提取到越精确地特征。基于这些精确特征的统计值,在实例归一化时可以更充分的消除内容图像的风格,从而实现更高质量的风格迁移。

2. Watch your Up-Convolution: CNN Based Generative Deep Neural Networks are Failing to Reproduce Spectral Distributions

(2020,谱正则化)观察你的上卷积:基于 CNN 的生成深度神经网络无法重现谱分布_EDPJ的博客-CSDN博客

2.1 主要思想

CNN 中使用的上卷积会造成频谱失真,可通过为生成器损失函数添加频谱正则化以及增大卷积核来缓解这种失真。通过缩小频谱差距,使生成图像与真实图像有相近的谱分布,从而提升生成​质量。

2.2 上卷积造成的谱失真

线性插值上卷积和补零(灰度值为 0)上卷积分别如上图所示。这两种上卷积都会造成频谱失真。直观地理解是:

  • 对于线性插值上卷积,由于填补的像素是原始像素的线性插值,所以相邻像素差异较小,从而导致频谱中低频分量的增加和高频分量的减少。
  • 对于补零上卷积,由于原始像素和补零像素差别较大,从而导致频谱中高频分量的增加和低频分量的减少。

2.3 谱正则化

对图像进行离散傅里叶变换(DFT)获得二维频谱,沿径向进行方位角积分获得一维频谱。新的正则化项就是真实图像和生成图像一维频谱的交叉熵。通过缩小频谱差距,使生成图像与真实图像有相近的谱分布。

2.4 其他贡献

Deepfake 检测。由于现有生成网络中上卷积引起失真的普遍性,频谱失真可以作为一种指标来检测 deepfake。

谱正则化可以提升训练的稳定性。图像的频谱包含丰富的信息,通过使用谱正则化,可以提升模型的频谱意识。在更多信息的作用下,模型学习地更快,并且可以避免模式崩溃。

3. FD: On understanding the role of deep feature spaces on face generation evaluation

(2023,属性敏感性)FD:关于理解深度特征空间对人脸生成评估的作用_EDPJ的博客-CSDN博客

3.1 主要思想

不同的模型对不同属性的敏感程度不同。例如,FD 使用从 ImageNet 训练模型中提取的特征,着重强调帽子而不是眼睛和嘴巴等区域。 此外,使用面部性别分类器特征的 FD 在身份(识别)特征空间中更强调头发长度而不是距离。

作者通过模糊不同的属性来探索这些属性对评估指标(FID)的影响。这种更细致的评估可以减轻偏差以及提高生成模型的整体质量。

3.2 Fréchet Inception Distance (FID)

FID 假设两个 Inception 嵌入图像分布是多元高斯分布,计算公式如公式 1 所示:

其中 (μ1,Σ1) 和 (μ2,Σ2) 是图像集(即真实图像和生成图像)embedding 的样本均值和协方差,Tr(·) 是矩阵迹。

3.3 样本生成

真实数据集包含显著的属性相关性,为了测试单个属性对评估指标的影响,作者使用生成的数据集。该数据集的生成有两步:

  • 首先,合成一组基本面孔,这些面孔表现出浅肤色和短发的预定义统一特征,不包含:面部毛发、化妆、皱眉的表情、帽子或眼镜等与各种面部语义相对应的 12 个二进制属性。
  • 然后,分别合成包含上述12个属性的样本。

3.4 实验

实验方法是,保持其他属性不变,仅改变(模糊)一个属性,然后观察它对 FID 的影响。

用于生成的模型是在不同数据集上训练的不同架构的模型,从而获得不同的特征空间。

为了比较不同特征空间的 FID,先计算该特征空间中原始图像与模糊图像之间的 FID,然后除以原始图像和完全模糊图像之间 FID 来获得归一化的 FID。

3.5 分析

实验的一部分结果如上图所示。以 SwAV-FFHQ(在 FFHQ 上训练的 ResNet-50 模型)为例

  • 对头发的模糊程度增加(0%→100%)时,FID 基本没有变化,说明该特征空间对头发这一属性不敏感;
  • 对肤色(skin tone)的模糊程度增加(0%→100%)时,FID 明显增加,说明该特征空间对肤色这一属性十分敏感。

差异分析

  • 作者推测这些差异是特征空间捕获与训练期间使用的目标函数最相关的语义特征的结果。
  • CLIP 特征对所有研究的特征都很敏感,这可能有两个原因:(1) CLIP 是在海量数据集上训练的,(2) 文本为图像编码器提供了丰富的感知特征信息来源,而这些信息是无法通过经典监督学习的。
  • 虽然特征空间使用了在架构类型、大小和最终层特征数方面各不相同的网络, 这些因素会对实验结果造成影响,但作者认为更大的影响来自于训练集和目标函数。 

4. Addressing Discrepancies in Semantic and Visual Alignment in Neural Networks

(2023,语义混合)处理神经网络中语义和视觉对齐的差异_EDPJ的博客-CSDN博客

4.1 主要思想

作者使用基于 diffusion 的数据增强来增加具有视觉关系的类别的语义对齐,从而提升模型对抗扰动的稳健性。

4.2 语义混合

基于 diffusion 的数据增强 MagicMix 对图像进行语义混合,流程如图 1 所示。语义混合的结果如图 2 所示。以第 4 列(椅子到公交车)为例,随着语义混合程度的加深(0% → 50% → 75%),椅子的外观表现得越来越像公交车。

4.3 方法

使用纯净数据 + 语义混合数据训练模型,使模型在有扰动的情况下,依然能够进行准确的分类,即,提升了模型的稳健性。

5. Addressing Mistake Severity in Neural Networks with Semantic Knowledge

(2022,错误严重性)用语义知识处理神经网络中的错误严重性_EDPJ的博客-CSDN博客

5.1 主要思想

(分类)模型的不同错误的严重性是不同的。作者利用模型预测和真实标签之间的语义差异来量化错误的严重程度,用于生成有目标性的对抗性攻击,以提高模型的稳健性。

5.2 名词解释

错误严重性:对于自动驾驶系统,把行人误判为树枝 vs 把行人误判为骑自行车的人,明显前者有更低的语义相似性,同时也表示更高的错误严重性。

错误的语义对齐:如上所述,即使模型预测出错,也应该尽量使预测的错误标签与真实标签有更接近的语义相似性(做法就是语义对齐),从而降低错误严重性。

模型稳健性:在有扰动的条件下,模型的预测精度不变或是仅有略微的降低。此外,即使出错,也应该有较低的错误严重性。

稳健特征与非稳健特征:图像的特征可以分为稳健特征和非稳健特征。如下图所示,图像来源于Ilyas (2019) 等人的论文 “Adversarial Examples Are Not Bugs, They Are Features”。

  • 非稳健特征可以为分类模型预测提供信息,但人类难以察觉。例如在对抗防御中,为图像添加微小的扰动,在人类看来,图像并未发生变化,但是模型缺可能把该图像误判为其他类别。
  • 而稳健特征不受扰动的影响。

5.3 方法

使用分阶段训练

第一阶段使用语义目标性对抗训练,把语义知识嵌入到训练过程中。与非目标性方法(找到会导致任何错误分类的扰动,而不考虑错误标签是什么)不同,这种方法会产生扰动,骗模型预测指定的(目标)类别。

目标 t 是从一组与图像 x 的原始标签 y 语义相似的类 C(y) 中选择的。C(y) 是与 y 的语义相似度最高的五个标签的集合。该式促使找到范围 ε 内使模型误判为 t 的扰动 δ* 。

第二阶段进行标准训练。如下式所示。即使出现可能使模型发生误判的扰动,模型依然能够进行正确判断。即,通过训练提升了模型的稳健性。

5.4 分析

经过分阶段训练后,模型的稳健性提升,不容易因为扰动而发生误判。而且即使误判,也会预测与真实标签语义接近的标签,降低了错误严重性。 

往期总结

近期学习论文总结 1(GAN,latent space 相关)_EDPJ的博客-CSDN博客

近期学习论文总结 2_EDPJ的博客-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/631431.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

day46_项目

debug bug - 虫 第一台计算机,房子那么大,机械零件,齿轮,坏了,虫子(bug)卡着机器,debug(调试),虫子拿走了,机器就运行了,从此调试机器程序–>debug 目前: 这个卡机器的虫子,在博物馆 工具(IDEAEclipse)支持debug --> 追踪代码 如何使用debug 运行时候就得使用debug模式…

00后从事软件测试一年的心路历程

初识软件测试 不知不觉,我做软件测试已经快一年了,入职第一天的场景仿佛还在昨天。入职前,我对测试的认识仅仅停留在一些软件测试和测试方法的理论知识上,最多也是对自己的代码进行一些单元测试。 我之前所理解的测试是与开发分…

Django-可重用注册登录系统--项目搭建

文章目录 一、项目开始前的思考二、搭建项目环境三、设计数据库模型数据库模型文件设置数据库后端注册app生成迁移脚本并写入数据库测试是否成功数据库模型后台管理 路由与视图函数框架搭建路由配置视图函数的配置模板template的配置测试是否成功 前端界面设计与优化完善登录的…

【C/C++】函数参数默认值

创作不易&#xff0c;本篇文章如果帮助到了你&#xff0c;还请点赞 关注支持一下♡>&#x16966;<)!! 主页专栏有更多知识&#xff0c;如有疑问欢迎大家指正讨论&#xff0c;共同进步&#xff01; &#x1f525;c系列专栏&#xff1a;C/C零基础到精通 &#x1f525; 给大…

【python+requests】接口自动化测试

这两天一直在找直接用python做接口自动化的方法&#xff0c;在网上也搜了一些博客参考&#xff0c;今天自己动手试了一下。 一、整体结构 上图是项目的目录结构&#xff0c;下面主要介绍下每个目录的作用。 Common:公共方法:主要放置公共的操作的类&#xff0c;比如数据库sql…

VPN(Virtual privacte network)浅谈

文章目录 VPN概念VPN类型站点-站点VPN客户端-站点VPN VPN的工作原理VPN职责职责一&#xff1a;保密完整性认证PSK算法实现&#xff08;献给大佬&#xff09;PSK应用演示RSA算法实现&#xff08;献给大佬&#xff09;RSA应用演示&#xff1a;实现签名 VPN两大框架VPN的误解VPN合…

Java调用Pytorch实现以图搜图(附源码)

Java调用Pytorch实现以图搜图 设计技术栈&#xff1a; 1、ElasticSearch环境&#xff1b; 2、Python运行环境&#xff08;如果事先没有pytorch模型时&#xff0c;可以用python脚本创建模型&#xff09;&#xff1b; 1、运行效果 2、创建模型&#xff08;有则可以跳过&#xf…

经典目标检测YOLO系列(1)YOLO-V1算法及其在VOC2007数据集上的应用

经典目标检测YOLO系列(1)YOLO-V1算法及其在VOC2007数据集上的应用 1 YOLO-V1的简述 1.1 目标检测概述 ​ 目标检测有非常广泛的应用&#xff0c; 例如&#xff1a;在安防监控、手机支付中的人脸检测&#xff1b;在智慧交通&#xff0c;自动驾驶中的车辆检测&#xff1b;在智…

TCP与UDP的可靠性传输

目录 一、TCP可靠性传输1、重传机制1.1、超时重传1.2、快速重传1.3、SACK1.4、Duplicate SACK 2、滑动窗口3、流量控制3.1 滑动窗口与流量控制3.2窗口关闭 4、拥塞控制4.1拥塞窗口4.2 慢启动4.3 拥塞避免4.4 拥塞发生4.5 快速恢复 二、UDP可靠性传输1、主要策略2、重传机制2.1 …

软件测试03:软件工程和软件生命周期

软件测试03&#xff1a;软件工程和软件生命周期 软件危机 软件危机是指落后的软件生产方式无法满足迅速增长的计算机软件需求&#xff0c;从而导致软件开发与维护过程中出现一系列严重问题的现象。 软件工程 基本软件危机对于计算机发展的阻碍&#xff0c;1968年&#xff0…

史上最详细的安装Kali-linux教程(附视频教程)

之前不少人问kali怎么安装&#xff0c;今天就发一篇利用VM虚拟机安装kali的详细教程&#xff0c;每一步都截图了&#xff0c;让大家尽可能的清楚每一步的操作。 1.2 使用 VM 虚拟机安装 Kali 1.2.1 官方下载 Kali Linux 官方网址&#xff1a;http://www.Kali.org 下载方式分…

跨域 —— 反向代理配置

跨域问题在讲Node.js学习中编写接口的时候就已经讲到了&#xff0c;由后端配置解决跨域问题&#xff0c;使用cors中间件解决跨域问题以及使用JSONP解决跨域&#xff08;仅支持GET请求&#xff09;&#xff0c;具体可以看一下这篇文章的内容&#xff1a;十二、Express接口编写 —…

python面向对象操作3(速通版)

目录 一、多态和类名 1.标准多态 2.实例属性和实例方法 3.类对象和类属性 4.对象保存 二、方法 1.类方法 3.四种方法的区别 三、模块 1.导入模块 2.自动模块导入 3.模块导入的几种形式 3.1模块导入的两种方式和别名 3.2 from 模块 import 成员 4.两种方法的区别…

【运筹优化】最短路算法之A星算法 + Java代码实现

文章目录 一、A星算法简介二、A星算法思想三、A星算法 java代码四、测试 一、A星算法简介 A*算法是一种静态路网中求解最短路径最有效的直接搜索方法&#xff0c;也是解决许多搜索问题的有效算法。算法中的距离估算值与实际值越接近&#xff0c;最终搜索速度越快。 二、A星算…

day52_Spring

今日内容 零、 复习昨日 一、Spring 零、 复习昨日 一、引言 以前 public class HelleServlet extends HttpServlet{UserService service new UsrServiceImpl();void doGet(){service.findUser();} }public interface UserService{User findUser(); } public class UserServ…

Tigase-Server 8.3.0在windows11下安装

一、JDK安装&#xff1a; tigase-server要求JDK 17,请先下载JDK17, 下载地址&#xff1a;https://download.oracle.com/java/17/latest/jdk-17_windows-x64_bin.exe 配置环境变量&#xff1a;JAVA_HOME{JDK安装目录} 二、数据库安装&#xff1a;tigase-server8.3在windows下…

【算法系列 | 4】深入解析排序算法之——归并排序

序言 你只管努力&#xff0c;其他交给时间&#xff0c;时间会证明一切。 文章标记颜色说明&#xff1a; 黄色&#xff1a;重要标题红色&#xff1a;用来标记结论绿色&#xff1a;用来标记一级论点蓝色&#xff1a;用来标记二级论点 决定开一个算法专栏&#xff0c;希望能帮助大…

Chrome内核插件开发报错:Unchecked runtime.lastError:的原因及解决办法。

本篇文章主要讲解,chrome内核插件开发时报错:Unchecked runtime.lastError: Extensions using event pages or Service Workers must pass an id parameter to chrome.contextMenus.create 的原因及解决办法。 日期:2023年6月10日 作者:任聪聪 报错现象: 查看报错路径,在…

项目经理必备!这四个高效管理工具帮你实现项目管理目标

在项目管理中&#xff0c;图形工具可以帮助我们让项目信息可视化&#xff0c;让项目管理更加高效&#xff0c;对于项目经理而言&#xff0c;这些工具都是好帮手。让我们一起看看&#xff0c;项目经理常用的管理工具都有那些吧~ 1&#xff0c;甘特图 甘特图是计划和管理项目的好…

【Spring使用注解更简单的实现Bean对象的存取】

&#x1f389;&#x1f389;&#x1f389;点进来你就是我的人了博主主页&#xff1a;&#x1f648;&#x1f648;&#x1f648;戳一戳,欢迎大佬指点! 欢迎志同道合的朋友一起加油喔&#x1f93a;&#x1f93a;&#x1f93a; 目录 一、前言&#xff1a; 二、储存Bean对象和使…