20230210组会论文总结

news2024/12/24 21:41:26

目录

【Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method】

【ShuffleMixer: An Efficient ConvNet for Image Super-Resolution】

 【A Close Look at Spatial Modeling: From Attention to Convolution 】

 【DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention 】

【DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image Segmentation】


【Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method】

代码链接:https://github.com/TaoWangzj/LLFormer

主要创新点:设计了Axis Multi-Head Self-Atention,常规计算Attention的方式是逐像素去计算,时间复杂度为O(HW*HW),有一些论文会转换为计算通道维度的注意力计算,比如Restormer,时间复杂度可以降低到O(C*C),这种方式可以,但是本人觉得更多偏向于了通道维度,对于一些应用场景下, 还是避不开需要去计算空间维度的注意力,本文感觉最大的idea就是设计了将H和W两者分开计算,串联实现的想法。

通过上图可以看到,以2*3的空间输入为例,Heights Axis方面计算得到的QKV矩阵均是2*2的,而Width Axis计算的QKV则是3*3的,整体上的时间复杂度就变成了O(H*H+W*W),确实是可以实现时间复杂度降维,目前不太确定这种方式的实现效果是否会比常规O(HW*HW)的效果好一些,但是感觉在计算Height和Width维度上的时候不可避免的会造成信息损失,但由于使用的结构是级联式Transformer结构,可以将这些损失降到最低通过不断堆积Transformer Block。

还有双门控FFN和Layer Attention,其实都是较为常见的已有工作。

【ShuffleMixer: An Efficient ConvNet for Image Super-Resolution】

主要创新点:这个比较有意思的点在我看来就是Shuffle Mixer Layer中的Channel Projection,其实关于Shuffle的操作有很多,这个将特征进行通道维度的打散,然后随机去计算权重,通过两次Channel Projection将通道恢复,从而可以实现更强的特征融合和表征能力,提高模型的鲁棒性。

 

 【A Close Look at Spatial Modeling: From Attention to Convolution 】

主要创新点:Transformer通常需要计算QKV从而计算出Self-Attention,这个步骤需要很大的算力,本文提出了一种新的想法去避开QKV去计算出相似性矩阵,CHW特征矩阵和经过pool操作后的矩阵相乘得到,有意思的是设计的Competitive Information Bottleeneck模块,设计了竞争机制。

 【DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention 】

主要创新点:设计了一种Unet形式的网络架构,主要创新点的DEAB模块里边使用了CGA(Content-Guided Attention),看起来很强具有全局的注意力,实现方式其实就是使用了CBAM和Shuffle Channel。

其实可以发现很多论文都使用了Shuffle Channel的操作,目前想法是能不能将Shuffle Channel的操作加入到多模态中进行融合增强呢?

【DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image Segmentation】

主要创新点:主要是在计算注意力(QKV)的时候进行了归一化K和V,使得时间复杂度降低,并且与传统的Dot-Product Attention相比,不是通过Q和K计算相似性矩阵(时间复杂度为O(N*N)),再与V进行乘法(时间复杂度为O(N*dv)),而是通过转置,先计算经过归一化后的K和V,计算Global Context Vector(时间复杂度为O(dk*dv))。

注:以上仅个人观后的想法,若有不足,请及时指出,欢迎大家讨论学习!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/340474.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

自动机,即有限状态机

文章目录一、问题来源二、题目描述三、题解中的自动机四、自动机学习五、有限状态机的使用场景一、问题来源 今天做力克题目的时候看到了字符串转换整数的一道算法题,其中又看到了题解中有自动机的概念,所以在这里对自动机做个笔记。题目链接 二、题目描…

详解Python正则表达式中group与groups的用法

在Python中,正则表达式的group和groups方法是非常有用的函数,用于处理匹配结果的分组信息。 group方法是re.MatchObject类中的一个函数,用于返回匹配对象的整个匹配结果或特定的分组匹配结果。而groups方法同样是re.MatchObject类中的函数&am…

MySQL主从同步-(一)搭建主机服务器

准备工作:搭建mysql 数据库 主从复同步系统 centos 7.5 运行环境 docker mysql版本 8.0.3 准备主机服务器第一步:停止虚拟机中其他 docker ,关闭防火墙,关闭系统的mysql(防止端口冲突)docker stop $(docker…

C++11实现计算机网络中的TCP/IP连接(Windows端)

目录引言1、TCP2、IP2.1 IP路由器3、TCP/IP4、TCP/IP协议C11实现参考文献引言 TCP/IP 指传输控制协议/网际协议(Transmission Control Protocol / Internet Protocol)。[1] 在TCP/IP协议簇中主要包含以下内容: TCP (传输控制协议) - 应用程序…

Bing引擎引入ChatGPT申请候补名单方式

Bing引入ChatGPT申请候补名单方式ChatGPT一、ChatGPT简介二、OpenAI和Google的"军备军赛"三、ChatGPT版本⭐Bing引擎引入ChatGPT申请候补名单方式1.下载chrome拓展程序2.配置拓展程序3.Bing 申请候补名单3.1旧版本Bing3.2新版本Bing4.等待获取结尾ChatGPT 一、ChatG…

Linux ALSA 之十:ALSA ASOC Machine Driver

ALSA ASOC Machine Driver一、Machine 简介二、ASoC Machine Driver2.1 Machine Driver 的 Platform Driver & Platform Device 驱动模型2.2 在 Probe() 中注册声卡三、snd_soc_register_card 函数3.1 bind DAIs3.2 New a sound card3.3 Create card new widgets3.4 Probe …

JointBERT代码复现详解【上】

BERT for Joint Intent Classification and Slot Filling代码复现【上】 源码链接:JointBERT源码复现(含注释) 一、准备工作 源码架构 data:存放两个基准数据集;model:JointBert模型的实现&#xff1b…

修改本地host文件加入可用ip使谷歌浏览器翻译插件重新生效

修改本地host文件加入可用ip使谷歌浏览器翻译插件重新生效 第一步:找到host文件: 可以使用这个工具进行对Hosts文件进行一个查找 鼠标放到对应路径上面 点击鼠标右键,选择打开路径就到对应 路径了 也可以复制到这个路径下面去找hosts文件 …

【Node.js实战】一文带你开发博客项目之Koa2重构(实现session、开发路由、联调、日志)

个人简介 👀个人主页: 前端杂货铺 🙋‍♂️学习方向: 主攻前端方向,也会涉及到服务端 📃个人状态: 在校大学生一枚,已拿多个前端 offer(秋招) 🚀未…

Redis集群搭建(主从、哨兵、分片)

1.单机安装Redis 首先需要安装Redis所需要的依赖: yum install -y gcc tcl然后将课前资料提供的Redis安装包上传到虚拟机的任意目录: 例如,我放到了/tmp目录: 解压缩: tar -xzf redis-6.2.4.tar.gz解压后&#xff1…

C# Lambda表达式含义及各种写法

Lambda表达式在各个语言中的表达方式都不太相同,本文重点介绍C#的Lambda表达式。 首先,Lambda表达式就是一个匿名的方法/函数。 以下面的一个完整版作为例子,前面是参数,后面是返回值: 由于 Lambda表达式和委托常常一起…

AI推理计算框架中的内存优化

背景 内存管理是AI计算中非常重要的一部分。我们希望模型计算时占用内存尽可能小,这样我们训练或推理时就可以用更大的batch size使其尽快收敛,或者提高吞吐率。又或者让我们可以使用参数更多、或更复杂的模型从而达到更好的准确率。由于现代深度学习模…

【MySQL数据库】主从复制原理和应用

主从复制和读写分离1. 主从复制的原理2. 主从复制的环境配置2.1 准备好数据库服务器2.2 配置master2.3 配置slave2.4 测试3. 主从复制的应用——读写分离3.1 读写分离的背景3.2 Sharding-JDBC介绍3.3 Sharding-JDBC使用步骤1. 主从复制的原理 MySQL主从复制是一个异步的过程&a…

微服务 RocketMQ-延时消息 消息过滤 管控台搜索问题

~~微服务 RocketMQ-延时消息 消息过滤 管控台搜索问题~~ RocketMQ-延时消息实现延时消息RocketMQ-消息过滤Tag标签过滤SQL标签过滤管控台搜索问题RocketMQ-延时消息 给消息设置延时时间,到一定时间,消费者才能消费的到,中间件内部通过每秒钟扫…

TCP的运输连接管理

TCP的运输连接管理 文章目录TCP的运输连接管理TCP报文格式简介首部各个字段的含义控制位(flags)TCP的连接建立抓包验证一些细节及解答TCP连接释放抓包验证一些细节及解答参考TCP是面向连接的协议。运输连接是用来传送TCP报文的。TCP运输连接的建立和释放时每一次面向连接的通信…

第一部分:简单句——第一章:简单句的核心——二、简单句的核心变化(主语/宾语/表语的变化)

二、简单句的核心变化 简单句的核心变化其实就是 一主一谓(n. v.) 表达一件事情,谓语动词是其中最重要的部分,谓语动词的变化主要有四种:三态加一否(时态、语态、情态、否定),其中…

MSI_MSI-X中断之源码分析

MSI_MSI-X中断之源码分析 文章目录MSI_MSI-X中断之源码分析一、 怎么发出MSI/MSI-X中断1.1 在RK3399上体验1.1.1 安装工具1.1.2 查看设备MSI-X信息1.1.3 验证MSI-X信息二、 怎么使用MSI/MSI-X三、 MSI/MSI-X中断源码分析3.1 IRQ Domain创建流程3.1.1 GIC3.1.2 ITS3.1.3 PCI MSI…

Linux C/C++ timeout命令实现(运行具有时间限制)

Linux附带了大量命令,每个命令都是唯一的,并在特定情况下使用。Linux timeout命令的一个属性是时间限制。可以为任何命令设置时间限制。如果时间到期,命令将停止执行。 如何使用timeout命令 我们将解释如何使用Linux timeout命令 timeout […

七、Git远程仓库操作——团队成员内协作

1. github远程协作的两种方式 前面我写的笔记,都是自己一个人在玩,无论是本地操作还是推送到远程都是自己推送到自己的仓库。 如果是别人拥有这个仓库,而我想对这个仓库的内容更改后,然后想推送更新到这个仓库,我们要…

【随笔】我迟到的2022年度总结:突破零粉丝,1个月涨粉1000+,2023年目标3万+

前言 我是21年12月注册的csdn, 作为用户平时看看文章,从未参与过写文章这件事。 但这一年的时间我见证了很多新号的崛起,有的号我平时关注比较多,看着他们从零粉丝突破了三万甚至五万的粉丝量。 在csdn上遇到了我的贵人&#x…