深度学习论文被评“创新性不足、工作量不够”怎么办?

news2024/9/27 23:32:55

投稿时遇到审稿人提出文章创新性不足、工作量不够,该怎么办?

今天我就来分享三种应对方法:下采样策略、归一化策略、改进网络模型。

改进网络模型

增加创新性:

从模型架构和训练策略这两方面入手:

模型架构创新:常见的方法有缝合其他网络、引入注意力、轻量化等,缝合网络加注意力在我之前的文章里详细说过,这边就不多说了。

轻量化策略就是对网络架构的重新设计或优化,比如深度可分离替换一般的3*3卷积,前提是精度不能损失太多,而且模型大小或者推理速度能显著提高。

训练策略创新:通过优化训练策略来提升模型性能也能增加创新性,我们可以选择多任务学习、添加辅助损失。

多任务学习能同时学习多个相关任务,在训练过程中直接应用。比如CV方向如果做的是检测,就可以加个分割任务,用分割促检测,具体点就是将分割网络与检测网络共享主干网络,让网络前面部分的参数提前得到有效训练。

这部分如果细说可以有15种方法,不过我建议大家直接看论文,如果不想花时间找可以直接拿我已经整理好了,15种多任务学习方法共84篇参考论文。

论文原文+开源代码需要的同学看文末

辅助损失可以作为正则化项,帮助模型在训练过程中保持稳定的梯度流,同时迫使中间层学习有用的特征表示,比如深度监督,参考yolov9相对yolov7的改进。

增加工作量:

既然要设计新的模型,那现有方法的优缺点得了解吧,还有新模型的实现细节,比如选择合适的模块、确定模块之间的连接方式、设计损失函数等。

再加上在不同数据集上的测试、与现有方法的对比以及消融实验等。另外还需要根据实验结果对模型参数进行调优,找到最优,这个过程基本都要反复多次。

下采样

增加创新性:

可以考虑新的下采样策略,比如自适应下采样、金字塔池化,这类方法能减少特征图的尺寸和计算量,保留更多的有用信息,比平均池化等老方法更有创新性。

另外还可以考虑拓展新的下采样方法的应用场景,比如图像分类、目标检测之类,通过跨领域的应用来增加创新点。

只看文字可能有些难get,大家可以搭配我准备好的下采样高质量paper合集来理解,这些论文都可以直接参考,而且全都有代码,复现搞起。

论文原文+开源代码需要的同学看文末

举其中一篇论文案例:

AutoFocusFormer: Image Segmentation off the Grid

采用自适应下采样和局部注意力机制,专注于图像中更重要的区域,以提高分割任务的性能。

增加工作量:

现有下采样模块的优缺点,还有新方法的实现细节,比如合适的卷积核大小、步长、池化方式等参数,另外还要有大量的实验来验证效果,工作量这不就来了。

还有评估,引入新的下采样后,需要全面评估它的性能,比如在不同数据集上的测试、与现有方法的比较还有消融实验。

归一化

增加创新性:

从技术出发,着眼于归一化技术细节上的优化,就是怎么使用更复杂的归一化函数、结合领域知识的归一化策略,给模型带来性能提升。

从理论出发,探讨它对模型性能的影响机制,再通过实验验证提的这些理论分析的正确性,就可以有理论上的创新了。

另外还有引入新的归一化方法或策略,比如批归一化、组归一化、实例归一化等,这些新的归一化方法本身就是创新点。

这边我也整理好了归一化相关的参考paper合集帮助大家更直观的理解,开源代码也都有。

论文原文+开源代码需要的同学看文末

也举其中一篇论文案例:

BCN: Batch Channel Normalization for Image Classification

批量通道归一化,通过分别沿着(N, H, W)和(C, H, W)轴进行归一化处理,基于自适应参数组合归一化输出,同时利用通道和批量维度的优势,提高神经网络的泛化性能。

增加工作量:

归一化方法中的参数,比如批归一化中的衰减率和动量,对模型性能影响很大,所以需要对这些参数进行细致的调优,分析不同参数设置对模型稳定性和性能的影响。

再加上验证方法有效性的实验设计,包括选择合适的基准数据集、设计对比实验、评估不同归一化方法的性能指标等,工作量不用愁。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“创新工作”获取全部论文+开源代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2089241.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

c++ 135 错误: 成员函数的作用 内存四区

1。 类中不写成员函数 现在要求c1 的属性 原来怎么求的: 虽然把r改成10 但是没有执行area的那句话 area还是一个未知变量 当执行c1.area时 只是内存变量标示的内存空间拿值 跟r10 没有半毛钱关系 面向过程转换成面向对象

代码随想录 | 贪心算法总结

贪心理论基础 在贪心系列开篇词贪心算法理论基础中,我们就讲解了大家对贪心的普遍疑惑。 贪心很简单,就是常识? 贪心思路往往很巧妙,并不简单。 贪心有没有固定的套路? 贪心无套路,也没有框架之类的&a…

MarsCode代码练习能力初体验

MarsCode代码练习能力初体验 地址:https://sourl.cn/JJeBEF 最近MarsCode上线了代码练习能力,对准备算法题的同学来说是一个福音。下面是编程主界面。 除了左边内置的算法外,还可以手动添加题目自己练习,AI会去理解题目&#xf…

Java整体基础知识体系图

一 java 介绍 ‌Java是一种高级编程语言,由Sun Microsystems公司于1995年推出。‌ Java具有跨平台性、面向对象、健壮性、安全性、可移植性等特点,被广泛应用于企业级应用开发、移动应用开发、大数据处理、云计算等领域。Java程序可以在不同的操作系统上…

鸿蒙开发—黑马云音乐之music页面播放音乐(上)

目录 1.封装播放对象管理类 2.musicPage中调用AvPlayerManager完成播放歌曲 3.index.ets的播放信息样式 4.musicPage向index传数据 1.封装播放对象管理类 封装一个播放对象,之后播放音乐直接调用该对象。 src/main/ets/services/AvPlayerManager.ets&#xff…

本地Linux系统搭建Plik临时文件上传站点并实现远程访问共享文件

文章目录 前言1. Docker部署Plik2. 本地访问Plik3. Linux安装Cpolar4. 配置Plik公网地址5. 远程访问Plik6. 固定Plik公网地址7. 固定地址访问Plik 前言 本文介绍如何使用Linux docker方式快速安装Plik并且结合Cpolar内网穿透工具实现远程访问,实现随时随地在任意设…

虚幻地形高度图生成及测试

虚幻地形高度图生成及测试 虚幻引擎地形系统将高度数据存储在高度图中,这是一个灰阶图像,使用黑白色值来存储地貌高程。在高度图中,纯黑色值表示最低点,纯白色值表示最高点。支持16位灰阶PNG、8位灰阶r8及16位灰阶r16格式。 本文…

纯vue实现笔记系统

前言 最近研究了一个笔记记录系统,然后突然想到一个问题,我该如何才能只用前端就实现笔记的记录系统?经过这两天的研究将其做出来了,接下来将分享实现的过程 ✨✨✨✨✨✨✨✨✨✨ 项目演示 在我的项目中,是可以适…

PCIe prefix总结

这周研究了一下spec中关于prefix的部分,在此做一个总结,欢迎大家指正补充。 TLP Prefix基本介绍 • TLP 第 0 字节的 Fmt [2:0] 字段值为 100b 表示当前 DW 为 TLP Prefix 。 • TLP Prefix 分为两大类: Local 和 End-End ,其中…

深入理解归并排序

目录 一、概念 二、递归版实现 三、非递归实现 三、文件归并排序 小结 一、概念 归并排序(Merge sort)是建立在归并操作上的一种有效的排序算法,该算法是采用分治法(Divide and Conquer)的一个非常典型的应用。将…

海外新闻稿发布:企业如何充分利用数字化媒体进行

在全球数字化进程加速的时代,企业要在激烈的国际市场中脱颖而出,利用数字化媒体进行海外新闻稿发布是一个不可或缺的战略。精确的策略和有效的执行能够帮助企业获得更高的曝光度和市场份额。以下将从多个角度探讨如何充分利用数字化媒体进行海外新闻稿发…

万亿生成式AI市场,商汤迎来“长坡厚雪”

AI掀起了全球科技玩家的军备竞赛,然而声浪越强噪音越多,这个领域的混乱程度也变得远超以往。就连刚刚公布财报的英伟达,市场也没有买账,因为担心AI驱动的增长高峰已过,接下来,下游会更看重实际成果。 “囤…

【电子数据取证】微信8.0.50版本数据库解密

文章关键词:电子数据取证、手机取证、微信取证、数据库解密 通过对8.0.50这一特定版本的分析,我们期望揭示软件迭代背后的逻辑思考,以及安全策略的演进方向。这不单纯是对技术细节的揭秘,更是一次关于未来通信安全趋势的展望&…

在Linux中如何安装JDK

一、卸载JDK (可以不删除,直接安装新的JDK,然后修改环境变量) 1.1卸载使用yum安装的jdk 1.1.1卸载系统预安装的JDK 使用命令:yum list installed |grep java 注意:该命令只能查看使用yum命令安装的jav…

python模块和包的区别有哪些

模块:就是.py文件,里面定义了一些函数和变量,需要的时候就可以导入这些模块。 包:在模块之上的概念,为了方便管理而将文件进行打包。包目录下第一个文件便是 __init__.py,然后是一些模块文件和子目录&…

pytorch 均方误差损失函数

均方误差损失函数主要用于回归问题。它计算预测值与真实值之间差的平方,然后取平均值。这个损失函数通过惩罚大的误差,使得模型在训练时更加注重减少较大的偏差。 import torch import torch.nn as nn# 创建预测值和实际值张量 predicted torch.tensor(…

Spring Boot 中的 “依赖管理和自动配置” 详解透彻到底(附+详细代码流程)

1. 如何理解 “ 约定优于配置 ” 约定优于配置(Convention over Configuration / CoC),又称约定编程,是一种软件设计规范,本质上是对系统,类库或框架中一些东西。 一个大众化合理的默认值(缺省值&#xff0…

VSCode+Keil协同开发之Keil Assistant

VSCodeKeil协同开发之Keil Assistant 目录 VSCodeKeil协同开发之Keil Assistant1. 效果展示2. Keil Assistant简介3. Keil Assistant功能特性4. 部署步骤4.1. 1.部署准备4.2. 2.安装Keil Assistant插件4.3. 3.配置Keil Assistant插件 5. Keil Assistant使用6. 总结 大家在单片机…

java 使用网易邮箱发送邮件

java 使用网易邮箱发送邮件 准备条件 网易邮箱账号开通邮箱的POP3/SMPT服务&#xff0c;申请授权码 引入工具包 <dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.8.26</version></de…

深入浅出Entity-Component-System:重塑游戏开发的未来

引言 在游戏开发领域&#xff0c;架构设计往往决定了项目的成败。随着游戏规模和复杂度的不断增加&#xff0c;传统的面向对象编程(OOP)模式逐渐显露出其局限性。而ECS(Entity-Component-System)架构作为一种新兴的设计模式&#xff0c;正在彻底改变游戏开发的方式。本文将深入…