激活函数对深度神经网络的成功可太重要了，它可以提升学习复杂关系的能力，减少过拟合，增强模型性能，与它相关的研究一直是重中之重。最近，这方向有了不少新突破。
ECCV 2024上的这篇，提出了一种可训练的高表达激活函数DiTAC，基于高效微分CPAB实现，在下游分割任务、图像生成、回归问题等上都达成了大超越！
另外还有性能更佳，推理速度提升8倍的新型架构SineKAN！其核心创新在于，SineKAN将传统的 B-Spline 激活函数替换为正弦激活函数...
为方便论文er了解前沿，本文整理了激活函数12篇最新的论文，包含一部分顶会成果（比如ECCV、CVPR），有开源代码的都放上了，需要的同学可无偿获取~
全部论文+开源代码需要的同学看文末
Trainable Highly-expressive Activation Functions
方法：论文提出了一种名为DiTAC的新型可训练激活函数，它基于高效的微分同胚变换（CPAB），通过引入极少的可训练参数显著提升深度神经网络的表现和表征能力，在语义分割、图像生成、回归问题及图像分类等任务中超越了现有的固定与可训练激活函数。
创新点：
-
DiTAC 是一种基于高效微分同胚变换（CPAB）的高表达力可训练激活函数。
-
首次将 CPAB 变换用于构建可训练激活函数（TAF），而不是传统上应用于信号域（如图像的空间域或时间序列的时间域）。
-
DiTAC 利用 CPAB 变换的闭式表达式，提供了一个高效的方法来参数化和优化非线性单调增函数。
Sinekan: Kolmogorov-arnold networks using sinusoidal activation
方法：论文主要研究的是一种新型的神经网络架构——SineKAN（KAN使用正弦激活函数），核心创新点是将传统的 B-Spline 激活函数替换为正弦激活函数。在MNIST基准测试中，相比B-SplineKAN模型，SineKAN不仅在数值性能上表现更优，还在推理速度上实现了4-8倍的显著提升。
创新点：
-
SineKAN模型使用正弦函数作为激活函数，替代了传统的B-Spline激活函数。
-
SineKAN模型采用了新的权重初始化策略和相位输入项的引入，这些技术在不同深度和尺寸的相位网格上保持了一致的数值性能。
SwishReLU: A unified approach to activation functions for enhanced deep neural networks performance
方法：论文提出了一种新的激活函数 SwishReLU，它结合了 ReLU 和 Swish 的特性，旨在解决 ReLU 的“死亡”问题，同时降低 Swish 的计算成本。实验证明使用 SwishReLU 激活函数的 VGG16 模型在 CIFAR-10 数据集上实现了 96% 的训练准确率和 81% 的测试准确率。
创新点：
-
提出 SwishReLU：结合 ReLU 和 Swish 的特性，解决 ReLU 的“死亡”问题。
-
计算效率更高：相比 Swish，SwishReLU 简化了计算，降低了成本。
-
性能提升显著：在多个数据集上，使用 SwishReLU 的模型准确率更高，尤其是 CIFAR-10 数据集上提升了 6%。
Adaptive activation functions for predictive modeling with sparse experimental data
方法：论文研究了在稀缺数据环境下，采用自适应激活函数（如ELU和Softplus）与固定形状激活函数相比的有效性，揭示了自适应激活函数能够提高神经网络的预测准确性和置信度，通过引入单独的可训练参数，显著改善了模型性能和预测不确定性。
创新点：
-
首次在小数据集场景中研究自适应激活函数的效果，尤其是在训练样本少于100的情况下。
-
引入了共形推理方法，用于生成预测集而非仅依赖于点预测，从而评估自适应激活函数对神经网络模型预测不确定性的影响。
关注下方《学姐带你玩AI》🚀🚀🚀
回复“激活新版”获取全部方案+开源代码
码字不易，欢迎大家点赞评论收藏
