2025一区新风口：小波变换+KAN！速占！

news2025/1/31 9:45:55

今天给大家分享一个能让审稿人眼前一亮，好发一区的idea：小波变换+KAN！

一方面：KAN刚中稿ICLR25，正是风口上，与小波变换的结合还处于起步阶段，正是红利期，创新空间广阔。

另一方面，两者结合，能同时满足高精度、可解释、低计算成本的需求，为处理复杂和非平稳数据提供全新的视角。这便意味着金融、医疗、工业等领域的任务，都可以用该方法重做一遍。具体点说：小波变换多分辨率分析的特性，能同时捕捉高频和低频特征。而KAN的一大亮点便是可解释，且其能通过将多维函数分解为单变量函数的组合，来简化计算复杂度，从而有助于模型性能提升！

目前该方向已取得了不少优秀成果，比如有模型联邦学习中准确率近100％；还有模型在图像分类中性能狂提50.41％……为方便大家研究的进行，我给大家挑选了必读论文和源码，一起来看！

论文原文+开源代码需要的同学看文末

Wav-KAN: Wavelet Kolmogorov-Arnold Networks

内容：本文介绍了一种名为Wav-KAN的新型神经网络架构，它通过在Kolmogorov-Arnold网络结构中引入小波函数，解决了传统多层感知器（MLP）和最近提出的Spl-KAN在可解释性、训练速度、鲁棒性、计算效率和性能方面的局限性。Wav-KAN利用小波的多分辨率分析能力，能够高效地捕捉输入数据的高频和低频成分，并通过正交或半正交基函数实现对数据结构的准确表示，同时避免过拟合噪声。

CaLMPhosKAN: Prediction of General Phosphorylation Sites in Proteins via Fusion of Codon-Aware Embeddings with Amino Acid-Aware Embeddings and Wavelet-based Kolmogorov–Arnold Network

内容：文章提出了一种用于预测蛋白质磷酸化位点的新方法，它通过融合密码子感知嵌入和氨基酸感知嵌入，并结合基于小波的KAN来实现。该方法利用密码子语言模型生成的嵌入信息，结合氨基酸级别的嵌入，通过早期融合策略整合特征。随后，通过ConvBiGRU网络提取局部窗口内残基的时空相关性特征，并由基于高斯导数（DoG）小波变换的KAN进行最终预测。在独立测试中，CaLMPhosKAN在预测丝氨酸-苏氨酸和酪氨酸磷酸化位点方面优于现有方法，并且在预测蛋白质无序区域内的磷酸化位点方面表现出色

FC-KAN: FUNCTION COMBINATIONS IN KOLMOGOROV-ARNOLD NETWORKS

内容：本文介绍了一种新型的KAN，它通过在低维数据中结合流行的数学函数（如B样条、小波和径向基函数）的输出来提升模型性能。FC-KAN利用多种函数组合方法（包括求和、逐元素乘积、二次和三次函数表示、拼接以及线性变换等）来捕捉输入数据的特征。实验表明，FC-KAN在MNIST和Fashion-MNIST数据集上的表现优于多层感知器（MLP）和其他现有的KAN模型，尤其是在使用二次函数组合B样条和高斯差分（DoG）输出的变体中表现最为出色。该研究为未来KAN的设计和函数组合在神经网络中的应用提供了新的思路。

Prediction of Infiltrating Ductal Carcinoma using Morlet Wavelet Integrated Kolmogorov Arnold Network

内容：本文提出了一种基于Morlet小波变换与Kolmogorov-Arnold网络（KAN）相结合的模型，用于预测浸润性导管癌（IDC）。该研究利用IDC_regular_ps50_idx5数据集中的组织病理学图像，通过数据增强技术平衡数据集后进行模型训练。Morlet小波变换能够同时捕捉空间域和频率域的信息，有助于从图像中提取特征并识别模式。