阅读时间：2023-11-1

1 介绍

年份：2019
作者：李凡军，济南大学数学科学学院，济南
期刊：Proceedings of 2019 Chinese Intelligent Automation Conference
引用量：1

2 创新点

通过模拟枢纽特性，本文提出了一种新的动态储层拓扑，称为具有枢纽特性的回声状态网络（ESN）（HESN）。在HESN中，使用具有多个子储层的储层，并在子储层和输出层之间的网络中添加一些神经元作为枢纽层。集线器层将子储层和输入层的输出信号进行整合，然后将这些信号反馈给子储层和输出层。所有子储层仅通过枢纽层相互通信。

3 相关研究

从数学上讲，循环神经网络（RNN）理论上可以以任意精度逼近任意非线性动力系统[ 1 ]。然而，由于局部最小值，大多数基于梯度的方法很难训练 RNN [ 2 ]。在大多数情况下，储层计算 (RC) 已被证明是训练 RNN 时基于梯度的学习算法的有效替代方案 [ 3 ]。作为最有前途的 RC 方法之一，回声状态网络（ESN）自提出以来就因其在一些基准问题上的更好性能而受到了广泛的研究[ 4 ]。
ESN 的关键部分是一个大型且稀疏连接的循环层，称为动态存储层 [ 5 ]。储层拓扑结构对ESN的性能具有重要影响。近几十年来，一些更有效的储层拓扑被提出来提高ESN的性能。小世界拓扑储层显着提高了ESN的性能[ 6 ]。具有最小复杂度的简单循环储层（SCR）通常可以获得与传统ESN相匹配的性能[ 7 ]。与随机储层相比，具有侧向抑制的解耦回波状态网络（DESN）表现出更低的泛化误差和更好的鲁棒性[ 8 ]。在一些基准问题上，带有跳转的循环库（CRJ）显示出比传统 ESN 更好的性能 [ 9 ]。具有多个子储层的不断增长的ESN会自动确定其储层大小以与给定的数据集相匹配[ 10 ]。已经证明，分层储层可以处理多个分层时间尺度和表示级别的动力学概念【Multilayered echo state machine: a novel architecture and algorithm】。更接近大脑拓扑结构的储存器已显示出更好的性能【Reservoir computing properties of neural dynamics in prefrontal cortex】。人们发现，人类功能性大脑网络中的某些区域充当枢纽，以强大的方式整合和分发信息【Network hubs in the human brain】。这些发现对于设计良好的储层很有用。

4 算法过程

一层为子储层（蓝色），另一层为枢纽层（红色）。
在HESN中，只有输出权重需要优化，其他权重在某个给定区间内随机生成。

算法：给定谱半径${\alpha }_i$, 稀疏性$s{p}_i$和子储层规模$n_i$，对于第$i$个子储层$0\le i\le J$
步骤1：生成$J$个子储层，记为$（W_i,W_i^{in},{\alpha }_i,s{p}_i）$
步骤 2：使用训练输入信号运行所有子储层$u(n)$以及枢纽层的反馈信号，采集经过初始化消除期后的子储层状态$x_i^n$
步骤3：用随机权重计算枢纽层的状态$W^h$，并将这些信号反馈给子储层；
步骤4：根据公式（10）获取输出权重$W^{out}$

步骤 5：在测试数据集上评估经过训练的 HESN。

5 实验分析

用到了两个数据集，分别是Mackey–Glass System、Sunspot Series。评价指标NRMSE。

6 思考

没有看明白算法实现思路。和【Modular state space of echo state network】论文的研究非常相似，即使图都差不多。也没有代码，都过去了几年了，还没有引用量。PDF文件还是需要通过学校的账号才能从springer上下载。
Echo state network with hub property.pdf