阅读时间：2023-11-2

1 介绍

年份：2013
作者：陈卫彪，华南理工大学计算机科学与工程学院,
期刊：Neurocomputing
引用量：17
本文介绍了一种改进回声状态网络（ESN）预测性能的新方法。该方法将ESN的状态空间分解为多个子空间，并将每个子空间定义为一个模块。这种方法称为回声状态网络的模块化状态空间（MSSESN），它使用分段输出函数将每个模块的状态分别映射到输出。MSSESN通过将存储器嵌入到网络输入中，并消除输出神经元到储层的反馈连接，从而将迭代式预测替换为直接预测。将由储层重建的状态空间划分为几个模块，并为每个模块的输出神经元分配独立的权重向量。MSSESN利用储层的模块性和机制，采用“分而治之”的策略。该方法已在Mackey-Glass和Lorenz时间序列的基准预测上进行了测试，结果显示其预测准确性高于以前的技术。

2 创新点

（1）将Echo State Network (ESN)的状态空间分解为多个子空间，每个子空间被定义为一个模块。这种方法被称为模块化状态空间的Echo State Network (MSSESN)。
（2）MSSESN使用分段输出函数，将每个模块的状态分别映射到输出。通过将记忆嵌入到网络输入中，以及消除输出神经元到储层的反馈连接，MSSESN实现了直接预测，取代了迭代预测。
（3）MSSESN利用储层的模块化和机制，采用“分而治之”的策略。这种方法在Mackey-Glass和Lorenz时间序列的基准预测中进行了验证，并且显示出比之前的技术更高的预测准确性。
（4）MSSESN通过使用随机连接的储层和易于调整的线性读出输出，可以在高维状态空间中重构输入信号，类似于核机器方法中核函数的功能。

3 相关研究

（1）Making Sense of a Complex World
该论文提出，在具有噪声的时间序列上迭代预测ESN是低效的，因为存在不稳定性和误差累积的问题。同时，成功训练的一步预测器通常在自主系统的应用中失败，因为很难保证模型的稳定性，甚至无法保证模型和系统吸引子的等价性。
（2）Support Vector Echo-State Machine for Chaotic Time
该论文提出了一种基于支持向量机的支持向量回声状态机（SVESM）作为改进ESN的直接方法。然而，正则化系数的参数很难确定，并且其交叉验证过程非常耗时。
（3）Optimization and Applications of Echo State Networks with Leaky Integrator Neurons
该论文介绍了一种扩展ESN的方法，即漏积分器储层单元。
（4）Decoupled Echo State Networks with Lateral Inhibition
该论文介绍了一种扩展ESN的方法，即解耦ESN。
（5）Collective Behavior of a Small-World Recurrent Neural System with Scale-Free Distribution
该论文介绍了一种扩展ESN的方法，即小世界储层。
（6）Echo State Networks with Filter Neurons and a Delay & Sum Readout
该论文介绍了一种扩展ESN的方法，即具有延迟和求和读出的滤波神经元。
（7）Effects of Connectivity Structure of Complex Echo State Network on Its Prediction Performance for Nonlinear Time Series
该论文介绍了一种扩展ESN的方法，即在储层计算中的复杂ESN。
（8）Pruning and Regularization in Reservoir Computing
该论文介绍了一种对储层计算中的修剪和正则化。
（9）Echo State Gaussian Process
该论文介绍了一种回声状态高斯过程作为一种新型的非线性回归模型。

4 算法

（1）将Echo State Network (ESN)的状态空间分解为多个子空间，每个子空间被定义为一个模块。
（2）使用分段输出函数将每个模块的状态分别映射到输出。
（3）将记忆嵌入网络输入并消除输出神经元与储层之间的反馈连接，用直接预测取代迭代预测。

5 实验分析

评价指标NMSE、ERMSE

（1）Mackey-Glass时间序列预测数据集的效果
MSSESN的预测效果优于基于Evolino的长短期记忆（LSTM）方法和Echo State Gaussian Process（ESGP）方法。
（2）神经元数量的影响
神经元数量N对MSSESN的性能有显著影响。在Mackey-Glass问题的预测中，随着N的增加，预测误差逐渐减小。然而，在Lorenz问题的预测中，当N从100增加到200时，预测误差逐渐减小，但当N从200增加到500时，预测误差快速增加。因此，在Lorenz问题的预测中，MSSESN使用相对较小的N（N = 200）获得最佳结果。
（3）模块数量的影响
模块数量M对MSSESN的性能也有重要影响。在Mackey-Glass问题的预测中，当M从2增加到14时，预测误差逐渐减小，但当M从14增加到20时，预测误差快速增加。在Lorenz问题的预测中，当M从2增加到6时，预测误差逐渐减小，但当M继续增加时，预测误差变化较缓慢。因此，在MSSESN中，模块数量的选择需要在模型复杂性和准确性之间进行权衡。

6 思考

他这个模型图，似乎没有画到合理，作者说“将由储层重建的状态空间划分为几个模块，并为每个模块的输出神经元分配独立的权重向量”。那在储层中，应该是应该将神经元分类。每一个模块包含几个神经元。每个模块之间的神经元应该是不共享的。
和其他几篇论文是高度相关的，具体实现上稍微有些许不同。
【Echo State Network with Hub Property】
【Extending stability through hierarchical clusters in Echo State Networks】
【A Versatile Hub Model For Efficient Information Propagation And Feature Selection】