EEG-Inception: A Novel Deep Convolutional Neural Network for Assistive ERP-Based Brain-Computer Interfaces
EEG-Inception是第一个集成Inception模块进行ERP检测的模型，它有效地结合了轻型架构中的其他结构，提高了我们方法的性能。
本研究的主要目标是设计，开发和测试一种新的CNN，以提高基于ERP的拼写器的准确性和校准时间。利用数据集，我们设计了一个新的训练策略，使用跨学科迁移学习和微调，以减少测试科目所需的校准时间（校准时间长，难）。最后，我们与最成功的基于ERP的拼写之前的方法提供了一个直接和公平的比较。
Noteworthy, most studies do not evaluate novel classification algorithms with severely disabled subjects, the end users of these systems. 得注意的是，大多数研究都没有对严重残疾受试者（这些系统的最终用户）的新型分类算法进行评估。
应该指出的是，据我们所知，之前的研究未能在运动障碍受试者身上测试他们的深度学习模型。这些症状在个体之间，甚至在患有相同疾病的个体之间都存在很大差异，这使得严重残疾的受试者尤其具有异质性，对ERP检测具有挑战性。因此，需要对这一群体进行综合评估，以评估辅助BCI应用新模型的性能。（跨被试）
1.模型结构
1.1预处理
简单的预处理管道。首先，信号被抽取到128 Hz，以降低模型的计算成本。在0.5到45 Hz之间应用带通滤波器，保留最具鉴别性的信息，并消除50 Hz的电力线频率（工频滤波）。还应用了通用平均参考（CAR）空间滤波器来提高ERP的信噪比。最后，从刺激开始后的0到1000ms提取epoch。
因此，模型输入是一个形状为128×8的数组，第一个维度是时间轴（即样本），而第二个维度对应于空间轴。（每个通道提取1秒的epoch，内有128个数据128Hz）
应该注意的是，每个卷积块（即2D卷积和深度2D卷积）都包括用于归一化特征图的批归一化、用于引入非线性的激活函数[29]和用于防止过拟合的丢弃正则化。
图1 卷积层、BN层、激活函数、dropout
bn层在卷积和池化之间 丢弃层要在激活之后， bn层要在激活之前。
1.2 EEG Inception的架构
1.2.1 block 1
该模块根据卷积块C1、C2和C3（提取时间特征）的核大小，分别为64×1、32×1和16×1，对每个EEG通道的3个不同时间尺度的信号进行处理。因此，由于输入的采样率为128Hz，这些大小对应于500ms、250ms和125ms的时间窗口。
在这些层之后，D1、D2和D3（提取空间特征）使用深度卷积在空间域中处理信号。深度卷积首先用于图像分类领域，通过分别作用于每个输入通道，将卷积核分解为更小的核，从而减少了参数的总量。当应用于EEG处理时，它们提供了一种方法来学习前一层提取的每个时间模式的最佳空间滤波器（即通道权重）。然后，级联层N1合并来自D1、D2和D3的输出特征。最后，对d应用平均池。
总结：第一个block交叉提取时间、空间特征信息，顺序为：
交叉使用的作用：充分利用了时间卷积的same填充的方式，能够多次提取有价值的空间特征
1、先时间卷积：时间卷积核（A，1）的设计与采样率密切相关（核为采样率128的几分之几，则时间尺寸为整个时间尺寸的几分之几，例：卷积核设计为（64，1），则在500ms的尺寸上提取特征；卷积核设计为（32，1），则在250ms的尺寸上提取特征；卷积核设计为（16，1），则在125ms的尺寸上提取特征）
2、后空间卷积：EEG - Inception在block1中多次提取，空间卷积核大小（1，B）=Channel等于通道数=8
Block - 1解析：
对8个通道，1000ms（对应128个数据点 ）的数据逐级提取特征
1. 先进行时间维度处理，后进行空间维度处理。
2. 时间卷积和空间卷积堆叠使用。
3. 时间卷积核提取3个不同时间尺寸（500ms、250ms、125ms，分别对应卷积核大小为64、32、16 ）长度的特征，空间卷积核大小都是8（等于通道数channel）。
4. 时间卷积的填充方式padding=same，空间卷积的填充方式padding=valid。
5. 滤波器： - 3层时间卷积的滤波器数量都是8（这里推测与原始EEG通道有关，设计滤波器时可作参考）。 - 3层深度卷积深度都是2，将前一层的Conv2D滤波器数量乘以2倍。
6. 时间卷积Conv2D 的构成 = torch.nn.Conv2d+批量归一化BN+修正线性单元RELU+随机失活Drop 。
7. N1将三个空间卷积的输出合并，此时输出维度为·128*1*48（每层空间卷积输出维度为128*1*16） 。
8. 平均二维池化：用于降维，池化核大小为4*1 ，这与下一个block的时间卷积核大小设置相关。如果下一个block要提取时间特征（提取空间特征的核大小保持不变），那么提取相同时长特征的卷积核大小会缩小为原来的四分之一（呈负相关关系）。
1.2.2 block 2
该模块与前一个模块组织一致。它由3个分支组成，在500ms、250ms和125ms的3个时间尺度上处理EEG信号。
注意的是，在第一个块的平均池化层之后，这些尺度对应于16×1、8×1和4×1的核大小。该模块在更高层次的抽象中提取额外的时间特征，考虑所有EEG通道。如前所述，卷积块C4、C5和C6的输出被级联。然后，还应用了用于降维的平均池。
Block - 2解析：
一、三个时间卷积（C4、C5、C6 ）采用堆叠的方式，在更高层次、更抽象的层面上，提取500ms、250ms、125ms这三个时间尺度下额外且更精细化的时间信息。由于上一个block的平均池化核大小为4*1，所以这三层卷积的卷积核大小相较于block - 1的三个时间卷积核，分别除以4。
二、卷积填充方式为same，滤波器数量F=8（等于通道数channel），卷积核大小分别为16*1、8*1、4*1 ，每层卷积输出的shape相同，均为32*1*8 。
三、经过N1操作，合并三次时间特征信息后，输出的shape为32*1*24 。
四、进行池化操作，池化核大小为2*1（依旧是偶数，按倍数增减），池化后输出的shape变为16*1*24 。
1.2.3 block 3
最后两个卷积层被设计用于提取最有意义的模式以进行最终分类，将信息压缩成几个特征。值得注意的是，过滤器的数量逐渐减少，这与平均池化层一起降低了维度，以避免过拟合。事实上，只有24个特征被馈送到最终的分类层。最后，softmax输出估计每个类别（目标和非目标）的概率[26]。
该模型使用以下配置进行训练：Adam优化器，默认超参数β1=0.9和β2=0.999[38]；分类交叉熵损失函数[39]；小批量1024；500个时代。为了加快训练速度并避免过拟合，当验证集的损失在连续10个周期内没有改善时，我们应用了早期停止[29]，恢复了最小化该指标的权重。
深度学习模型中超参数的选择对于实现这一目标至关重要。
Block-3解析：
1. 运用2层二维卷积，提取最具价值的特征用于分类。(此处并非提取时间和空间特征，而是在已提取的特征中筛选出有利于分类的特征，纯粹是特征提取操作，与时间、空间相关性无关) 两个卷积核大小分别为8*1和4*1。
2. 二维卷积和二维池化交叉使用，两层池化的核大小均为2*1，起到进一步降低维度的作用。 3. 两层卷积的滤波器数量分别为F = 12、F = 6，F值逐渐减小，这和池化一样能实现降维效果，还可避免过拟合。此前滤波器数量F一直为8，整体来看就经历了8 - 12 - 6这样的变化，符合滤波器倒瓶颈的先进结构。
