Multi-Channel EEG Based Emotion Recognition Using Temporal Convolutional Network and Broad Learning System

本文设计了一种基于多通道脑电信号的端到端情绪识别模型——时域卷积广义学习系统(TCBLS)。
TCBLS以一维脑电信号为输入，自动提取脑电信号的情绪相关特征。在该模型中，设计了时间卷积网络(TCN)同时提取EEG时间特征和深度抽象特征，然后使用广义学习系统(BLS)将特征映射到更具辨识性的空间，进一步增强特征。

INTRODUCTION

生理信号
- 心电图(ECG)、皮肤阻力(SR)、脉搏率等生理信号属于体外，并非由大脑直接引起，因此难以快速准确地反映情绪变化。
- 脑电图(EEG)信号从大脑直接传来。
EEG特征
- 一些统计特征如均值、方差、一阶差分、二阶差分等可以反映时间序列中脑电图信号的特征。
- 利用分形维谱、非平稳指数等非线性特征，可以更好地了解脑电图的非线性特性。
- 功率谱是脑电图振荡动力学、中常用的表征扰动的特征。
- 差分熵(DE)特征
- 时频域特征，通常采用小波变换(WT)、傅里叶变换(FT)等方法提取。在提取特征后，使用一些机器学习分类器来识别情绪，如支持向量机(SVM)、k -近邻(KNN)、随机森林(RF)、线性判别分析(LDA)等。
一些研究人员使用基于深度学习的方法进行EEG情绪识别，并获得了具有竞争力的表现。然而，许多基于深度学习的方法仍然需要复杂的预处理或额外的特征提取，这使得难以实现端到端学习。
时域卷积网络(Temporal Convolutional Network, TCN)
- 序列建模的有效方法。
广义学习系统(BLS)
- 一种平面网络，将输入映射到特征节点，将映射的特征增强到增强节点。
受TCN的序列建模能力和BLS的随机映射能力的启发，设计了一个端到端的情感识别模型——时域卷积广义学习系统(TCBLS)。

PRELIMINARIES

Temporal Convolutional Network (TCN)

RNN与CNN相比有一定的局限性。为了解决这一问题，提出了时域卷积网络(TCN)。TCN是一种结合了简单卷积结构的序列模型。一个通用的TCN结构包含三个主要部分，即因果卷积、扩张卷积和剩余连接。

因果卷积(Causal Convolutions)

因果卷积确保序列任务中的未来信息不会泄露给过去。
在因果卷积中， $t$ 时刻的输出只与 $t$ 时刻及更早前一层的元素相关。它的表现形式如下:
其中 $n$ 为层数， $T$ 为时间窗口长度， $co n v$ 为卷积运算

扩张卷积

TCN中的扩张卷积旨在提高从过去学习信息的能力。在层数相同的情况下，扩张因果卷积比普通因果卷积具有更大的接受域。 $1 - D$ 扩张卷积运算定义为:
其中 $f (\cdot)$ 为输入， $g (\cdot)$ 为扩张卷积的输出， $h (l)$ 为长度 $k$ 的滤波器， $d$ 为扩张因子， $x - d \cdot l$ 表示元素 $x$ 的过去方向。图(a)显示了一个扩张随卷积的例子，其核大小为 $k = 2$ ，扩张因子 $d = 1, 2, 4$ 。在正则卷积中， $d = 1$ 。

残差连接(Residual Connections)

残差块包含一个分支，该分支通向一系列转换。它可以定义为:
其中 $x$ 是输入， $ψ$ 是激活函数。残差连接已被证明在深度网络上是有效的。(b)为TCN的残块。该残差块包含两个扩展的随意卷积层，并在卷积滤波器上使用权重归一化。然后采用整流线性单元(ReLU)进行非线性处理，加入dropout进行正则化处理。

在这里插入图片描述

Broad Learning System (BLS)

BLS将输入随机映射到特征节点，然后将映射的特征随机扩展到增强节点。之后，映射的特征和增强的特征连接到输出。
此外，增量学习算法是在BLS中开发的，因此当添加特征节点、增强节点或新的输入数据时，模型不需要从头开始重新训练。

TCBLS FOR EEG EMOTION RECOGNITION

EEG是由放置在头皮上的电极收集的时间序列信号，具有较高的时间分辨率。因此，时间信息对情绪识别很重要。
在本文中，设计了一个结合TCN和BLS的模型来学习EEG的情绪相关特征并识别情绪状态。该模型利用TCN同时提取EEG时间特征和深度抽象特征，利用BLS将特征映射到更具辨识性的空间，进一步增强情感特征。
该模型可以实现从一维多通道脑电图信号到情绪状态的端到端学习。

Pre-processing

在采集视频刺激下的脑电图信号之前，通常采用短时间的无刺激采集基线信号。为了提高识别精度，采用去除基线信号的方法进行预处理，即将视频刺激下的脑电图信号与基线信号的差值作为TCBLS的输入。该步骤如下所示:
其中 $I$ 是通道数， $c$ 是通道总数。

Temporal Convolutional Broad Learning System (TCBLS)

时域卷积广义学习系统(TCBLS)的框架如图所示。该模型以一维多通道脑电图数据为输入，采用深度和广度相结合的方法自动提取情绪相关特征。
结合TCN的序列建模能力和BLS的随机映射能力，分别提取和增强脑电信号特征。
TCN堆栈4个残差块，每个残差块包含2个扩展的随意卷积层。可以用下面的公式来计算感受野的大小:
其中 $L$ 为扩张卷积层总数， $k_i$ 为第 $i$ 个扩张卷积层的核大小， $d_i$ 为第 $i$ 层的扩张因子。为了尽可能完整地提取EEG样本的时间特征，我们使模型的感受野尽可能地覆盖样本。

在这里插入图片描述

EXPERIMENTS AND RESULTS

Description of Dataset

在本文中，使用DEAP数据库来评估。

Settings of Experiments

一些参数设置

Results

并与近年来的其他方法进行了比较。我们选择与我们实验设置相似的文献进行比较，即所有文献都使用了DEAP数据库和主题依赖实验方法。

Yin等[26]提出了一种基于多融合层的集成堆叠自编码器(MESAE)分类器，以去除不必要的噪声和学习特征表示。他们将特征划分为几个子集，并用SAE分别对它们进行编码。Li等[10]采用离散小波变换(DWT)将脑电图划分为4个频段，提取熵和能量特征并用k -最近邻分类器进行分类。Yang et al[13]根据信道位置将四个频段的微分熵(DE)特征映射为维数为9×9×4的三维立方体，然后采用CNN对情绪进行分类。Yang等[14]将1D脑电图转换为2D脑电图帧，然后结合CNN和LSTM分别提取时空特征。Ozdemir等[27]利用方位等距投影(azthal equidistance Projection, AEP)技术将脑电图信号转换为二维脑电图图像，然后利用CNN进行分类。在实验中，我们也建立了TCN模型，并与TCBLS进行了比较。TCN的参数与TCBLS的参数相同，只是将BLS替换为全连通层。
图3显示了我们的方法与其他文献相比的性能。从图3可以看出，本文算法的性能优于对比方法，TCBLS的结果比最新文献的结果提高了3个百分点，在价态上达到99.5755%的平均精度，在唤醒上达到99.5781%的平均精度。此外，TCBLS的平均准确率比TCN高2个百分点，这反映了BLS对提高性能的积极意义。结果表明TCBLS在基于eeg的情绪识别中的有效性和鲁棒性。