更多脑机接口前沿技术，关注公众号：脑机接口社区

近日，清华大学团队提出一种基于脑电图（EEG）和磁脑电图（MEG）混合的脑机接口（BCI）系统的研究，旨在提高BCI性能并解决“BCI文盲”的问题。虽然EEG-based BCI已经实现了大脑和外部设备之间的通讯，但由于头骨会减弱和扭曲信号，因此其性能受到限制。MEG是一种不受体积传导效应影响的神经影像技术，可以通过增强信号质量来提高BCI性能。

通过对22名人类被试进行比较实验，发现与EEG相比，基于MEG的稳态视觉诱发响应（SSVER）具有更广范围的有效带宽和更高的信噪比，提高了BCI性能。同时记录MEG-EEG的实验表明，混合MEG-EEG BCI取得了比单模态更高的信息传输率。此外，该研究还发现，在“BCI文盲”中，凭借MEG的帮助，40目标分类准确率从50% 提高到95%。这些结果突显了混合MEG-EEG BCI的方法学优势，表明这是实施高速BCI的一种有前途的范例。

▲图1 (A) 40目标BCI实验的刺激界面。(B) 每个刺激目标的频率和初始相位。

在该研究中，结果分别以MEG-EEG分离实验展示，以及MEG-EEG同步实验展示，由于篇幅限制，本文只介绍分离实验的过程及结果。

实验分为两大部分，第一部分是分离的MEG和EEG记录实验，第二部分是同时进行MEG-EEG记录实验。用于该研究的基础算法有典型相关分析(CCA)，带动态窗口的FBCCA(FBCCA-DW)，集成任务相关成分分析(TRCA)。

MEG与EEG的融合分析
考虑到混合权重需要训练数据，集成TRCA被选择作为融合分析的基本方法。首先，该研究将训练集分成k个块，并将其划分为验证训练集和验证测试集（k折交叉验证）。基于集成TRCA的MEG和EEG平均准确度分别被考虑为每个受试者的融合权重和。然后，该研究利用完整的训练数据集获取了集成TRCA模板和。接下来，基于模板和测试数据，使用集成TRCA方法计算解码结果和。最后，使用融合权重进行MEG-EEG融合分析（如图2所示），其中最大相关系数对应于目标频率。值得注意的是，独立的MEG和EEG记录实验的融合权重未在同时记录MEG-EEG实验的解码中使用。

为了全面比较不同信号模态的性能，该研究使用在2019年世界机器人大赛中开发的伪在线BCI系统（如图2所示）进行了同时记录的MEG-EEG数据的比较分析。数据传输模块将同时记录的测试数据、训练模板和融合权重加载到每个受试者的数据缓存池中。接下来，测试数据被打包并按顺序发送，类似于在线BCI系统中的TCP-IP通信。在目标识别过程中，测试数据中的触发器不断被检测。一旦检测到触发器，就会基于上述算法处理当前信号。报告模块实时报告不同信号模态的反馈。

▲图2 基于混合SSVEP的BCI系统的体系结构

MEG与EEG分离实验的结果

MEG与EEG的信号比较

该研究首先基于香农通道理论比较了SSVEFs和SSVEPs的优劣。图3C显示了使用相同模板（由刺激的八个谐波组成）和15通道数据计算得出的SSVEFs和SSVEPs的平均信噪比（SNR），以确保公正性。结果显示，SSVEFs的平均SNR（-10.46 dB）约比SSVEPs的平均SNR（-12.90 dB）高2.44 dB（p < .001）。图3D显示了在11.8 Hz时一个通道的SSVEFs和SSVEPs的平均振幅谱。这里该研究选择了两个位于枕骨上的位置相似的传感器（MEG：MZO02，EEG：Oz，如图3A-B所示）。值得注意的是，Oz是SSVEPs的最佳通道，而MZO02不是SSVEFs的最佳通道（图4A-B）。SSVEFs的高次谐波能更容易被识别。如图3E所示，SSVEPs中第五次谐波能量与基频的比值为7.21%。对于SSVEFs，第五次和第七次谐波相对于基频的能量比分别为16.03%和8.90%。图3F呈现了静息状态下MEG和EEG的功率谱密度（PSDs）根据Bundy等人，2014）的方法，将PSDs转换为归一化谱以在相同比例尺下进行比较。与先前的研究（Dehghani等人，2010；He，2014；Linkenkaer-Hansen等人，2001）类似，静息状态下的MEG和EEG PSDs呈现出幂律分布，MEG的频谱功率明显高于EEG。总之，这些结果表明，MEG比EEG提供了更宽的有效带宽，受益于组织的一致磁导率。接着，该研究进一步比较了SSVEFs和SSVEPs的空间和时间特征。如图4A-B所示，Oz是SSVEP传感器中SNR最大的位置。相反，具有更高SNR的SSVEFs传感器位于枕叶的两侧，并呈现右侧优势。在时间特性方面（图4C-D），SSVEPs枕部区域的所有通道都呈同向正相关，而SSVEFs枕部区域的左右通道呈反向相关。这些结果表明，SSVEFs表现出与SSVEPs不同的拓扑和相位分布。

▲图3 MEG和EEG信号比较。MEG（A）和EEG（B）的传感器分布。红色节点用于集合TRCA分类。皮层中的红色和绿色区域分别对应V1和V2。（C）15通道MEG / EEG在数据长度为5秒时的单试验平均SSVEFs和SSVEPs的信噪比统计。（D）11.8 Hz的SSVEFs和SSVEPs的平均振幅谱。（E）MZO02和Oz传感器所有频率的基波（1至8）与谐波能量比率。针对每个受试者，首先对8个试验进行平均以提高SSVEFs和SSVEPs的信噪比。振幅谱由快速傅里叶变换计算，并在22名受试者中进行平均。在C，D和E中，分析使用了单独的MEG和EEG录制实验的数据。（F）通过Welch时段方法估计的静息态MEG和EEG的功率谱密度，平均了16名受试者在同时录制实验中的数据。
图片

▲图4 该图展示了SSVEFs和SSVEPs的空间和时间特征。图中的顶层地形图（A和B）显示了在10 Hz时SSVEFs和SSVEPs的信号噪比（SNR）。每个传感器的SNR被平均并归一化以进行可视化。图（C和D）显示了枕部区域所有MEG通道和EEG通道之间在不同刺激频率下的相关系数。数据的长度为5秒。这些结果表明，与SSVEPs相比，SSVEFs呈现出不同的拓扑和相位分布特征，并且在枕叶区域的活动与左右通道之间具有反向相关性。

EEG & MEG单模态结果

在MEG与EEG单模态结果的分析中，该研究使用FBCCA-DW方法，基于参数优化后确定的参数和不同阈值ε从0.014到0.0146对MEG和EEG进行了分类准确率和ITR的平均值对比。结果显示，无论在哪个阈值下，MEG的准确率均高于EEG。最优阈值时，MEG和EEG的最高ITRs不同（MEG：ε=0.0145，EEG：ε=0.0143）。因此，在最优阈值下比较了MEG和EEG的解码性能。MEG的平均分类准确率和ITR分别为88.72±1.83%和124.79±7.64 bits/min，明显优于EEG（准确率：80.13±4.01%，p<0.05；ITR：104.05±11.54 bits/min，p<0.05）。MEG和EEG的平均刺激持续时间分别为1.74秒和2.10秒。可以看出，使用MEG时，被试需要大约2.24秒的时间（包括0.5秒的注视移动时间）输出一个字符或命令，而EEG则需要2.60秒。

▲图6 采用FBCCA-DW方法比较独立MEG和EEG记录的性能。使用不同阈值（ε从0.014到0.0146，步长为0.0001）的平均分类准确率（A）和信息传输速率（B）。‘○’代表MEG和EEG的最高ITR。

EEG & MEG融合分析结果

该研究使用集成TRCA方法研究了基于SSVER的BCI在不同信号模态下的表现。图7A展示了通道数量对ITR的影响。该研究首先基于每个受试者的训练数据计算每个通道的SNR，然后选择前Nc个通道进行解码。当传统的9个通道用于解码MEG和EEG时，ITR没有显著差异。当通道数增加到17时，EEG的ITR达到峰值，之后逐渐下降。MEG的ITR随着通道数量的增加迅速增加，最终趋于稳定。37通道MEG（270.50比特/分钟）和41通道MEG（267.99比特/分钟）之间的解码性能没有显著差异。考虑到选择的方便性和降低训练和测试阶段之间的间隔，该研究选择了41通道枕叶电极组（见图3A）进行集成TRCA解码。

图7B和C分别说明了基于集成TRCA方法的三种信号模态的平均分类精度和ITR。融合表示MEG和EEG数据的融合分析。在22名受试者中，无论数据长度如何，融合都实现了最高的表现。两因素重复测量方差分析表明，在不同信号模态（F（1.072，22.513）=19.986，p <0.001）和数据长度（F（1.163，24.427）=108.801，p <0.001）之间存在显著差异，以及这两个因素之间的显著交互作用（F（1.497，31.433）=6.98，p <0.01）。ITR趋势与分类精度一致。两因素重复测量方差分析进一步显示了不同信号模态（F（1.085，22.78）=26.279，p <0.001）和数据长度（F（1.127，23.674）=14.839，p <0.001）之间ITR的显著差异以及这两个因素之间的统计学显著交互作用（F（1.701，35.711）=14.841，p <0.001）。成对比较表明，在0.2至1秒的数据长度范围内，融合的解码性能显著优于MEG（p <0.01）和EEG（p <0.001），而MEG的解码性能显著优于EEG（p <0.005）。此外，如图7D所示，融合和MEG实现了最大的ITR，并且数据长度更短（融合：t = 300 ms，310.06 ± 15.99比特/分钟；MEG：t = 400 ms，267.99 ± 12.96比特/分钟；EEG ：t = 500 ms，182.92 ± 20.51比特/分钟）。单因素重复测量方差分析表明，在三种信号模态之间存在统计学显著差异（F（1.257，26.404）=41.247，p <0.005）。成对比较进一步表明，融合的ITR显着高于MEG（p <0.01）和EEG（p <0.001），而MEG的ITR高于EEG（p <0.01）。该研究中的EEG解码性能与先前的研究相当（Liu et al.，2021）。

▲图7 使用集成TRCA方法的不同模态的性能。(A)在使用不同数量的通道（9-41，步长为2）时，MEG和EEG的最大ITRs。最大ITR被定义为在所有数据持续时间（0.2-1秒，步长为0.1秒）中的平均最大ITR。(B)不同数据长度（0.2-1秒，步长为0.1秒）下三种信号模态的平均分类准确率和（C）ITR。进行了8倍交叉验证方法。(A-C)中的误差棒表示均值的标准误差（SEM）。(D) 三种信号模态的最大ITR。箱线图上的黑点表示异常值。A中的星号表示MEG和EEG之间成对t检验的显着差异，B和C中的星号表示通过单因素重复测量方差分析得出的三种信号模态之间的显着差异，D中的星号则表示成对t检验中每对信号模态之间的显着差异（* p <.05, ** p <.01, *** p <.001）。
图8说明了22个受试者在300毫秒数据长度下的融合权重和。MEG和EEG的平均融合权重分别为59％和41％。对于大多数受试者，MEG在融合分析中提供了更大的权重。

▲图8 MEG和EEG在独立MEG和EEG记录实验中对个体表现的贡献。饼状图表示数据长度为300毫秒时的融合权重和。
如图9所示，不同信号模态的性能随训练试次数的增加而提高。两因素（信号模态×训练试次数）重复测量方差分析表明，在不同模态之间存在分类精度（F（1.065，22.361）= 27.844，p <0.001）和ITR（F（1.102，23.14）= 26.004，p <0.001）的显著差异。信号模态和训练试次数之间也存在统计学显著交互作用（精度：F（2.515，52.816）= 2.393，p <0.05；ITR：F（3.198，67.163）=16.156，p <0.001）。成对比较表明，在使用不同数量的训练试次数（步长为1，2-7）时，融合在分类性能上显著优于MEG（p <0.005）和EEG（p <0.001），而MEG优于EEG（p <0.005）。

▲图9 使用集成TRCA方法时不同信号模态的平均分类准确度（A）和ITR（B），在不同数量的训练试次数（2-7，步长为1）下进行了比较。误差条表示SEM。在A和B中的星号表示通过单因素重复测量方差分析得到的三种信号模态之间的显著差异（*p <.05，**p <.01，***p <.001）。

总结
本文中详细的介绍了该研究的MEG与EEG分离实验的融合过程，在该研究原文中也详细的介绍了MEG与EEG同步实验的分析。该研究表明，在基于SSVER的BCI实验中，MEG在有效带宽和信噪比方面表现出优越性。此外，基于FBCCA-DW和集成TRCA方法的MEG实现了更高的信息传输率(ITRs)，也得益于SSVEF的时空特征和高空间分辨率。使用MEG可以提高BCI用户体验，特别是对于SSVEP基础的“BCI文盲”人群。通过所提出的融合分析，混合的SSVER-based BCI由于MEG和EEG信号互补作用而能够实现显著的性能提升。混合MEG-EEG BCI ，MEG和EEG的ITRs分别为312±17 bits/min、272±17 bits/min和240±27 bits/min，证明了双模式比单模式具有明显的增强效果。总而言之，该研究证实了MEG在SSVER范式中的方法学优势，并提供了高速混合式BCI的创新解决方案。

参考：

A hybrid steady-state visual evoked response-based brain-computer interface with MEG and EEG

—— End ——

更多脑机接口前沿技术，关注公众号：脑机接口社区