利用视听短片从自然刺激中获得开放的多模式iEEG-fMRI数据集

在认知神经科学领域，数据共享和开放科学变得越来越重要。虽然许多参与认知神经科学实验的志愿者的数据集现在是公开可用的，但颅内脑电图（iEEG）数据的共享相对较少。iEEG是一种高时间和空间分辨率的记录技术，通过在患者进行罕见的癫痫发作来源定位程序期间进行记录获得。与非侵入性记录技术相比，iEEG具有许多优点，如更好的信噪比和更精确的神经信号。iEEG对于研究高级认知过程（如语言、语义和概念表示）以及开发脑机接口具有重要意义。然而，由于收集困难和道德协议的限制，共享iEEG数据的机会相对较少。共享这些数据将有助于解决科学可重复性问题并促进更充分的数据利用。

近期，来自乌得勒支大学医学中心的Julia Berezutskaya等人展示了来自自然主义认知任务的第一个大型多模态iEEG-fMRI数据集。该数据集包含了51名参与者执行相同任务的大量iEEG数据，以及30名受试者的fMRI记录。其中18名参与者完成了iEEG和fMRI版本的任务。此外，数据使用丰富的视听刺激获取的，提供了详细的语音和视频注释。该数据集可用于研究多模态知觉和语言理解的神经机制，以及脑部记录模式之间的神经信号相似性。这项工作有可能促进iEEG领域的开放科学和数据共享，并支持整个认知神经科学界的开放研究实践。

研究方法

1.研究参与者

所有参与者都被接受进入乌得勒支大学医学中心进行与他们的难治性癫痫相关的诊断程序。他们接受了颅内电极植入以确定癫痫发作的来源，并测试手术切除相应脑组织的可能性。在51名植入了iEEG患者中，46名患者植入了颅内脑电图（ECoG）网格，6名患者额外植入了高密度（HD）ECoG网格。16名患者植入了深度脑电图（sEEG）电极。大多数患者的网格覆盖范围包括颞叶附近，且大多数患者的电极位于额叶和运动皮质（图1c）。45名患者在左半球植入了电极。9名患者在右半球植入了电极，3名患者在两个半球都植入了电极。作为术前评估的一部分，51名iEEG患者中的18名接受了fMRI记录，并参与了观看电影任务的fMRI版本。此外，还有另外12名只参与了fMRI实验的患者（总共包括30名参与者）。图1b显示了fMRI和iEEG参与者之间的重叠情况。

▲图1 实验和数据概述。

2.实验程序

2.1 观看电影实验（iEEG和fMRI）

短片观看任务是作为术前功能性语言映射的标准临床任务之一开发的。因此，大多数患者是根据临床要求执行此任务。在观看电影实验中，每位患者被要求观看由《Pippi Longstocking》系列电影片段组成的短片。参与者可以自由地以尽可能自然的环境观看电影。在fMRI实验中，视频通过扫描仪镜子传送到屏幕上，音频通过耳机传送。在iEEG实验中，视频在一台电脑屏幕上显示，直接放置在患者的房间中（与患者面部大约一米的距离），立体声音通过音响传送，音量调整到每位患者的合适水平。使用Presentation软件呈现电影，并将声音与神经记录同步。

2.2 静息态实验（iEEG）

在iEEG记录期间，26名iEEG患者参与了为期三分钟的静息态实验。

2.3 自然静息态数据（iEEG）

对于无法参与单独的静息态任务的患者，研究人员从每个患者连续的全天临床iEEG记录中选择了3分钟作为“自然静息”时段。

3.数据采集

在实验过程中，使用128通道记录系统获取了iEEG数据，通常在颞骨乳突部位放置一个外部参考电极作为信号参考。除了临床iEEG记录外，还有六名参与者植入了HD ECoG电极阵列，其中两名参与者使用Blackrock系统以2000 Hz记录了HD ECoG数据，同时使用Micromed记录了临床通道；另外四名参与者的HD ECoG数据通过Micromed以512 Hz进行记录的。此外，作为临床轨迹的一部分，还收集了额外的行为记录，包括心电图、肌电图、眼电图和呼吸频率。使用Philips Achieva 3T MRI扫描仪和3D-PRESTO获取功能性图像。

4.数据处理和验证

4.1 数据处理

在每位患者术后的计算机断层扫描中检测ECoG和sEEG电极，并将其与固有空间的解剖MRI配准。对ECoG电极位置进行额外的脑移位校正，并将其投影到脑组织上。图1c可视化了iEEG参与者的总电极覆盖范围。随后使用SPM12或Fieldtrip44工具箱对所有结构图像进行污损，以符合共享未识别医疗数据的要求。

4.2 数据验证

研究人员使用MNE-Python对每个受试者的 IEEG数据进行预处理。为了进行基本的检查，评估了HFB包络的普通最小二乘拟合，以确定患者对任务的反应。然后，使用Python软件包statsmodel进行拟合和统计分析，依次比较了患者在语音和音乐块期间的神经活动。此外，研究人员使用FSL对FMRI数据进行预处理，预处理步骤包括运动参数的估计、去趋势、低通滤波和空间平滑。为了评估基本数据质量，他们首先分析了运动位移图，并计算了每个体素的时间信噪比。受试者特异性和组水平的统计分析被用以比较fMRI对语音和音乐的反应，他们使用了oxcar函数和运动参数作为附加协变量，将通用线性模型拟合到fMRI数据中。最后，他们还将原始数据文件转换为BIDS（fMRI）和iBIDS（iEEG）格式，并使用BIDS Validator进行验证检查，使用MNE BIDS例程以及手动检查BIDS数据。

数据结果

目前，该数据集可以在https://openneuro.org/datasets/ds003688数据库中免费获取。数据按BIDS格式进行组织，具体信息可见图2。

▲图2 数据记录概述。

1.Stimulus（刺激）文件夹

此目录下提供了两个文件夹：sound（声音）和video（视频）（图2d，e），每个文件夹都包含相应影片流的注释。声音文件夹包含13个tsv文件。每个文件根据文件名中的特征包含了对配乐的注释。例如，sound_annotation_words.tsv是有关单词的起始和结束时间的注释。每个文件有三列：项目（根据特征，可以是单词、音素等）、其在秒数上的起始和结束时间。语言特征有七种注释：音素、音节、单词、动词、从句、句子和问题；个人故事角色有六种注释：皮皮、安妮卡、汤米、妈妈、爸爸和康拉德。

视频文件夹包含了135个tsv文件：129个用于单个视觉概念，6个用于单个故事角色。视觉概念列表是基于视觉概念识别模型确定的，该模型会自动标记每帧上的视觉对象和概念，以便进行检测（详见方法部分获取更多细节）。每个文件包含两列：起始时间和结束时间（以秒为单位）。

2.参与者数据文件夹

每个参与者的文件夹包含一个或两个目录，取决于可用的脑记录类型。对于同时具有fMRI和iEEG数据的患者，文件夹包含两个目录，分别对应(f)MRI和iEEG（例如，ses-3t1和ses-iemu1）。对于仅有iEEG数据的患者，文件夹仍然包含两个目录，而MRI目录仅包含结构性MRI扫描。对于仅有fMRI数据的患者，只有一个目录对应。关于(f)MRI和iEEG的个体细节可能因参与者而异，例如，一个患者拥有7T MRI扫描，因此他们的(f)MRI文件夹命名为ses-7t1。

2.1 IEEG文件夹

iEEG记录存储在特定于患者的iEEG文件夹中（例如，ses-iemu1）。该文件夹包含所有与iEEG相关的信息，包括

临床iEEG（acq-clinical_electrodes.tsv）和HD ECoG（acq-HGgrid_electrodes.tsv）电极的位置，以及包含电极元数据的sidecar json文件；
根据电极类型（'ecog'、'seeg'和'HD'），在原始受试者空间中使用SPM12生成的皮层网格或Freesurfer表面重建，绘制电极位置的渲染图像（render_photo.jpg）；
包含记录通道的文件（*channels.tsv）；
包含实验事件的文件（*events.tsv）；
以BrainVision格式（*ieeg.eeg、*ieeg.vmrk、*ieeg.vhdr）提供了iEEG记录的主文件。

2.2 (F)MRI文件夹

所有参与者都有一个对应于(f)MRI记录会话的文件夹（例如，ses-3t1）。该文件夹包含来自电影观看实验的解剖MRI扫描（anat目录）和功能MRI数据（func目录）（。(F)MRI数据以NIfTI格式提供，附带存储额外元数据的sidecar json文件。

技术验证

1.iEEG数据验证

1.1 不良iEEG通道

研究人员对不良通道和推荐用于分析的通道进行了总结。被标记为不良的通道也被排除在下面呈现的结果之外。这些电极要么根据数据的可视检查被认为是嘈杂的，要么根据植入或拆除手术的照片发现它们位于其他电极的上方。只有四位参与者的颅内电极中有超过10%被标记为不良通道，而参与者之间的良好通道的中位数为79（图3a）。

▲图3 iEEG（a-g）和fMRI（h-n）中的技术数据验证。

1.2 对视听电影任务的反应

研究人员进行了回归分析，比较了在语音块和音乐块期间的高频带（HFB）反应。将显著性水平为p < 0.001的正t统计结果（随后根据电极总数进行Bonferroni校正）映射到脑表面上。图3f图显示，在双侧的周围沟回区域以及左半球的额下回、前运动皮层和运动皮层中，对语音块的偏好优于音乐块。

此外，他们计算了除了HFB之外的频带中的平均功率变化，并将其在不同条件下进行了比较：语音、音乐和休息。分别计算了三个比较的带符号R2值：语音与音乐、语音与任务休息以及语音与自然休息，并计算了delta、theta、alpha、beta和HFB平均功率信号的R2值，在p < 0.05时显著（图3c-e）。与其他研究一致，HFB响应的平均模式与较低频带（theta和alpha）的模式相反。语音与休息比较和语音与音乐比较之间显著的差异是在休息期间beta频带中正的R2更为显著。

1.3 静息状态任务和自然静息状态数据

为了对任务中的休息数据和连续24/7记录的自然休息数据进行一定形式的比较，研究人员报告了语音与任务休息和语音与自然休息的R2值（图3d、e）。结果表明，在所有频带上，这两个图形看起来都非常相似，并且表明无论哪种类型的休息状态都可以作为研究语音响应的基线或对照条件。

2.FMRI数据验证

2.1 运动分析

基于作为FSL预处理流程的一部分获得的运动参数，研究人员计算了参与者在扫描仪中头部的逐帧位移（图3h）。结果显示，总体上，超过一个体素大小的运动很少。基于运动的异常值分析显示，只有五位参与者的功能性体积中超过5％被标记为异常值（图3i）。

2.2 时间信噪比（tSNR）

tSNR是衡量信号采集和噪声对时间的影响的指标。它可以用来估计需要多少扫描时间来检测数据中不同强度的统计效应。结果表明，参与者整个大脑的平均tSNR为66.34 ± 16.13，与健康志愿者（≈70）的fMRI数据集通常报告的数值相差不大（图3j）。对脑图的检查显示，颞前叶和眶额皮层的tSNR值较低，这是一种典型的模式（图3k）。在脑回的背侧也观察到一些较低的tSNR值。这可能是由于大的体素大小引起的部分体积效应。

2.3 对视听电影任务的响应

随后，研究人员拟合了一个通用的线性模型，、分析评估了参与者对视听电影任务的总体反应。结果表明，在通常与听觉和语言处理相关的大脑区域，包括双侧颞上回、左额下回、双侧中央前回和双侧补充运动皮层，都有很强的影响（图3l–n）。

使用说明

1.iEEG数据

1.1已知问题

（1）EEG电极在左半球的覆盖范围比右半球更密集，在解读结果时需要考虑这一点，并可能需要侧重于语言主导的半球；

（2）由于组织切除、液体积聚或病理等因素影响电极下的组织，准确估计电极位置在一些案例中具有挑战性。

（3）在一个参与者（“sub-44”）中，无法同时记录HD和临床ECoG数据，需要在数据处理过程中进行电极脑区切换。

（4）在一个参与者（“sub-29”）的静息状态记录中，HD和临床ECoG数据之间没有时间同步。这是由于记录设置中的错误造成的。

（5）一个参与者（“sub-32”）的静息状态iEEG数据缺失。临床中没有该患者的连续24/7记录数据可用。

1.2额外说明

（1）总体上，癫痫患者记录的iEEG响应与健康对照组类似，但个别患者的数据可能会受到癫痫或间歇期事件的影响；

（2）研究人员通过视觉检查、计算信号的基本统计量以及植入或摘除手术的照片来剔除损坏通道。目前，已有研究表明了几种替代方法来自动化这个过程。

（3）建议将HD ECoG和sEEG数据与临床ECoG数据分开处理。

（4）iEEG通道间的生理测量（心电图、呼吸和眼电图）是有价值的信息源。

（5）休息状态数据是另一个有用的信息来源。它们可以作为任务数据的基线，并且也可以通过探索任务无关的神经活动的内部动态来研究。

（6）同时进行iEEG和fMRI任务的参与者观看了短片两次：首先在MRI扫描仪中，然后在iEEG记录期间。通常，在fMRI和iEEG会话之间至少有几天（有时是几周）。尽管如此，数据集用户可能需要注意，在iEEG记录时，这些患者已经熟悉了之前fMRI实验中的电影。

2.FMRI数据

（1）PRESTO扫描与标准的回波共振成像（EPI）序列相比具有更优越的时间分辨率。PRESTO是一个3D序列，因此在处理这些数据时不需要进行切片时间校正，同时，由于PRESTO fMRI扫描具有3D特性，运动效应与2D EPI中观察到的效应不同。由于在PRESTO采集过程中大部分运动已经进行了校正，使用运动参数进行运动伪影校正可能对数据没有益处；

（2）在四个fMRI参与者中，估计的运动量超过了一个体素大小（4mm）。这种过度运动是因为所有fMRI数据都来自癫痫患者。这是研究人员有意为之的，因为fMRI数据旨在与iEEG记录相辅相成，因此他们提供了大量的同时进行两种记录模式任务的患者数据。然而，与健康志愿者相比，患者在扫描仪中保持静止的程度较低。可以通过包含高级运动校正方法的软件，例如fMRIprep和SPM的ArtRepair工具箱来解决这种运动问题。

3.其他问题

（1）音频视觉电影的配乐最初是瑞典语。对于荷兰患者进行的所有实验，其中许多是儿童，因此研究人员使用了荷兰语配音的电影版本；

（2）四名参与者（'sub-11'，'sub-37'，'sub-49'和'sub-63'）缺少他们的惯用手信息；

（3）四名参与者（'sub-01'，'sub-11'，'sub-30'和'sub-33'）缺少他们的语言优势半球的信息。

综上所述，这项研究首次公开了一个从一大群人类受试者观看视听短片时收集的数据集。该数据集是使用丰富的视听刺激获取，包括了大量的iEEG数据和在同一任务中的fMRI数据。可用于针对认知神经科学中的许多理论、方法和应用问题，包括语言、听觉、视觉和多模态感知；iEEG信号的内部动力学研究；以及在相同任务期间对iEEG-fMRI耦合的研究。能够促进iEEG领域的开放科学和数据共享，并支持整个认知神经科学界的开放研究实践。

参考来源：

Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film

—— End ——

仅用于学术分享，若侵权请留言，即时删侵！

更多阅读

脑机接口、脑波和fMRI，AI正在掌握读心术

获批FDA！创新头戴式脑电设备

这个脑机接口实现每分钟超60个单词的意念说话

人类意识的大脑模式