Neuroimage Denoiser for removing noise from transient 1 fluorescent signals in functional imaging.

Summary

Neuroimage Denoiser，这是一种新型的基于U-Net的模型，可以有效去除显微镜记录中瞬时局部荧光信号的噪声。该模型使去噪过程与记录频率和传感器的动力学无关。该框架易于使用，适用于去噪和训练，且对硬件要求极低，因此使普通实验室也能够创建特定于其实验设置的定制版本。Neuroimage Denoiser通过有效去除噪声，显著提升了功能性显微镜记录的质量，从而促进了对神经活动的更准确和可靠的分析。

Synaptic ROI and Threshold

使用Fiji（版本1.54f）手动选择圆形突触感兴趣区域（ROIs），并将其直径设置为9个像素。突触沿z轴的平均轨迹通过Fiji（版本1.54f）或Python（版本3.10.14）与roifile（版本v2024.3.29）提取。在平均轨迹上，使用numpy（版本1.26.4）基于第一次刺激前的基线帧计算阈值，公式如下：

每当平均轨迹超过计算出的阈值（由thresholdmult设置），即被认为是一个响应。

Preparing Training Data

训练深度学习模型对前景和背景之间的不平衡非常敏感。突触谷氨酸响应的显微镜记录由于小突触在定义响应突触为前景时稀疏响应，因此以背景为主。因此，可用数据经过过滤以活跃区域和帧去除背景（图1a）。我们将记录帧转化为活动图以有效过滤。首先，通过像素级滚动窗口（沿50帧）z标准化来转换数据（图1b）。滚动窗口适应记录中的潜在漂白。

活动图逐帧计算，表示每帧每个空间位置的局部区域内的最大z分数。每帧被分割成预定义大小为32 x 32像素的块，以计算活动图。通过在块上滑动一个方形内核（步长为1）并计算内核在每个位置的平均强度，将块分配给内核平均区域的最大值（图1c，右）。内核大小对应于预期的最小感兴趣区域（ROI）大小，反映所研究结构的空间范围（在我们的设置中，突触为6个像素）。活动图通过将每个块分配给内核平均最大值，有效捕捉并突出显示可能是神经活动指示的高强度波动区域。接下来，这些活动图过滤出超过最低z分数3的块。随后，计算像素级z分数（不使用滚动窗口），并使用h5py（版本3.11.0）将转换后的块存储在h5文件中进行训练。Neuroimage Denoiser可以运行在存储多个记录的整个目录上，并将自动准备训练数据，无需人工干预。此外，实现了一个内存优化版本，在运行时间更长的情况下需要更少的RAM。

图1 a）训练数据准备的示意图。准备工作旨在增加前景（记录中有响应的突触/体细胞的块）相对于背景（无响应帧或块），并将它们存储在h5文件中用于训练。b）训练数据准备的z标准化是使用滚动窗口逐像素计算的，以考虑记录期间可能发生的漂白。c）在训练数据准备步骤中，为记录的每一帧计算活动图的示意图。帧被分割成大小相等的块。对于每个块，计算给定大小的每个可能ROI的平均z分数，并且每当这个平均z分数超过设定阈值时，该块就会被添加到训练数据中。左图：将一帧分割成块并应用平均滤波器；右图：对大小为6的ROI块应用平均滤波器。d）训练过程的示意图。Xtrain代表模型预测所依据的输入，并将结果与ytrain进行比较。f）推理/去噪过程的示意图。推理是在z标准化表示的记录上完成的，去噪后恢复原始表示。

Model Architecture and Training

U-Net模型具有单输入和输出通道（图1a）。U-Net架构由编码器和解码器组成。编码器包含包含两个3x3卷积层、ReLU激活和批量归一化的块，后跟一个2D最大池化层用于下采样。这些块称为下块。跳跃连接将相应的下块连接到解码器中的上块，无需任何处理。

解码器包含上块，每个上块由一个用于上采样的2D转置卷积层组成，随后与来自相应下块的特征图进行拼接（跳跃连接）。然后将该拼接输出通过两个3x3卷积层、ReLU激活和批量归一化处理。最终层是一个1x1的2D卷积层，将特征向量映射到去噪图像。该架构允许网络捕捉局部和全局特征，从而实现输入图像的准确去噪。使用全卷积模型而不是密集层允许在推理期间灵活输入图像大小，仅受限于GPU内存，克服了固定训练输入的限制。

训练是在包含活跃突触的z变换块上进行的，使用批量大小为64、学习率为0.0001的ADAM优化器，在一块消费者级NVIDIA GeForce 2060 Super显卡（8GB vRAM）上进行一个时期。进行了表1中列出的参数的网格搜索，以找到适合训练的参数组合。模型的目标是在保持峰响应幅度完整性的同时减少记录中的噪声。

为了评估模型在保持神经响应幅度方面的表现，在原始记录数据中手动识别出显示明确刺激诱导响应的感兴趣区域（ROI）。在呈现刺激后，测量这些ROI内的峰响应幅度。训练模型后，分析去噪输出中的相同ROI，并提取相应的峰响应幅度。通过使用scikit-learn（版本1.5.0）在所有ROI之间计算原始和去噪峰幅度之间的平均绝对百分比误差（MAPE），量化模型在保持响应幅度方面的准确性。使用scipy计算原始和去噪峰幅度之间的相关性。

此外，模型有效去除显微镜记录中的噪声至关重要。这通过记录中无响应部分的标准偏差来衡量。

两个指标（MAPE和标准偏差）排名，并计算综合评分。根据获得的最小综合评分选择表现最好的模型（补充表1）。

表1模型优化参数：此表列出了在优化Neuroimage Denoiser模型期间测试的各种参数。对于每个参数，测试了不同变量以确定最有效的配置。“最佳表现模型”列出了基于评估指标表现最佳的值。

Inference/Denoising

使用Neuroimage Denoiser进行去噪（或推理）可以在单张图像或包含多个子目录的整个目录中进行，同时保持原始文件夹结构。该过程在图1e中示意性地展示。首先，输入图像使用tifffile（版本2023.12.9）或nd2（版本0.8.1）分别以tiff或nd2格式加载，并应用z标准化（沿时间轴，无滚动窗口）。每个像素的均值和标准差被临时保存。Neuroimage Denoiser对z标准化帧进行去噪，随后将结果帧使用保存的均值和标准差转换回强度值。去噪后的图像使用tifffile（版本2023.12.9）保存为tiff文件。

Results

与钙成像相比，去噪谷氨酸成像数据具有独特的挑战，因为谷氨酸传感器的速度快了几个数量级，并且突触定位导致相对于体细胞钙记录的前景信号显著减少。在此，我们介绍了Neuroimage Denoiser，一种基于U-Net的成像去噪工具（图1a），专门训练用于去除显微谷氨酸时间序列记录中的噪声。

为了调整训练数据集以应对谷氨酸成像数据所带来的挑战，训练准备步骤会自动筛选记录，以识别显示活跃突触信号的帧和区域（图1a），无需人工干预。该筛选可以适应不同的ROI大小，代表传感器定位的生物结构的像素大小。我们将ROI大小设置为6个像素，以考虑在我们的显微设置中承载传感器的突触大小。

最初，我们探索了以DeepInterpolation3风格训练模型的方法。DeepInterpolation基于目标帧前后的一定数量帧（npre, npost）预测目标帧3。为了考虑iGluSnFR3传感器相比Gcamp6f的快速动态，我们设置了npre = 5和npost = 5，模型预测中间的目标帧（补充图1a）。然而，这种时间插值方法虽然对较慢的钙动态有效，但未能充分保持快速的谷氨酸响应，并导致幅度中的伪影（补充图1b）。

鉴于DeepInterpolation策略在捕捉这些快速突触信号方面的局限性，我们转向Lehtinen及其同事提出的Noise2Noise概念。他们的工作通过向噪声图像添加人工噪声，训练网络区分信号与噪声模式，实现了无需真实数据的图像恢复。利用这种方法，Neuroimage Denoiser根据Noise2Noise方法在单个帧上进行训练，从而避免了对记录频率或传感器动态的依赖。因此，训练后的模型可以应用于具有相似定位的广泛传感器，而与记录频率无关。

图2 a）Neuroimage Denoiser使用的架构示意图为U-Net20，具有一个输入和输出通道。数据通过网络的编码器和解码器部分，同时跳跃连接保留未变换的数据。卷积层（橙色）使用带有ReLU激活的3x3滤波器。输出层是一个不使用激活函数的线性层。b）以100Hz采集的谷氨酸记录的代表区域。刺激在帧100给出，峰值响应在帧102。去噪后，幅度高度和时间点得到良好保留，噪声水平最小。c）Neuroimage Denoiser去噪的手动选择ROI的幅度高度与原始幅度高度测试，显示出高度相关性（R=0.9966，p<0.0001）。d）测试帧大小为50到800像素（平均值为1,000帧记录的三次重复）的去噪推理速度（每秒帧数）。图像根据图1e处理。

discussion

在本手稿中，我们介绍了Neuroimage Denoiser，这是一种基于U-Net20的深度学习框架，用于降低显微成像记录中的噪声水平。通过结合Noise2Noise27的概念，Neuroimage Denoiser框架对于各种实验设置具有高度灵活性，不需要为改变的参数重新训练。过去，研究人员开发了几种传感器，用于研究单个突触水平上的钙28、GABA29、多巴胺30、乙酰胆碱31和谷氨酸11,29的功能神经生物学动态。这些记录无论传感器和采集速率如何，都会叠加噪声。因此，一个在具有相同定位时能够去噪记录的统一模型将极大简化下游处理。因此，我们通过将去噪程序应用于改变的参数，即记录频率（图3）和传感器（图4），并获得了令人信服的结果。所提出的框架能够显著减少具有快速动态的实验中的噪声，这在使用先前描述的深度学习框架3时会导致响应中的伪影（补充图1）。Neuroimage Denoiser的一个优点是能够保持突触响应的幅度，如去噪和原始响应之间的高度相关性（R = 0.9966，p < 0.0001）所证明的（图2c）。此外，改进的信噪比有助于空间上解析复杂的突触（图3），这可以简化自发活动的分析，并可用作分子操作的功能读数，以定义特定突触中的释放机制。

我们预计Neuroimage Denoiser可以在许多实验室中采用，因为它对硬件要求最低，并且训练数据的准备是自动平衡以获得最佳结果。该框架易于用于数据准备、训练、网格搜索和推理（去噪），不需要额外的编程知识，使其对神经科学领域的广泛研究人员可及。虽然谷氨酸成像作为一种神经记录方法可以提供丰富而多样的数据集，但这些数据具有高复杂性，存在许多破坏性元素，如噪声、明亮的传感器沉积或传感器的囊泡运输，使得在记录的响应区域上创建地面真实数据进行模型训练具有挑战性。我们的训练数据准备程序提供了一种平衡训练数据的方法，而无需耗时的手动干预和管理。我们测试了几个潜在的训练参数（表1），以选择最具性能的参数组合，然而，用户可以自由选择适合其实验设置和分析的组合。

Neuroimage Denoiser被预期为快速响应的框架，专门训练用于去噪谷氨酸成像记录。然而，其灵活性确保它适用于各种典型的功能实验，以提高信噪比。