编辑推荐:
本研究通过整合功能磁共振成像(fMRI)、深度学习眼动预测和语言建模技术,揭示了记忆检索过程中神经重激活(neural reactivation)与眼动重现(gaze reinstatement)的协同机制。研究人员基于"Sherlock电影观看数据集",发现眼动行为与神经活动遵循相同的事件特异性原则,且在观看与回忆任务间具有显著泛化性。该研究为理解记忆检索的神经行为机制提供了新视角,证实了视觉系统功能组织对记忆过程的约束作用。
当我们回忆过去时,大脑会神奇地重现当初的经历。这种记忆检索过程不仅涉及神经活动的重激活(neural reactivation),还伴随着眼动轨迹的重现(gaze reinstatement)。这两种现象虽然被广泛研究,但它们之间的关系却始终是个谜。视觉系统与记忆系统在进化过程中形成的紧密联系提示我们,眼动行为与神经活动可能共享着相同的功能约束机制。然而,在自然情境下,这种关联如何体现在复杂叙事事件的回忆过程中?这正是Matthias Nau团队在《Nature Communications》上发表的最新研究要解答的核心问题。
研究人员采用了三项关键技术:1)基于"Sherlock电影观看数据集"的功能磁共振成像(fMRI)技术,采集16名参与者在观看和回忆BBC剧集时的脑活动数据;2)深度学习眼动预测技术(DeepGaze IIE和DeepMReye),分析13名参与者的眼动轨迹;3)语言模型(sBERT)分析21名参与者的口语回忆内容。通过整合这些多模态数据,研究团队构建了完整的神经-行为分析框架。
研究结果部分包含多个重要发现:
"研究设计与实证测量"部分详细描述了实验方案。研究采用两个独立数据集:包含fMRI数据的Dataset 1(16人)和桌面眼动数据的Dataset 2(21人)。参与者观看48分钟的"Sherlock"剧集后,按时间顺序详细回忆剧情。这种自然主义范式为研究真实场景下的记忆过程提供了理想条件。
"口语回忆遵循电影事件结构"部分通过语言模型分析证实,参与者的回忆不仅保持了原始事件顺序,还保留了事件间的语义关系。sBERT模型生成的句子嵌入显示,两个数据集的回忆模式高度相似,表明回忆具有可靠的事件特异性。
"观看行为具有事件特异性且跨参与者一致"部分揭示了惊人的发现。如图2所示,参与者的眼动模式在叙事事件间存在显著差异,且这种差异在两个独立数据集中高度一致。眼动参数(扫视速率、幅度和持续时间)的事件间变异具有跨数据集可重复性。值得注意的是,这种模式更多由电影视觉内容而非叙事内容驱动,这通过DeepGaze IIE模型生成的显著性图得到验证。
"眼体素事件分割揭示眼动重现证据"部分采用隐马尔可夫模型(HMM)分析眼体素(MReye)信号。研究发现,基于135个模型事件训练的HMM不仅能准确识别人类标注的事件边界,还能在回忆数据中检测到眼动模式的重现。这一结果首次证明,眼动轨迹的信息可以从fMRI信号中解码,并在回忆过程中部分重现。
"观看和回忆期间眼动依赖脑活动的重叠"部分展示了最关键的发现。如图4所示,基于眼动幅度的广义线性模型分析显示,观看和回忆任务都激活了包括枕叶、内侧顶叶、颞叶和前额叶皮层在内的广泛脑区。通过搜索光分析发现,这些眼动依赖的脑活动模式在两项任务间存在显著重叠,特别是在视觉相关皮层呈现正相关,而在前顶叶和前额叶皮层呈现负相关。
研究结论部分提出了创新性理论框架:神经重激活与眼动重现通过共同的神经机制相联系,这种机制根植于神经系统在进化过程中形成的功能组织。记忆检索过程实质上利用了与自然视觉相同的"采样"机制,眼动不仅反映了记忆内容,还可能主动参与记忆重建过程。这一发现为理解记忆的神经基础提供了新视角,强调了在记忆研究中整合神经与行为数据的必要性。
该研究的创新价值体现在三个方面:方法学上,开发了基于fMRI的眼动解码技术,为利用现有脑成像数据研究眼动行为开辟了新途径;理论上,统一了神经重激活与眼动重现现象,提出了基于功能约束的整合解释;应用上,为记忆障碍的神经行为标记物开发提供了新思路。正如作者所言:"眼动不应被视为记忆研究的干扰因素,而应被视为研究机制的内在组成部分。"这一观点将深刻影响未来记忆研究的实验设计与理论构建。
生物通 版权所有