通过几何映射将二维自然图像的迁移学习应用于四维功能性磁共振成像（fMRI）脑图像

时间：2026年1月19日

来源：Medical Image Analysis

编辑推荐：

本文提出基于几何映射的多尺度多域特征聚合方法，将4D脑fMRI数据映射为2D图像以适配自然图像预训练模型，解决小样本高维数据挑战，在性别分类、年龄估计等任务中达到SOTA性能，并验证级联迁移学习在抑郁症诊断的有效性。

北京基础医学科学研究所脑科学中心，中国北京

摘要

功能性磁共振成像（fMRI）通过血氧水平依赖（BOLD）信号实现大脑活动的实时观察，广泛应用于性别分类、年龄估计、行为测量预测和精神障碍诊断等领域的研究。然而，由于fMRI数据集样本量较小，深度学习技术在脑fMRI分析中的应用受到限制。迁移学习为这一问题提供了解决方案，但现有方法大多针对大规模2D自然图像设计。4D fMRI数据与2D自然图像之间的异质性使得直接模型迁移变得不可行。本研究提出了一种基于几何映射的fMRI迁移学习方法，能够实现从2D自然图像到4D fMRI脑图像的迁移学习，从而弥合了fMRI数据与自然图像之间的差距。所提出的多尺度多域特征聚合（MMFA）模块提取了有效的聚合特征，并将fMRI数据的维度降低到3D空间。通过将大脑皮层视为3D空间中的折叠黎曼流形，并使用表面几何映射将其映射到2D空间，我们实现了从2D自然图像到4D脑图像的迁移学习。此外，该方法保持了大脑皮层的拓扑结构，计算沿着大脑的黎曼流形进行，有效解决了信号干扰问题。基于人类连接组计划（HCP）数据集的实验结果证明了该方法的有效性。我们的方法在性别分类、年龄估计和行为测量预测任务中取得了最先进的性能。此外，我们还提出了一种用于抑郁症诊断的级联迁移学习方法，并在23个抑郁症数据集上证明了其有效性。总之，所提出的fMRI迁移学习方法考虑了大脑的结构特征，有望将迁移学习应用于脑fMRI图像，显著提升了各种fMRI分析任务的性能。

引言

功能性磁共振成像（fMRI）是一种非侵入性神经成像技术，近年来受到了广泛关注（Ogawa和Lee，1990年）。fMRI能够实时观察大脑中的局部血氧水平依赖（BOLD）信号，这些信号反映了大脑功能活动的变化（Ogawa等人，1990年）。fMRI在神经科学中发挥着重要作用，被广泛应用于性别分类、年龄估计、认知功能评估和疾病诊断等任务中。它有助于阐明大脑的工作原理，并推动临床治疗、认知功能训练和神经科学研究的进步（Glover，2011年；Logothetis，2008年；Matthews和Jezzard，2004年）。多种机器学习方法已被应用于fMRI数据分析，并取得了令人满意的结果（Arbabshirani等人，2017年）。然而，这些方法在处理复杂的fMRI数据时存在某些局限性，如复杂的数据预处理、特征提取的不稳定性以及较低的准确性（Khosla等人，2019年；Lemm等人，2011年）。与传统机器学习方法相比，深度学习方法在脑图像分析任务中具有更强的建模能力和更高的精度，因此近年来已成为fMRI分析的重要技术（LeCun等人，2015年；Plis等人，2014年；Taye，2023年）。尽管深度学习在fMRI图像分析中具有巨大潜力，但仍存在一些需要解决的挑战。（1）首先，深度学习方法需要大量数据进行模型训练，而fMRI数据集通常规模较小。因此，深度学习模型的性能可能受到训练数据集大小的限制。尽管可以通过迁移学习提高小样本数据集的学习效率，但现有的迁移学习模型通常是用大规模2D自然图像数据集训练的，这样的2D预训练模型无法直接应用于4D fMRI数据（Pan和Yang，2009年）。一些研究提出通过将4D fMRI数据转换为2D图像切片来进行迁移学习，但这可能导致时间和空间信息的丢失，以及大脑全局拓扑结构的破坏（Hu等人，2019年）。（2）其次，大多数现有的深度学习方法（如卷积神经网络CNN）基于欧几里得距离，这不适合大脑图像的结构特征，从而导致结果不理想（Litjens等人，2017年）。由于大脑皮层的折叠，3D欧几里得空间中相邻的体素在解剖学或功能上可能相距甚远（Fernández等人，2016年）。基于这些方法的fMRI研究忽略了大脑皮层具有复杂的非欧几里得结构（包括折叠的沟和回）这一事实（Gopinath等人，2020年；Zhang等人，2020年）。因此，使用基于欧几里得距离的模型分析fMRI数据可能导致不同脑区之间的信号干扰，并破坏大脑的拓扑结构（Bronstein等人，2017年）。相比之下，使用沿皮质表面的测地距离可能更好地符合大脑的神经生物学基础，提高深度学习模型与脑图像的兼容性（Gao等人，2022年）。（3）第三，fMRI数据的极高维度常常影响深度学习模型的性能。因此，必须降低fMRI数据的维度。然而，大多数研究仅采用单尺度或单域的降维方法，无法完全提取fMRI数据中的所有有效特征，从而导致信息丢失（Tang等人，2021年）。为了解决上述挑战，我们开发了一种基于面积保持几何映射的新fMRI迁移学习方法。该方法的结构概述如图1所示。该方法强调了大脑的结构特征，利用所提出的fMRI几何映射和多尺度多域特征聚合（MMFA）方法将高维4D fMRI数据转换为2D图像，从而实现了基于大规模2D自然图像的fMRI数据迁移学习。具体来说，我们使用FreeSurfer预处理fMRI数据，并将大脑皮层转换为表面网格数据（Fischl，2012年）。随后，利用所提出的MMFA方法分别在频率、空间和时间域提取顶点级、局部级和全局级特征。在此步骤中，消除了时间维度，并将4D fMRI数据转换为3D表面网格。接下来，我们利用基于最优传输理论的面积保持几何映射将大脑表面映射到规则的2D平面网格，然后将其转换为2D图像。最后的迁移学习阶段包括模型的预训练和微调。模型在大型自然图像数据集（Deng等人，2009年）上进行预训练，然后使用为不同任务获取的2D fMRI图像进行微调。

数据集和预处理

本研究使用人类连接组计划（HCP）数据集进行性别分类、年龄估计和行为测量预测任务（Van Essen等人，2013年）。HCP S1200版本提供了1096名健康成年人的静息态fMRI图像和58项行为测量数据，其中包括500名男性和596名女性。参与者的年龄范围为22至37岁，平均年龄为28.78±3.69岁（Elam等人，2021年）。fMRI数据使用3T西门子扫描仪收集。

实施细节

模型在配备8核Intel E5 2609处理器和NVIDIA Tesla-A100 GPU的Ubuntu 18.04.1服务器上进行了训练。代码使用PyTorch框架用Python编写（Paszke等人，2019年）。采用ResNet-50作为基础模型，该模型主要由4个阶段组成，分别包含3个、4个、6个和3个残差块。每个残差块包含两个1×1和一个3×3的卷积层（He等人，2016年）。架构如图3所示。此外，我们还使用了...

讨论

本文提出了一种基于最优质量传输几何映射的新型fMRI脑图像迁移学习方法，有效弥合了2D自然图像和4D fMRI脑数据之间的差距，解决了fMRI分析中的关键挑战。传统方法往往难以处理4D脑fMRI数据与2D自然图像基础架构之间的几何不匹配问题，导致fMRI分析结果不理想。通过整合面积保持几何...

结论

在这项研究中，我们提出了一种创新的fMRI迁移学习方法，该方法考虑了大脑皮层的结构特征。我们的方法利用面积保持几何映射和MMFA模块，促进了从2D自然图像到4D fMRI脑图像的迁移学习。我们的方法减少了深度学习模型对大规模fMRI数据集的依赖，在HCP数据集上的性别分类、年龄估计和行为测量预测任务中取得了最先进的性能。

作者贡献声明

Kai Gao：方法论、软件、撰写-原始草稿、可视化。Yizheng Wang：资源、项目管理、资金获取。Lubin Wang：软件、撰写-审阅与编辑。Liang Li：资源、数据管理、验证。Dewen Hu：概念化、项目管理、资金获取。Xiao Chen, Bin Lu, Yu-Wei Wang, Xue-Ying Li, Zi-Han Wang, Hui-Xian Li, Yi-Fan Liao, Li-Ping Cao, Guan-Mao Chen, Jian-Shan Chen, Tao Chen, Tao-Lin Chen, Yan-Rong Chen, Yu-Qi Cheng：

CRediT作者贡献声明

Kai Gao：撰写-原始草稿、方法论、软件、可视化。Lubin Wang：撰写-审阅与编辑、软件、形式分析。Liang Li：数据管理、资源、验证。Xiao Chen：Bin Lu：Yu-Wei Wang：Xue-Ying Li：Zi-Han Wang：Hui-Xian Li：Yi-Fan Liao：Li-Ping Cao：Guan-Mao Chen：Jian-Shan Chen：Tao Chen：Tao-Lin Chen：Yan-Rong Chen：Yu-Qi Cheng：Zhao-Song Chu：Shi-Xian Cui：Xi-Long Cui：Zhao-Yu Deng：Qing-Lin Gao：Qi-Yong Gong：Wen-Bin：