综述：基于人工智能的多模态学习在精神病学中的应用：一项综述性研究

时间：2026年3月31日

来源：Biological Psychiatry: Cognitive Neuroscience and Neuroimaging

编辑推荐：

本文系统综述了人工智能在精神医学中多模态数据整合与分析的应用，探讨其通过融合文本、神经影像、生理信号等数据提升诊断精度和预后预测的前景，同时分析数据与模型相关挑战，并提出跨学科合作和大型语言模型的发展方向。

美国佛罗里达州杰克逊维尔市梅奥诊所人工智能与信息学系，邮编32224

摘要

精神疾病具有高度异质性，其形成受到遗传、神经生物学、认知、社会和行为因素之间复杂相互作用的影响。传统的单一模式方法往往难以捕捉这种复杂性，从而限制了诊断的精确度和预测的准确性。整合多种数据模式为推进精准精神病学提供了巨大潜力，使我们能够更细致、全面地了解精神疾病。人工智能（AI）的最新发展，尤其是机器学习（ML）和深度学习（DL），加速了大规模处理复杂多模态数据集的能力。本综述系统地探讨了在精神病学研究中通过先进AI模型整合和分析多模态数据源的方法，涵盖了三个关键方面：（1）主要数据模式，包括文本（如临床评估和问卷）、神经影像学、电生理信号、音频和视频记录以及分子和多组学数据；（2）基于AI的多模态学习方法，包括特征融合策略以及从传统ML到DL和Transformers的各种先进方法论范式；（3）代表性应用，从当前状态的描述（诊断、亚型分类和分层）到未来状态的预测（风险、治疗反应和预后）。此外，本文还分析了阻碍进展的关键挑战，包括数据相关障碍（非配对数据模式、数据获取有限性和整合复杂性）以及模型相关限制（泛化能力、可解释性和临床可靠性）。最后，我们探讨了未来的发展机遇，特别是那些能够在多种数据模式下实现前所未有的数据摄入和推理能力的多模态大型语言模型。我们强调了实现AI驱动的多模态学习的转型潜力的潜在途径（开发链接紧密的多模态数据集、方法创新和跨学科合作），从而推进精准精神病学中的个性化诊断、预后和治疗策略。

章节摘录

引言

精神疾病是全球疾病负担的主要原因之一，对发病率、残疾和过早死亡有显著影响（1,2）。在美国，超过20%的成年人患有精神疾病，每年给经济造成超过2800亿美元的损失，相当于GDP的1.7%（3,4）。这些疾病本质上是复杂且异质性的，其形成受到遗传、神经生物学、发育、社会、行为等多种因素的复杂相互作用的影响。

文献检索

我们在五个主要的生物医学和计算机科学数据库中进行了全面的文献检索：PubMed、ACM数字图书馆、Web of Science（WOS）、EMBASE和LENS（25）。检索范围限于过去三年内发表的研究（2022年6月1日至2025年6月1日）。检索策略包括了与精神病学和AI相关的医学主题词（MeSH）和关键词（详见补充材料1.1中的完整查询策略）（图1A）。