结合视觉引导语言人工智能的全面超声心动图评估

EchoPrime是一款基于多视角视频和语言融合的人工智能模型，通过对比学习和解剖注意力机制整合超声心动图各切面信息，在23项临床评估中超越传统单任务模型，显著提升心脏结构和功能分析的准确性与全面性。

摘要

超声心动图是最广泛使用的心脏成像技术，它通过捕捉超声视频数据来评估心脏的结构和功能¹。人工智能（AI）在超声心动图中的应用有潜力简化手动操作，并提高结果的重复性和精确度²。然而，大多数超声心动图AI模型都是单视图、单任务的系统，无法整合在一次完整检查中从多个视角获取的互补信息^3,4，因此导致其性能和应用范围受到限制。为了解决这个问题，我们提出了EchoPrime，这是一个基于多视图、具备视图感知能力的视频视觉-语言基础模型，该模型通过超过1200万对视频报告数据进行训练。EchoPrime利用对比学习方法为所有标准视图训练出一个统一的嵌入模型，能够同时表示罕见和常见的心脏疾病及诊断结果。随后，EchoPrime通过视图分类和视图感知的解剖学注意力机制对视频特定的嵌入信息进行加权处理，从而准确映射超声心动图视图与解剖结构之间的关系。借助检索增强的解释功能，EchoPrime能够整合来自所有超声心动图视频的信息，进行全面的临床解读。在五个国际独立医疗系统提供的数据集中，EchoPrime在23个评估心脏形态和功能的基准测试中均取得了领先性能，超越了专门针对特定任务的方法以及之前的基础模型。经过严格的临床评估，EchoPrime能够帮助医生自动化地进行全面的超声心动图初步评估。