人工智能驱动中医诊断智能化：多模态融合与大语言模型的应用、挑战及展望

在人工智能（artificial intelligence, AI）技术快速发展的背景下，中医（traditional Chinese medicine, TCM）诊断智能化已成为推动中医现代化与国际化的关键研究方向。中医诊断以四诊信息为基础，具有多模态、高维度、强整体性及显著的经验依赖性特征，长期面临客观化、标准化与可重复性不足等挑战。AI技术在中医诊断领域已取得显著进展，逐步实现多源诊断信息的智能感知与融合建模，在证型识别、辨证推理及辅助诊断决策等方面展现出良好潜力。语言模型为中医诊断要素的表达、推理与交互提供了新型技术范式。本文系统探讨AI赋能中医诊断智能化的理论基础、关键技术及应用进展，重点聚焦多模态诊断建模、证型智能表达及大模型驱动诊断系统的当前发展现状与挑战，旨在为智能中医诊断的应用与发展提供参考。

本研究由暨南大学中医学院广州市中医方证重点实验室团队完成，发表于《Journal of Traditional Chinese Medical Sciences》。中医诊断以望、闻、问、切四诊合参为核心，长期依赖医师经验与隐性知识，存在主观性强、标准化不足、可重复性有限等问题，严重制约中医临床诊断与治疗的推广及国际认可。如何在保持中医整体观与辨证思维优势的同时，实现诊断过程的可客观化与可计算化，成为中医现代化的关键科学问题。近年来，AI技术的快速发展为中医智能诊断提供了前所未有的技术机遇，机器学习与深度学习在复杂模式识别与高维数据建模中展现出显著优势，可有效处理中医多模态诊断信息。基于此，研究人员系统综述了AI在中医诊断智能化中的最新研究进展，重点总结AI在多模态诊断感知、证型智能建模及大语言模型（large language model, LLM）驱动诊断系统中的研究进展，分析其理论基础、技术路径与应用现状，并进一步探讨数据质量、模型可解释性、评估体系与伦理规范等关键问题，旨在构建可信、可解释且适用于临床的中医智能诊断系统。

研究人员在开展研究中采用了多维度技术路径：基于卷积神经网络（convolutional neural network, CNN）、混合多粒度网络、高度宽度混合多层感知机（Height-Width mixer multi-layer perceptron, HWmixer-MLP）等深度学习模型实现舌象、脉象、面诊等多模态数据的智能感知与特征提取；构建包含症状、证型、治法、方药关联的临床数据集（如SDPR、TCMEval-SDT），支持证型建模与处方推荐任务；采用图神经网络（graph neural network, GNN）构建患者-症状-处方三层关系图，结合超图与Node2Vec表示学习方法捕捉症状与证型的高阶关联；依托知识图谱（knowledge graph, KG）整合经典文献、临床病例与现代实验数据，形成可检索、可推理的结构化知识网络；研发领域专用大语言模型（如TCMChat、Qibo、灵丹系列模型），结合增量预训练、多任务微调与思维链推理实现辨证逻辑模拟与个性化诊疗建议生成；引入联邦学习、安全多方计算、差分隐私等技术探索跨机构数据协作与隐私保护方案。

研究结果分为以下部分：

1. 1.
   中医诊断与AI融合的理论基础。中医诊断数据具有多模态、高维度、高整体性特征，蕴含丰富的隐性知识，传统统计方法难以完全捕捉其内在规律。数字化技术已实现舌象、脉象、问诊文本等信息的结构化采集，为智能分析奠定基础。AI技术在处理复杂多维数据、模拟证型内部非线性关联及多模态信息互补融合方面具有显著优势，结合知识图谱的符号化知识与LLM的语义理解能力，可实现从经验判断向定量推理的转化。
2. 2.
   多模态四诊信息采集的智能发展。舌诊领域，基于CNN与混合多粒度网络的舌象识别系统可精准区分舌质、舌苔特征，HWmixer-MLP模型结合多任务学习与关键点检测实现了面部与舌象的联合体质识别，Segment Anything Model提升了舌图像分割效率。脉诊领域，基于三维压力传感阵列的脉诊系统实现了脉搏波形的高分辨率数字化采集，结合深度学习算法可识别多种脉象。面诊与体表评估领域，基于深度学习的体表关键点识别模型（如AcuSim数据库与弱特征体表定位模型）实现了面部、背部穴位的高精度识别。多模态联合诊断框架整合舌、脉、面、问诊信息，在体质识别、疾病风险评估等任务中性能显著优于单模态模型。
3. 3.
   中医证型与辨证的智能建模。研究人员构建了SDPR、TCMEval-SDT等临床数据集，明确建模“症状-证型-治法-方药”全流程逻辑关系。基于GNN的鲁棒中医图网络（Robust TCM Graph Networks, RTGN）通过学习患者相似性实现证型网络智能分析，结合超图与对比学习技术进一步捕捉证型层级结构与动态演化特征，提升了模型对复合证型与兼夹证候的识别能力及临床泛化性。
4. 4.
   知识图谱与图学习在诊断中的应用。TCMKD、BianCang等平台构建了涵盖药物、症状、证型、处方组成的综合知识图谱，GNN被用于证型推理与患者相似性学习，结合LLM的语义理解能力形成“符号知识+数据驱动”的协同架构，实现证-法-方之间的智能关联与推理。
5. 5.
   大语言模型驱动的诊断新范式。领域专用LLM通过专业医学语料与知识图谱预训练，实现了中医文本的语义理解与辨证线索自动提取。AcuGPT-agent系统可开展医患问答交互并自动生成证型分析与治疗策略推荐，结合检索增强生成（retrieval-augmented generation, RAG）技术形成知识动态检索与推理增强的协同架构，在多模态诊断与个性化治疗推荐中展现出更强的适应性与可扩展性。
6. 6.
   智能中医诊断的评估体系与实践应用。评估体系突破单一准确率指标，纳入Top-k命中率、证型覆盖率等适配中医“多证共存”“主次兼顾”特征的评价指标，并结合中医理论结构开展诊断逻辑的合理性验证。应用场景覆盖临床辅助诊断与医学教育：临床中智能系统可提升低年资医师诊断一致性，教学中虚拟标准化病人（virtual standardized patient, VSP）-TCM平台有效提升了学生的辨证思维与自主学习能力。

讨论与结论部分指出，当前研究仍面临证型概念形式化困难、样本量与标注质量限制模型泛化性、模型可解释性不足等理论与技术挑战；需明确医师的主体责任与AI的辅助定位，警惕数据隐私泄露、算法偏见及“数据孤岛”问题，可通过联邦学习、安全计算等技术实现跨机构数据协作。未来智能中医诊断将向多模态感知、大模型推理与知识图谱融合的统一框架发展，知识图谱将成为连接数据驱动模型与中医理论体系的核心桥梁，提升模型可解释性并实现从结果解释向机制解释的跨越。研究人员强调，中医诊断智能化并非替代中医辨证思维，而是面向现代医疗环境的能力拓展，唯有充分尊重中医诊断内在规律、强化人机协作机制、统筹伦理安全问题，方能推动AI与中医理论的深度融合，实现中医现代化的实质性突破。