多模态机器学习赋能 AI 聊天机器人精准诊断眼科疾病，开启眼健康智能诊疗新时代

时间：2025年1月29日

来源：npj Digital Medicine

编辑推荐：

眼科疾病诊断面临诸多挑战，为解决这些问题，研究人员开展了 “Multimodal machine learning enables AI chatbot to diagnose ophthalmic diseases and provide high-quality medical responses” 的研究。他们开发 IOMIDS 系统，发现多模态模型诊断性能更优，这为眼科疾病自诊和分诊带来新突破。

在当今数字化时代，医疗领域正经历着深刻变革，人工智能技术的飞速发展为疾病诊断带来了新的希望。然而，在眼科疾病诊断方面，仍存在诸多难题亟待解决。传统的眼科诊断高度依赖专业医生的经验和复杂的检查设备，不仅效率较低，还难以满足日益增长的医疗需求。而且，现有的一些人工智能模型，如 GPT4V 和 Google 的 VLM，虽然在一定程度上展示了诊断能力，但在眼科临床决策中仍显不足，无法通过自然语言人机交互主动收集患者病史，也难以准确解读智能手机等非专业眼科设备获取的图像。在这样的背景下，开展一项能够突破这些困境的研究显得尤为迫切。

为了攻克这些难题，来自复旦大学附属眼耳鼻喉科医院等国内多家机构的研究人员展开了深入研究。他们致力于开发一种智能眼科多模态交互式诊断系统（Intelligent Ophthalmic Multimodal Interactive Diagnostic System，IOMIDS），旨在利用多模态信息实现眼科疾病的准确诊断，并提供全面的医疗建议。该研究成果发表在《npj Digital Medicine》上，为眼科疾病的诊断和治疗开辟了新的道路。

研究人员在开展此项研究时，运用了多种关键技术方法。首先，通过收集来自多个医疗中心的大量数据，包括医患沟通对话、眼部图像等，构建了丰富的数据集。然后，利用提示工程（prompt engineering）技术对 ChatGPT 进行优化，开发出文本模型。同时，基于 ResNet-50 和 YOLOv7 等开源模型，分别开发了针对裂隙灯和智能手机图像的诊断模型，并将这些模型与文本模型相结合，构建了多模态模型。

下面来详细了解一下研究结果：

研究概述与数据集：研究人员在三个中心收集了 15640 个数据条目，涵盖 9825 名受试者。这些数据被用于开发和评估 IOMIDS 系统，包括训练文本模型、图像诊断模型以及构建多模态模型所需的各类数据集1。
IOMIDS 系统的开发：通过对医患对话进行分类和筛选，利用提示工程开发出文本模型。该模型能根据患者主诉生成相关问题，并基于患者回答提供诊断、分诊及其他医疗指导。但文本模型在诊断某些疾病时存在局限性，于是研究人员又开发了多模态模型。经评估，多模态模型的诊断准确性相较于文本模型有显著提升23。
诊断和分诊性能的静默评估：在静默评估阶段，研究人员发现多模态模型的诊断准确性虽有显著提高，但部分疾病仍未达到既定临床目标。分诊准确性方面，多模态模型整体有所提升，但白内障分诊准确性下降。此外，研究还表明文本模型的诊断准确性受答案完整性影响，而分诊准确性相对不受影响45。
在真实临床环境中由训练有素的研究人员进行评估：在临床研究中，研究人员收集的数据显示，文本模型在诊断方面，不到一半的病例能达到临床目标；在分诊方面，部分亚专科能满足临床标准。多模态模型在诊断准确性上优于文本模型，但在分诊效率上略逊一筹67。
在真实临床环境中由未经训练的患者进行评估：患者输入数据阶段的研究结果表明，多模态模型的整体分诊准确性略低于文本模型，但差异不显著。在诊断准确性上，文本 + 智能手机模型表现更优，部分疾病的诊断准确性显著提高89。
不同模型诊断性能的比较：通过对不同模型在各类疾病中的诊断准确性进行比较，研究发现除模型类型和疾病类别外，还有其他因素影响诊断准确性。回归分析表明，不同模型在不同疾病类别和患者群体中的诊断效果存在差异，文本 + 智能手机模型在某些情况下更具优势1011。
模型可解释性：对误诊病例的分析发现，包含裂隙灯图像的模型在诊断某些疾病时存在较高的假阳性率，而文本 + 智能手机模型在诊断准确性和误诊率方面表现相对较好。未来研究需进一步优化模型，提高诊断准确性1213。
模型间变异性和专家间变异性：研究人员对比了 IOMIDS 系统中的文本 + 智能手机模型与其他大语言模型（LLMs）及眼科医生的诊断准确性，发现该模型表现优于 GPT4.0，与实习生水平相近，但仍不及专家。同时，该模型与专家的诊断一致性也较好1415。
用户满意度和响应质量评估：研究人员对用户满意度和响应质量的评估显示，研究人员对 IOMIDS 系统响应的满意度高于患者，年轻患者对 AI 聊天机器人的接受度更高。多模态模型的响应在信息质量和可理解性上优于文本模型，但同理心得分较低1617。

综合研究结论和讨论部分，IOMIDS 系统的开发和评估具有重要意义。该系统中的多模态模型在分析医疗信息方面展现出比单模态模型更大的优势，尤其是文本 + 智能手机模型，其诊断准确性较高，接近实习生水平，在某些疾病的诊断上甚至超过了其他模型。然而，目前该模型与专家水平仍存在差距，未来需要进一步优化。此外，研究还发现了模型存在的一些问题，如包含裂隙灯图像的模型易出现假阳性诊断，多模态模型同理心不足等，这些都为后续研究指明了方向。

总的来说，这项研究为眼科疾病的诊断和分诊提供了新的思路和方法，展示了多模态机器学习在医疗领域的巨大潜力。虽然目前仍有改进空间，但随着技术的不断发展和完善，有望为眼科疾病的智能诊疗带来更多突破，提高医疗效率，改善患者的就医体验，为全球眼健康事业做出重要贡献。