在消化内科的日常诊疗中，一份详尽、准确的上消化道内镜报告，是医生诊断疾病、制定治疗方案和评估预后的基石。然而，现实中的报告撰写工作，却常常让内镜医师们倍感压力。这不仅因为描述每一个观察到的细微病变（如黏膜色泽改变、溃疡、隆起或新生物）需要耗费大量时间和精力，更因为在高强度、重复性的工作中，人为的疏漏和描述的不一致性难以完全避免。这些报告中的瑕疵，可能直接影响后续的临床决策。如何将内镜医师从这项繁重且容易出错的文书工作中解放出来，同时提升内镜报告的标准化与质量，成为临床实践和医学人工智能领域共同关注的一个迫切问题。
为此，来自中国的研究团队在《npj Digital Medicine》上发表了一项研究，他们开发并验证了一个名为“报告天使”的集成化人工智能系统，旨在实现上消化道内镜报告的自动化生成。这项研究的核心，是利用近年来快速发展的多模态大语言模型技术，让AI学会“看懂”内镜图像，并“说出”符合专业规范的描述性文字。
为开展此项研究，研究人员整合了多模态大语言模型与常规深度学习模型，构建了Report-Angel系统。其关键技术方法包括：1) 利用大规模内镜图像-文本配对数据集对模型进行训练与优化；2) 在回顾性图像数据集以及前瞻性的单中心、多中心视频数据集上对系统性能进行严格验证；3) 评估指标涵盖了报告级（临床可接受率、完整度、准确度）和病变级报告准确度等多个维度。研究队列包含了用于模型开发的回顾性数据，以及用于验证的内部与外部前瞻性队列。
研究结果
系统在生成临床可接受报告方面表现稳健
在前瞻性内部验证队列中，Report-Angel生成的报告获得了79.3%的临床可接受率，而在独立的外部前瞻性队列中，这一比例进一步提升至83.3%。这表明系统生成的报告草案，在大多数情况下已具备直接被临床采纳或仅需小幅修改的潜力。
报告草案具备较高的完整性与准确性
在病例层面，系统生成的报告在内容完整度上达到了88.51%，意味着它能够覆盖内镜检查所需描述的大部分关键要素。同时，报告准确度为78.93%，表明其生成的具体描述与专家判断具有较好的一致性。更值得关注的是其处理效率，系统平均仅需1.5秒即可完成对一个病变的分析与描述初稿生成，远超人工速度。
病变级报告准确性在不同类型数据集中均保持优异
为了更细致地评估系统性能，研究进一步分析了其在病变层面的报告准确率。在回顾性静态图像数据集中，准确率高达91.92%。在更具挑战性的前瞻性视频数据中，系统同样表现稳定，在单中心视频数据集上的准确率为89.07%，在来自多个中心的视频数据集上，准确率仍保持在83.94%的高水平。这充分证明了系统对不同数据来源（图像/视频）和不同医疗中心操作差异的强大约束力。
结论与讨论
本研究成功开发并验证了Report-Angel，一个基于多模态大语言模型的自动上消化道内镜报告生成系统。该系统通过深度学习技术，能够快速、准确地解析内镜影像，并自动生成结构完整、描述专业的报告草案。前瞻性、多中心的验证结果证实，该系统生成的报告具有较高的临床可接受率、完整度和准确性，尤其在病变识别与描述方面表现突出，且处理速度极快。
该研究的重要意义在于，它为解决临床内镜报告撰写负担重、标准化程度不一这一实际问题，提供了一个切实可行且经过严格验证的AI解决方案。Report-Angel并非旨在取代内镜医师，而是作为一位高效的“AI助手”，通过提供可靠、标准的报告基础草案，显著减少医师的文书工作量和人为错误风险，有望推动内镜报告书写流程的标准化与效率革命。其在不同中心数据上表现出的良好泛化能力，也为其在未来更广泛的临床应用和推广奠定了坚实基础。这项工作展示了多模态大语言模型在医疗垂直领域，特别是在手术与操作记录自动化方面的巨大应用潜力和临床价值。
打赏
