在全球超过100万人依靠人工耳蜗（Cochlear Implant, CI）恢复听力的今天，这种神经假体设备已成为重度至极重度听力损失患者的重要治疗选择。随着CI手术数量的增加和适应症的扩大，如何确保手术质量和一致性成为了临床面临的重要挑战。其中，术中测试作为CI手术的关键环节，承担着评估设备完整性、验证电极位置和检查听觉通路功能等多重使命。然而，当人工智能（AI）浪潮席卷医疗领域，像ChatGPT这样的大型语言模型（Large Language Model, LLM）开始介入专业医疗沟通时，一个引人深思的问题随之产生：这些AI工具能否准确处理高度专业化的临床内容？特别是在CI手术这种安全要求极高的外科场景中，AI提供的建议是否可靠？这不仅是技术问题，更关乎患者安全。为了回答这一命题，来自哈杰特佩大学的研究团队进行了一项创新性研究，将GPT-4的回答与《人工耳蜗植入手术术中测试国际共识声明》进行系统对比。该共识代表了这一领域的国际权威标准，为评估AI的专业水平提供了理想标尺。研究人员采用了严谨的科学方法，从国际共识中提取了24个关键问题，分别两次向GPT-4提问，并要求其以与专家答案相近的字数进行回答。为确保评估的客观性，两位独立的专家评审（一位经验丰富的听力学家和一位耳鼻喉科专家）在盲法条件下对AI回答与专家共识的相似度进行评级。他们根据核心内容的重叠程度，将相似度分为高（>75%）、中（50-75%）和低（<50%）三个等级。当出现分歧时，第三位听力学家进行独立评估，最终以多数意见为准。研究结果揭示了AI在专业医疗领域的真实能力。在24个问题中，13个（54.2%）AI回答被评为高度相似，8个（33.3%）为中等相似，仅有3个（12.5%）为低相似度。这表明GPT-4总体上能够生成与专家共识相符的回答，但在细节精确性上存在明显局限。一个典型例子出现在面神经监测问题上。国际共识明确建议在所有CI手术中都应进行面神经监测，而GPT-4却错误地表示仅需在高风险病例中进行。这种差异虽然只出现在少数问题中，却可能对手术安全产生重要影响，凸显了AI在理解临床安全标准方面的不足。有趣的是，GPT-4对自身表现的评价比人类专家更为乐观。AI自评中有33.3%为高度相似，66.7%为中等相似，没有自评为低相似度，而与人类评审的一致性仅为中等水平（k=0.44）。这种自我评估的偏差提示，AI系统可能难以准确判断自身在专业领域的表现质量。研究还测试了GPT-4回答的可重复性，发现79.2%的问题在两次提问中获得了基本一致的回答，表明其输出具有一定的稳定性，但仍存在不可忽视的波动性。在结果分析部分，研究者通过多个维度展示了详细发现。在相似度分布方面，专家评审与AI自评存在明显差异，GPT-4倾向于高估自己回答的质量。在评审间一致性方面，两位人类专家表现出几乎完美的一致性（k=0.86），验证了评估标准的可靠性。而在回答稳定性方面，尽管多数问题的回答表现一致，但约20%的波动性仍值得关注。研究的讨论部分深入剖析了这些发现的意义。GPT-4表现出的局限性主要源于其训练数据的局限性和缺乏实时更新机制。作为基于固定时间点数据训练的语言模型，它无法获取最新的临床指南和共识更新，这可能导致其提供过时或不完整的建议。此外，AI回答往往缺乏临床实践所需的特定细节和情境适应性，更倾向于提供通用性而非高度定制化的建议。与其它医学领域的AI研究相比，本研究发现在骨科手术等领域也存在类似现象，AI推荐与专家指南之间存在不一致性。这提示当前AI技术在专业医疗决策支持中的应用仍需谨慎，特别是在安全要求高的外科场景中。研究者强调，这项研究不仅评估了GPT-4在CI手术这一特定领域的表现，其方法论也可推广至其他医学专科的AI能力评估。随着AI技术的持续进化，通过强化学习和与实时临床数据库的整合，未来有望提升其在专业医疗场景中的表现。但目前阶段，AI生成的医疗内容仍需要与既定指南进行严格比对和专家审核。该研究的创新价值在于首次系统评估了LLM在CI手术这一高度专业化领域的表现，为AI在耳鼻喉科及更广泛外科领域的应用设立了重要基准。研究结果对医疗AI的开发者和使用者都具有重要启示：一方面提示需要改进AI系统的专业知识和自我评估机制，另一方面强调了临床实践中审慎使用AI工具的必要性。最终，这项发表在《The Egyptian Journal of Otolaryngology》的研究得出结论：GPT-4在人工耳蜗测试方面与专家共识呈现中等程度的一致性，但在术语精确性和临床深度方面存在局限。这些发现表明，大型语言模型可以作为外科教育和临床文档的辅助工具，但尚未具备独立临床决策的能力。在将其更广泛地整合到耳鼻喉科实践之前，需要进一步的改进和外部验证。
