在数字化浪潮席卷全球的今天，人工智能（AI）已不再仅仅是科幻电影中的概念，而是逐渐渗透到各行各业，医疗与教育领域也不例外。对于医学生而言，传统的学习模式——上课、啃教材、做模拟题——正悄然发生改变。随着ChatGPT、微软Copilot、谷歌Gemini和DeepSeek等AI聊天机器人的普及，它们已成为学生们答疑解惑、备考复习的“新式武器”。然而，当这些“超级大脑”遇到高度专业化、需要跨学科临床思维的学科时，它们的表现是否依然可靠？这个问题在口腔医学（Oral Medicine）这一领域尤为引人关注。
口腔医学是连接牙科学与内科学的桥梁，专注于口腔黏膜病、口面痛综合征以及有口腔表现的系统性疾病的非手术治疗。它要求从业者不仅具备扎实的口腔知识，还需深刻理解全身病理生理学和药理学，诊断过程常常充满挑战。当前，AI聊天机器人已被广泛应用于医学各领域的教育辅助，但其在口腔医学这一细分专业中的性能如何，尚无系统性的评估。现有的研究多聚焦于普通医学或口腔放射学等领域，缺乏针对口腔医学专业问题、特别是基于真实临床病例和不同认知层次（如记忆、理解、应用、分析）的深度测评。因此，为了填补这一空白，并探究AI作为口腔医学生自我导向学习工具的可靠性，一项开创性的比较研究应运而生。
这项研究旨在系统评估和比较四款先进的AI聊天机器人——ChatGPT-4、Microsoft Copilot、Google Gemini和DeepSeek——在回答基于病例的口腔医学多项选择题（MCQs）时的表现。研究人员精心设计并验证了114道高质量的病例选择题，题目覆盖了口腔黏膜疾病、口腔潜在恶性疾患/口腔肿瘤学、唾液腺疾病、口面痛与颞下颌关节紊乱病、伴口腔表现的系统性疾病以及感染性疾病这六大核心子领域。尤为重要的是，每道题目都依据布鲁姆分类法（Bloom's taxonomy）进行了认知层次分类，涵盖了从“记忆”、“理解”到“应用”、“分析”的不同难度等级，以全面考察AI的认知处理能力。
研究结果令人印象深刻。总体而言，四款AI模型均展现了卓越的准确性，正确率均不低于97.4%。其中，Microsoft Copilot取得了数值上最高的99.1%的正确率，尽管模型间的差异在统计学上并不显著。这表明，在当前测试集上，这四款主流AI模型解决口腔医学选择题的能力处于同一高水准。除了准确性，研究还测量了响应时间和回答字数。ChatGPT-4反应最为迅捷，平均响应时间仅7.0秒；而Microsoft Copilot则倾向于提供最详尽的解释，平均字数达40.13个词。DeepSeek的回答则最为简洁。
深入分析发现，AI模型在不同认知层次上的表现高度一致。在要求“应用”知识和“分析”复杂临床场景的高阶认知题目中，所有模型都达到了接近完美的准确率。这暗示了AI聊天机器人不仅擅长事实回忆，也可能在辅助训练临床决策思维方面发挥作用。在不同的口腔医学子主题中，模型在唾液腺疾病、口面痛/颞下颌关节紊乱病以及伴口腔表现的系统性疾病相关题目上实现了100%的正确率。仅在感染性疾病和口腔潜在恶性疾患/口腔肿瘤学这两个主题中，出现了零星错误。此外，不同AI模型之间的答案具有中度到完全的一致性（科恩卡帕值κ=0.315–1.00），尤其是Gemini和DeepSeek之间显示出完全一致，这为学生交叉验证答案提供了可能性。
总而言之，这项发表于《Odontology》的研究有力地证明，以ChatGPT-4、Copilot、Gemini和DeepSeek为代表的先进AI聊天机器人，在应对基于病例的口腔医学选择题时，能够展现出与高水平医学生相媲美的高准确率和强大的认知处理能力。它们的高性能跨越了不同的认知层次和专业子领域，凸显了其作为口腔医学教育中强有力的辅助学习工具的潜力。尽管在极少数涉及重叠临床表现或需要结合特定流行病学背景进行风险分层的复杂病例中仍会出现错误，强调了人类专家监督的必要性，但毫无疑问，AI正在成为未来医学教育中不可忽视的“智能伴侣”。
为开展此项研究，作者主要采用了以下关键技术方法：1. 研究设计与题目开发：基于权威参考书（如Burket’s Oral Medicine第13版）及同行评议文献，开发了114道高质量的、基于临床病例的英文单项选择题。2. 题目分类与映射：依据布鲁姆分类法将每道题归类至“记忆”、“理解”、“应用”、“分析”四个认知层次，同时映射到口腔医学的六个核心子领域。3. AI模型评估与数据采集：将题目集输入至四个指定AI聊天机器人（ChatGPT-4、Microsoft Copilot、Google Gemini、DeepSeek）的公开网络界面，记录每个问题的回答准确性、响应时间（秒）和答案字数。4. 统计分析：使用Cochrane Q检验比较模型间总体准确性的差异，使用Friedman检验分析响应时间和字数的差异，使用McNemar检验进行两两比较，并使用Cohen’s kappa评估模型间答案的一致性。
研究结果
总体表现
所有四款聊天机器人都表现出很高的整体准确率。ChatGPT-4、DeepSeek和Gemini各答对了114题中的111题（97.4%），而Copilot以113题正确（99.1%）获得了略高的准确率。正确率差异无统计学意义（Cochrane Q检验，p=0.463）。平均响应时间在模型间存在显著差异（Friedman检验，p<0.001），ChatGPT-4最快（7.00秒），其次为Copilot（7.79秒）、Gemini（9.15秒）和DeepSeek（10.06秒）。答案的字数也有显著差异（Friedman检验，p<0.001），Copilot的回答最详细（平均40.13字），其次为Gemini（23.60字）、ChatGPT-4（19.92字）和DeepSeek（13.58字）。
两两比较
两两McNemar检验表明，任何两个聊天机器人之间均无统计学显著差异（所有p>0.05）。Kappa值显示中度到完全的一致性，其中DeepSeek和Gemini之间的一致性最高（Kappa=1.00）。
按子主题划分的表现
在六大口腔医学子主题中，表现大体一致。所有四款聊天机器人在唾液腺疾病、口面痛/颞下颌关节紊乱病以及伴口腔表现的系统性疾病相关题目上均达到了100%的准确率。最低的表现出现在感染性疾病子主题中，ChatGPT-4答错了两道题，而DeepSeek、Copilot和Gemini各答错一道题。此外，DeepSeek和Gemini在口腔潜在恶性疾患/口腔肿瘤学主题中各答错两道题。
按认知层次（布鲁姆分类法）划分的表现
题目也根据布鲁姆认知分类法进行了分类。所有聊天机器人在大多数认知层次上都表现出完美的准确率，包括“理解”、“应用”和“分析”。在“记忆”层次观察到微小差异，ChatGPT-4在10题中答对了9题，而DeepSeek和Gemini在5题中答对了4题。关于“应用”层次，在28题中有一题被答错。此外，ChatGPT-4在“分析”层次答错一题。使用Friedman检验，“记忆”、“应用”和“分析”层次在四款聊天机器人间均无统计学显著结果（P>0.05）。“理解”层次在所有聊天机器人中显示出完全一致的答案。
错误回答的定性概述
少数回答错误的题目揭示了独特且有临床意义的错误模式，而非随机错误分类。大多数错误发生在具有重叠临床表现、依赖种族或背景的诊断线索以及以管理为导向的决策场景中，而非单纯的模式识别。例如，在口腔潜在恶性疾患和口腔肿瘤相关病例中，错误回答主要与在高风险临床环境中难以优先考虑立即的诊断干预（如活检）而非保守或观察方法有关。在感染性疾病相关题目中，错误似乎源于对机会性真菌感染（尤其是免疫功能低下患者）的诊断重叠，相似的坏死表现可能掩盖了关键的鉴别特征。此外，在口腔黏膜疾病病例中，错误分类与反应性、肿瘤性和增生性牙龈病变之间的细微区别有关，表明在将病变形态与流行病学和病因学背景结合方面存在挑战。
研究结论与讨论
本研究是迄今为止对AI聊天机器人在牙科领域性能最深入的评估之一。所有测试模型在回答基于病例的口腔医学选择题时均展现出高准确率（整体正确率>97%），且在不同认知层次和子主题间表现一致。这证实了现代大型语言模型（LLM）有潜力成为口腔医学教育中的辅助工具。
研究的一个独特之处在于按认知层次分类评估性能。观察到在包括“应用”和“分析”在内的高阶领域几乎完美的准确率。这表明AI工具不仅可用于被动复习，还可用于训练临床决策。研究结果也支持了先前关于ChatGPT-4在美国医师执照考试（USMLE）中展现出可比甚至超越医学生推理能力的发现。
尽管所有聊天机器人准确性相当，但仍观察到一些微小的质性差异。Microsoft Copilot提供了最长的回答字数，可能反映了其设计偏向于解释性回答。相比之下，DeepSeek和ChatGPT-4的回答更简洁，但信息量并未显著减少。值得注意的是，ChatGPT-4生成回答的速度最快，这使其在诸如口腔考试模拟等时间敏感的场景中更具优势。
这些发现对牙科教育具有多重意义。首先，AI聊天机器人可以作为高保真的学习伴侣，特别是当与认知层次和临床病例形式结合时。在“应用”和“分析”领域的高表现表明AI不仅有潜力支持学习，还能培养临床推理能力。这在口腔医学这一需要精细鉴别判断、且与多学科交叉的专业中具有特殊价值。
然而，必须谨慎看待这些教育意义。研究中观察到的少数错误答案强调了人类监督和教师验证的重要性。此外，解释这些结果时需考虑方法上的限制。观察到的 uniformly high accuracy rates 可能提示存在天花板效应，限制了评估工具区分高级模型间细微性能差异的能力。病例选择题可能不足以充分挑战AI在诊断模糊条件下的高阶临床推理。未来的研究应纳入更复杂、非结构化的开放式临床场景，并与人类表现进行基准比较，以更好地评估AI系统的真实临床推理能力。其他限制包括：缺乏人类基准（如牙科学生或口腔医学住院医师）进行比较；测试环境（如网络速度）可能影响响应时间指标；以及大型语言模型训练数据可能包含公开的医学内容，存在数据污染风险，高准确率可能反映了先进的模式识别而非真正的人类式问题解决。
尽管如此，本研究的结论是明确的：先进的AI聊天机器人（包括ChatGPT-4、Copilot、Gemini和DeepSeek）在回答口腔医学病例选择题方面表现出高准确率， consistently scoring above 97%。它们在不同认知层次和子主题上的强劲表现，凸显了其作为牙科教育，特别是增强临床推理技能的支持性工具的潜力。尽管在响应时间和解释长度上存在微小差异，但所有模型都显示出高度一致性。这些发现支持将AI聊天机器人作为传统教学的辅助而非替代。未来的工作应探索多模态输入以及与人类学习者的基准比较。
