在医疗保健领域，我们正经历一场由大语言模型（Large Language Models, LLMs）引领的变革。从分析患者数据、协助疾病管理，到总结冗长的临床记录、提供诊断建议，甚至从医患对话中自动生成医疗笔记，LLMs正深度融入患者护理、行政流程和临床决策的各个环节，致力于提升效率和效果。然而，这场变革面临着一个现实且严峻的挑战：现实世界中的数据，往往并不完美。
试想一下，一位疲惫的患者在深夜输入症状查询时可能打出的错别字，或者由于隐私担忧而主动隐去关键信息的提问；医生在繁忙中口述记录，由语音转文字工具可能产生的同音词混淆；以及在不同压力状态下可能出现的认知失误导致的表述不清。研究表明，大约14%的健康搜索查询包含拼写错误。这些在临床文档和患者生成数据中常见的“不完美输入”，构成了LLMs在真实医疗环境中可靠运行的巨大障碍。但令人担忧的是，现有的模型评估大多在理想条件下进行，缺乏对LLM在这种输入变异性下性能的系统性审视。大多数研究聚焦于非医疗语境，有时甚至将鲁棒性分析狭隘地理解为对系统安全性的攻击测试，而忽视了普通用户在自然寻求健康信息时引入的日常错误。这一问题，成为了LLM在医疗领域深化应用必须跨越的一道鸿沟。
为此，来自罗格斯大学（Rutgers University）的Saubhagya Joshi、Monjil Mehta、Sarjak Maniar、Mengqian Wang和Vivek Kumar Singh等研究人员，在《JMIR AI》上发表了一项开创性研究。他们直面这一挑战，旨在探究：输入文本的扰动究竟如何影响LLMs在健康相关任务中的表现？不同种类和程度的扰动，其相对影响有何差异？扰动对健康相关术语和非健康术语的影响又是否相同？
为了回答这些问题，研究人员设计了一套严谨的实验方案。他们系统地评估了3种LLMs（GPT、BlueBERT、Llama）在3项与医疗相关的任务上的性能：情感分类（如用于患者日记分析）、医疗摘要分类（判断疾病类别）和医疗问答。为了模拟真实世界中人类的输入变异性，他们构建了一个全新的数据集，并向输入文本引入了三种常见的人为扰动类型：拼写错误（Typographical Errors） （如“diabtes”代替“diabetes”）、同音词替换（Homophone Substitutions） （如“heal”替换为“heel”）和信息遮蔽（Redactions） （删除或掩码部分词语）。每种扰动又设置了低、中、高三个级别（例如，拼写错误分别扰动总字符数的10%、30%和50%）。研究采用少量示例（few-shot）提示策略，通过API调用LLMs，并使用准确率、召回率、F1分数以及ROUGE、BLEU、BERTScore等指标，将扰动后的输出与原始未扰动文本的基线性能进行比较。
研究结果揭示了多个关键发现：
鲁棒性（Robustness）的整体表现出乎意料。 与预期可能性能大幅下降不同，LLMs对常见的文本扰动表现出了显著的稳健性。在总共270个评估场景中，超过一半（151/270，55.92%）的情况下，模型性能保持稳定甚至有所提升。更有趣的是，在38个案例（14.07%）中，输入扰动反而带来了性能提升。当然，扰动也并非无害，在15个案例（5.56%）中，性能出现了灾难性下降，且这些案例主要集中在GPT模型上。统计检验表明，不同LLM和不同任务之间的鲁棒性存在显著差异。
不同类型扰动的相对影响截然不同。 在所有扰动类型中，信息遮蔽（Redactions） 被证明对LLM性能的破坏性最大，尤其是在中高扰动水平下，可能导致灾难性的性能下降。这是因为信息遮蔽直接移除了上下文中的关键信息，严重损害了模型的理解能力。相比之下，同音词替换（Homophones） 和拼写错误（Typographical Errors） 的影响则相对温和，且两者之间的影响程度相似。具体到任务，同音词替换对医疗问答任务的影响更大，而拼写错误则对情感分类和医疗摘要分类任务的影响更明显。
扰动对医学与非医学术语的影响存在差异。 在低水平扰动下，模型对医学术语被扰动的敏感性更高，性能波动更明显，凸显了精确处理医学语言的重要性。然而，当中高水平扰动发生时，无论扰动的词语是医学术语还是非医学术语，模型性能均呈现出一致的下降趋势。这表明过度的“噪音”会全面损害模型的可靠性。一个有趣的案例是，在一份被归类为“消化系统疾病”的医疗摘要中，当关键词“carcinoma”（癌）或“cancer”（癌症）被扰动后，原本将其误分类为“肿瘤（Neoplasm）”的LLM，反而做出了正确的判断。这提示我们，低水平的扰动有时可能“意外地”削弱了干扰信息，从而使模型更专注于正确的线索。
研究的结论与讨论强调了其在医疗信息学领域的重要意义。 本研究首次系统评估了LLMs在医疗语境下对多种人为输入扰动的鲁棒性。核心结论在于：LLMs对输入扰动表现出非均匀、非单调的响应模式；虽然总体趋势是性能随扰动增加而下降，但其展现出的韧性令人鼓舞；在三种扰动中，信息遮蔽的危害性最大，这对患者可能因隐私顾虑而省略信息的场景敲响了警钟。这些发现对开发可靠的医疗AI系统具有直接指导意义：首先，它强调了必须在模拟真实世界输入变异性的框架下评估LLMs，以确保其在临床决策支持、患者教育和医疗问答等关键应用中的可靠性。其次，研究为未来医疗LLM系统的设计提供了优先级参考，例如应着重增强模型对信息缺失的容忍度，并针对不同任务（如问答 vs. 分类）进行特定的鲁棒性优化。最后，研究团队贡献的包含多种人类错误类型和扰动级别的全新健康中心数据集，为后续研究提供了宝贵资源，将有力推动医疗自然语言处理领域在鲁棒性方向上的探索。
当然，研究也存在局限性，例如使用的扰动是合成生成的，未能涵盖所有真实世界的语言变体（如缩写、句法重构）。未来工作将扩展扰动类型，纳入更广泛的LLM模型，并探索实用的缓解策略（如交互式输入过滤器）。尽管如此，这项研究无疑是迈向理解LLMs在现实医疗条件下如何表现的重要一步。通过揭示关键脆弱点并分享评估工具，它有望催化开发出更具韧性、更公平、更值得信赖的医疗健康人工智能系统，最终为改善患者预后和提升医疗系统效率贡献力量。
打赏
