对语义角色标注的忠实解释,结合依存关系和成分特征的重要性

时间:2026年2月13日
来源:Neurocomputing

编辑推荐:

语义角色标注(SRL)中句法特征的可解释性研究,提出后处理解释框架量化依赖与成分结构对预测的影响,构建轻量级语法敏感模型,验证其在生物医学和通用文本的有效性。

广告
   X   

Hoai-Duc Tuan-Nguyen|Bac Le
越南胡志明市科学大学信息技术学院

摘要

诸如依存关系和成分关系之类的句法特征对于提高语义角色标注(SRL)的效果是众所周知的,然而现有的基于句法的SRL模型在很大程度上仍然不够透明。相关的可解释自然语言处理(NLP)方法主要关注词元级别的表示,并没有量化这些关系对单个SRL预测的贡献程度。在生物医学等高风险领域,这种局限性尤为突出,因为在这些领域中,可解释性对于建立对NLP辅助分析的信任至关重要。在这项工作中,我们提出了一个事后解释框架,该框架针对成对的句法关系,并对其对SRL预测的影响进行了定量描述,同时测量了这些关系对论元范围预测的影响大小和极性。该框架采用了一种受控的表示扰动方法,可以在不修改词元或改变模型架构的情况下,对关系的 importance 进行特定分析。为了解决在没有人工标注的重要性标签的情况下评估解释质量的挑战,我们引入了一组基于模型的诊断测试。这些测试评估解释得分是否系统地与模型对句法扰动的反应一致,而不是依赖于与外部判断的相关性。为了便于进行受控实验,我们还通过基于置信度的任务向量合并构建了一个轻量级的基于句法的SRL模型,该模型在推理时避免了运行时解析和标注句法分析。虽然这个模型是对解释框架的补充,但它在生物医学文本上的性能具有竞争力,并且计算成本较低。在生物医学和一般领域的数据上的实验表明,不同领域之间存在一致的行为模式,这支持了我们提出的解释方法在分析SRL模型如何利用句法结构方面的有效性。

引言

语义角色标注(SRL)是一项核心的NLP任务,它通过谓词及其语义论元提取谓词-论元结构(PAS)来表示事件。在生物医学领域,理解PAS对于揭示生物实体之间的关系和支持多个下游任务至关重要[1]、[2]。句法知识,特别是依存关系和成分关系特征,在提高SRL方面已被广泛证实[3]、[4],这促使人们开发出将此类特征整合到其表示中的基于句法的SRL模型[5]、[6]。
然而,基于句法的SRL模型仍然不够透明,尤其是在生物医学等高风险领域,这引发了关于可解释性的担忧。了解句法特征如何引导SRL模型得出其预测结果对于确保安全性、信任度和合规性至关重要[7]、[8]。当前的SRL文献未能回答一个关键且及时的问题:我们能否量化依存关系和成分关系特征对每个SRL预测的实际影响?之前的可解释性研究主要集中在确认模型中是否编码了句法信息[9]、[10]、[11],但它们没有测量其预测影响。此外,尽管之前的探究工作主要针对单个词元的表示[7]、[9]、[10],并且在其他背景下也存在关系或边式探究,但对与SRL相关的词间句法关系的系统探究仍然有限。
在这项工作中,我们通过将关系探究技术适应到SRL背景中来研究生物医学SRL模型如何编码句法信息[9]。我们不是探究单个词元的属性,而是研究BioBERT表示如何捕捉与谓词-论元结构直接相关的词对之间的句法关系。然后,我们量化了这些词间句法关系在每个SRL预测中的重要性。这项工作旨在回答两个关键研究问题:
  • (i)
    一个SRL模型能否编码与每个谓词及其论元相关的词间句法关系(即依存关系和成分关系)?
  • (ii)
    模型在做出预测时如何有效地利用这些句法关系?
  • 为了回答(i),我们提出了一个用于SRL的词对探究模型,使我们能够直接检查这些句法关系是否被相关词对的表示所捕获(第4.2节)。这通过将重点从孤立的词元级别属性转移到关系句法上,推进了单词探究方法。
    为了解决(ii),我们引入了一种扰动策略,该策略选择性地移除句法关系,而不掩盖或删除相关的词元,从而克服了基于词的方法经常导致的语义损失和解释忠实度降低的问题(第4.3节)。然后,我们提出了两种新的重要性度量方法:关系效应关系效用,分别估计每个句法关系对论元范围包含和预测正确性的贡献。关系效用尤其具有启发性和诊断性,因为XAI的主要目标是评估可信度并指导模型调试。这两个目标都依赖于理解每个特征在多大程度上增强了或损害了模型预测,从而揭示模型依赖于的是有帮助的特征还是有害的特征。据我们所知,我们的工作是第一个在NLP中明确量化句法特征重要性的XAI方法。
    至关重要的是,评估解释的忠实度仍然是X-NLP中的一个核心挑战。大多数现有方法依赖于人工标注的判断数据或预定义的真实性理由,这些数据本质上是主观的,并且通常没有模型内部推理的依据[12]。这限制了它们评估解释是否真正反映了模型决策过程的能力。为了解决这个问题,我们引入了一种独特的模型内在评估方法来评估解释质量(第5.3节)。我们不是依赖外部注释,而是衡量我们的解释与SRL模型的实际预测行为的一致性。这种方法提供了一种原则性、无判断且可复制的评估解释忠实度的方法。
    此外,为了对我们的解释框架进行受控评估,我们通过模型合并构建了一个基于句法的SRL模型,作为评估句法特征重要性的测试平台。与现有的基于句法的SRL方法不同,我们的模型合并技术既不需要标注句法的训练数据,也不需要运行时句法解析(第4.1节)。实验结果表明,我们的基于句法的SRL模型在生物医学SRL任务上取得了具有竞争力的性能,同时所需的处理时间明显少于最近的基于句法的替代方法。
    总之,我们的贡献包括:
    我们通过在对BioBERT词对进行轻量级分类器训练,将关系探究适应到SRL中,从而能够探究生物医学文本中与谓词-论元结构相关的句法关系。
    一个事后解释框架,使用原则性的扰动和新的重要性度量方法来量化句法特征对SRL预测正确性的贡献。
    一种模型内在的方法来评估解释的忠实度,通过将解释质量与模型的实际预测行为对齐来绕过判断数据。
    一个通过模型合并实现的基于句法的SRL模型,能够在不需要标注句法的训练数据或运行时句法解析的情况下实现句法整合。
    本文的其余部分组织如下:第2节提供了关于X-NLP和基于句法的SRL的背景信息。第3节回顾了相关工作,指出了关键局限性,并概述了我们提出的方法。第4节详细介绍了我们的方法论,第5节进行了实验评估和结果展示。最后,第6节总结了本文并概述了未来的研究方向。

    章节片段

    特征重要性NLP解释

    在各种NLP解释方法中,特征重要性解释因其对人类友好的可解释性和与特征工程原则的一致性而受到了广泛关注,这些解释方法侧重于可观察的输入特征。因此,我们的工作集中在特征重要性解释上,揭示了依存关系和成分关系特征作为解释元素的重要性。
    特征重要性解释,用E表示,量化了特征空间中n个特征的重要性

    使用句法特征重要性的X-NLP工作中未解决的挑战

    理解句法特征的影响对于解释NLP模型的行为至关重要。两种主要的研究方法,行为探究和结构探究,以不同的方式应对这一挑战。
    行为探究通过扰动输入句子并观察模型输出的变化来研究模型对句法的使用[13]、[14]。通常,这涉及删除或掩盖涉及特定句法关系的词

    方法

    尽管这项工作的主要重点是解释句法特征的重要性,但我们首先通过模型合并构建了一个新的基于句法的SRL模型(第4.1节),因为这个模型是我们解释的目标(4.2 句法特征探究,4.3 句法特征重要性估计)。

    实验数据和设置

    为了评估探究模型,我们使用了GENIA语料库[35]进行Prcons,以及CRAFT语料库[36]进行Prdep
    为了评估我们的关系效应关系效用估计,我们没有使用任何专家标注的判断数据。这是因为评估忠实度不能依赖于人类的注释,因为人类的判断是主观的,可能无法反映模型的真实推理。依赖这样的数据可能会奖励那些仅仅与人类直觉一致的解释,而不是模型的实际推理

    结论和未来方向

    这项工作提出了第一个专门用于量化生物医学SRL中依存关系和成分特征重要性的解释框架。与之前仅关注预训练模型中是否编码了句法的研究不同,我们的方法探讨了这些特征如何以及在多大程度上影响SRL预测。我们通过引入两种新的度量方法关系效应关系效用,以及一种保留语义上下文的句法扰动策略来实现这一点

    代码可用性

    模型代码可在此处获取

    CRediT作者贡献声明

    Hoai-Duc Tuan-Nguyen:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,软件,资源,方法论,形式分析,数据管理,概念化。Bac Le:验证,监督,项目管理。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
    Hoai-Duc Tuan-Nguyen是越南国立大学科学学院信息技术系的讲师。他的研究重点是自然语言处理和可解释的人工智能,特别是在生物医学语义角色标注、特征属性分析和数据属性分析方面

    生物通微信公众号
    微信
    新浪微博


    生物通 版权所有