作者归属和剽窃检测一直是学术研究中的基本问题,因为原创性和正确的作者身份是可信学术交流的基石[1]。传统的剽窃行为通常涉及直接复制或表面层次的改写,已经通过基于相似性和文体分析的检测方法得到了广泛研究[2]。然而,大型语言模型(LLMs)的迅速出现引入了一种新的、更为微妙的剽窃形式和人工智能(AI)的滥用。LLM生成的内容可能流畅、连贯且词汇多样,往往与现有来源没有明显的文本重叠,这使得它能够规避传统的剽窃检测器[3]。虽然LLMs在各种实际应用中带来了显著的好处[4],[5],但其滥用也引发了担忧,例如错误信息的传播和生成内容中的作者身份模糊[6],[7]。在学术写作中,这一问题尤为突出,因为人类撰写的内容与LLM生成的内容之间的界限变得模糊,这削弱了作者归属的确定性和学术诚信,凸显了针对此类复杂文本的强大检测框架的迫切需求[8]。
尽管越来越多的人认识到LLM在特定领域的滥用问题,但大多数现有研究都集中在检测通用文本中的LLM生成内容上,而不是解决复杂写作环境中的细致验证需求。现有的检测方法大致可以分为两类:基于度量的方法和基于模型的方法[9]。基于度量的方法分析诸如困惑度、词汇使用和句法结构等语言特征,通过统计指标来识别非人类作者的身份[10]。然而,对单一特征类型的依赖限制了这些方法的有效性,导致特征提取不完整和检测准确率降低[8]。相比之下,基于模型的方法使用在大型标记数据集上训练的深度学习模型来检测LLM生成内容与人类编写内容之间的细微差异[3]。然而,这些模型通常作为“黑箱”运行,可解释性有限且容易受到对抗性攻击的影响。因此,这两种方法在检测现代LLM生成的日益复杂的学术文本时都存在不足。
具体来说,这些局限性体现在三个关键方面。首先,大多数现有方法依赖于单一特征维度,无论是统计模式还是语义内容,而不是进行全面的、多层次的分析。随着LLM生成的内容越来越模仿人类写作,这种狭隘的关注方式无法捕捉复杂的语言细微差别,导致频繁的误分类。其次,当前的模型在对抗性规避方面表现较差[11]。即使是微小的改动,如同义词替换或词序改变,也可能严重损害检测性能[12]。因此,确保对这些操作的稳定性对于可靠部署至关重要。最后,对于学术环境来说可能最为关键的是,现有研究主要集中在文档级别的二分类上。这种粗略的粒度不适合复杂的写作,因为在复杂的写作中,LLM的参与往往局限于特定部分或句子级别的润色。如图1所示,这种局部的参与会产生更微妙的机器特征,比完全由LLM生成的内容更难以检测。没有细粒度的能力,检测方法难以识别混合作者身份的情况,从而无法保护学术研究的原创性和可信度。
为了解决上述挑战,我们提出了一种新颖的多级细粒度检测(MFD)框架,专门针对学术写作的复杂性进行了设计。通过整合多个层面的互补统计特征、语义特征和语言特征,我们的方法超越了单一特征分析的局限性,提供了全面的文本描述。此外,为了增强对规避和操纵的抵抗力,该框架结合了一种鲁棒性感知的对比学习机制,以应对重写和改写引入的变化。为了满足学术剽窃检测的精确要求,MFD在句子级别进行操作,提供词汇、句法和语法的细粒度评估。这种分层设计既捕捉了局部的句子级信号,也捕捉了更广泛的上下文线索,确保了全面的分析。广泛的实验表明,我们的方法在检测不同类型的LLM生成的学术文本时表现出了优越的性能和强大的泛化能力。
总之,我们的工作做出了四项贡献。首先,我们提出了MFD框架,这是一种新颖的多级检测系统,它结合了统计特征、语义特征和语言特征,有效识别LLM生成的内容。其次,我们建立了一种句子级分析机制,量化了LLM在词汇、句法和语法方面的参与程度,提供了专门针对学术剽窃细微差别的细粒度检测。第三,为了增强对规避的抵抗力,我们结合了一种在原始文本和重写文本上训练的鲁棒性感知对比学习策略,显著提高了模型对篡改内容的泛化能力。最后,我们设计了一个利用先进LLM的深度语言特征提取模块,该模块捕捉了传统方法忽略的复杂句子级模式和更广泛的上下文依赖关系。
本文的其余部分组织如下。第2节回顾了相关工作,涵盖了学术剽窃和AI滥用、LLM生成文本检测以及多级特征学习。第3节详细介绍了所提出的MFD框架的架构和方法论。第4节介绍了实验设置,随后是对结果的全面分析和讨论。最后,第5节总结了研究的主要发现,并指出了未来研究的方向。