目前,人工智能(AI)算法在招聘流程中的应用越来越广泛[1]、[2]、[3],显著提高了组织的人才筛选和评估效率。基于AI的招聘工具可以快速分析候选人的教育背景、工作经验和技能,使组织能够从大量申请者中识别出最合适的人选[4]、[5]。然而,这种效率提升可能会以牺牲公平性为代价。Fabris等人最近的一项多学科研究表明[6],如果不对算法招聘系统进行监管,它们可能会放大结构性不平等并歧视弱势群体。早期的AI招聘工具主要基于传统的自然语言处理(NLP)模型,如TF-IDF或传统的词向量模型[7]。这些方法通常依赖于手动构建的特征提取规则和浅层模型来分析简历内容,往往难以处理复杂的语言结构、隐含的语义关系和跨领域知识。例如,传统方法无法捕捉职位描述中的隐含技能要求或候选人工作经验中表达的软技能,也无法有效处理简历中的长距离语义依赖关系。大型语言模型(LLM)的快速发展在各个领域展示了巨大潜力。利用其强大的语义建模能力和动态的上下文理解能力,LLM可以在简历筛选中实现更高质量的匹配,使其成为传统NLP模型的有希望的替代品。
然而,这一令人兴奋的前景也伴随着重大风险。LLM通常是在大规模、未经筛选的语料库上预训练的,这些语料库反映了社会刻板印象。例如,BERT等模型的预训练数据集包含了大量的公共文本数据(如维基百科和BooksCorpus),其中经常包含与性别和种族等敏感属性相关的偏见[8]。数据驱动的LLM容易继承这些偏见并在下游任务中表现出来[9]。当应用于招聘任务时,这些偏见可能导致不公平的结果,例如偏爱与特权群体(如白人男性)相关的简历而忽视其他群体。这种歧视可能会排除高素质的候选人,对个人就业机会产生负面影响,并破坏组织的多样性和社会公平性[10]。因此,减轻LLM驱动的简历筛选系统中的偏见已成为一个关键的研究挑战。研究人员提出了几种去偏见方法[11]、[12]、[13]、[14]、[15],这些方法在减少LLM偏见方面显示出显著效果。然而,这些方法往往会导致模型性能下降,并可能在下游简历筛选任务中重新引入偏见。此外,现有方法通常只关注单一敏感属性的去偏见,这限制了它们的可扩展性和适用性。训练LLM需要大量的计算资源,进一步增加了这些去偏见技术的广泛应用难度[16]。在现实世界的简历筛选场景中,用户可能需要根据职位要求处理不同的敏感属性。例如,在科学、技术、工程和数学(STEM)领域,性别刻板印象尤为明显,女性通常被认为在科学和数学能力上不如男性。这些刻板印象受到文化传统、教育环境和媒体的强化,影响了女性的职业选择和发展[17]。如果不解决简历筛选中的性别偏见,可能会不公平地排除女性候选人,加剧性别不平衡。同样,教育岗位需要反映多样化的种族和文化背景的团队。招聘中的种族偏见可能导致教育团队缺乏多样性,从而破坏教育的公平性和包容性[18]。现有的去偏见方法可能难以适应这些变化的需求,因为对性别偏见有效的技术可能不适合解决种族或文化偏见。
这些局限性凸显了一个关键问题:招聘系统对公平性和适应性有着特别高的要求。与其他许多NLP应用不同,候选人评估中的偏见结果可以直接改变个人的职业轨迹,并加剧劳动力市场中的结构性不平等。从组织的角度来看,不公平的筛选不仅可能排除合格的候选人,还会破坏劳动力多样性和公众对AI驱动决策的信任。同时,实际部署场景非常动态——根据职位或上下文的不同,不同的敏感属性可能会变得突出(例如,STEM领域的性别、教育领域的种族或领导职位的年龄)。然而,现有的去偏见方法往往僵化、资源密集或仅限于单一属性,这使得它们不适合实际招聘流程,因为不同职位的要求会随时间变化。
为了解决这个问题,我们提出了一种灵活的敏感属性去偏见方法,以提高LLM在简历筛选中的公平性能。该方法利用基于适配器的微调来减轻模型的偏见,通过在微调过程中进行对抗性训练来消除敏感属性对简历筛选的影响,并结合对比学习来提高简历筛选性能。该方法的核心思想是使用适配器网络——一个小的额外神经网络模块——来减轻现有LLM的偏见,而无需修改其核心参数。这种方法避免了大规模重新训练模型的需要,显著减少了计算资源和时间需求。此外,我们采用对抗性训练来实现去偏见,使该方法能够处理不同的敏感属性(如性别、年龄),而无需改变微调过程。对于每个敏感属性,我们训练一个专门的去偏见适配器。在简历筛选过程中,可以根据需要为LLM配备特定的适配器。在整个过程中,LLM的参数保持不变,保留了模型的预训练能力,并减轻了与去偏见相关的性能下降。具体来说,本文的主要贡献如下:
1. 我们提出了一种动态配置的多敏感属性去偏见框架。通过设计具有即插即用功能的模块化适配器网络,我们的框架能够根据不同的敏感属性按需减轻偏见。这种方法克服了传统单属性去偏见方法在简历筛选任务中的限制,提供了对多样化职位要求的灵活适应。
2. 我们开发了一种结合对抗性学习和对比目标的混合去偏见训练方法。通过对抗性敏感属性分类器和跨样本对比损失,我们的方法在增强简历表示学习的同时抑制了属性引起的偏见。这种双重机制解决了传统去偏见方法中普遍存在的性能下降问题。重要的是,我们的实现只需要训练轻量级的适配器模块,同时保持LLM主干网络的不变,确保了计算效率。
3. 我们通过真实世界简历数据的实证验证建立了一个多维度偏见评估系统。我们的流程包括:1. 编辑和预处理真实的简历数据集;2. 通过词嵌入相似性匹配设计职位特定的语义查询;3. 使用标准化的折扣比率和群体曝光差异指标进行全面的公平性评估。该框架能够全面评估简历筛选系统的公平性和性能。