由于技术的快速发展，对精确的用户识别系统的需求日益增加，这些系统用于限制对现有技术资源的访问。近年来，生物特征识别技术的发展势头超过了其他方法[1]。利用行为结构（如语音或签名）和身体特征（如指纹和虹膜）进行自动或半自动化识别的方法被称为生物特征识别[2]。生物特征可以分为两类：内在特征和外在特征。内在特征不受外部因素影响，而外在特征则容易受到外界影响[3]。为了提高识别准确性，多模态生物特征监控系统比单一模态系统提供了更可靠的信息。为了融合不同模态的信息，采用了多种融合级别的模型。在融合的早期阶段结合生物特征数据可以提高检测性能[4]。
随着技术进步，生物特征识别的应用正从单一模态向多模态转变[5]。通过精心设计和评估融合算法，可以整合指纹、虹膜、语音print等生物特征信息，从而提高识别精度[6,7]。多模态生物特征识别结合了多种生物特征的优势，实现了更高的安全性和准确性以及更广泛的应用范围[8,9]。虽然单一模态生物特征技术取得了显著进步，但其应用场景受到限制，身份识别的准确性也有所下降。多模态系统通过结合多种生物特征，解决了单一模态系统中的问题，如非普适性问题，从而实现了更广泛的人口覆盖。这意味着如果用户无法提供某种生物特征，仍可以通过提供另一种生物特征进行注册和识别[12]。在面部识别中，指纹损坏或湿润情况会严重影响识别和分类的准确性。年龄和佩戴口罩也会影响面部识别技术的准确性[13]。持续的多模态生物特征认证（CMBA）的主要目标是提高识别准确性，同时减少静态一次性认证的缺点。然而，在 CMBA 中仍存在一些重复出现的可用性问题[14]。
此外，研究人员指出步态是一种本质上的多模态生物特征，包含24个不同的组成部分，涵盖了上半身和下半身的运动，包括头部和手部。如果记录了全身图像中的所有步态动作，就可能创建出真正独特的生物特征用于身份识别[15]。步态识别方法主要依赖轮廓来确定步态特征，但这些方法难以适应动态背景和身体形状的变化。通过结合多种模态的信息可以解决这一问题。然而，目前大多数多模态框架无法处理模态缺失的情况，因为在许多实际应用中确实存在模态缺失的问题。为了解决这些问题，专家开发了一种名为 UGaitNet 的改进模型，用于步态识别[16]。步态和面部特征有助于提高生物特征识别的性能。
动机： 个人认证是一种自动化过程，利用计算机存储的数据来识别个体。这种方法解决了安全性、鲁棒性、隐私性和防欺诈等关键问题。传统的生物特征系统主要依赖单一模态进行识别，往往无法提供高水平的安全性，并且容易受到噪声和攻击的影响。在其他一些研究中，开发了多种生物特征认证模型。这些模型存在计算复杂度高、数据集过大导致过拟合、新数据泛化能力差、效率低以及无法从多模态数据中提取有效特征等问题。此外，现有模型通常只使用单一模态特征（如步态或面部特征），从而降低了模型性能。为了克服这些问题，开发了一种结合多模态特征的新型混合双向循环池化变换器模型，用于生物特征识别和认证。本研究中同时考虑了步态和面部特征，以提高准确性和效率。提出的基于面部和步态的认证系统的主要贡献如下：
- •
通过结合面部和步态特征，提出了一种新的多模态生物特征认证方案，提高了系统的鲁棒性和准确性，优于现有的单一模态认证方案。
- •
改进的聚类算法（EAg-NCA）减少了输入视频中的冗余，并选择关键帧，降低了计算开销，同时保留了必要的生物特征。
- •
基于修剪像素密度的中值滤波器（TPDMF）去除了关键帧中的噪声，为后续的面部和步态特征提取提供了高质量帧。
- •
基于 dung beetle 优化调整的 YOLO-V9 模型实现了准确的面部检测，而基于 Mask-RCNN 的背景减除技术确保了稳定的步态识别。
- •
通过使用高效的基于相似度的优化混合双向循环神经池化变换器编码器块（Sim-OpPTr），将特征与数据库模板进行匹配以完成身份认证。
- •
提出了一种基于模拟退火的蝗虫优化算法（Sim-GHO），用于调整分类器模型中的超参数。
本文的其余部分结构如下：第2节概述了相关研究；第3节描述了所提出的基于面部和步态的认证系统；第4节展示了实验数据和分析结果；第5节总结了本文的未来研究方向。
